自 Python 1.5(1997 年)以来,PyInterpreterState
结构就被添加到了 CPython,允许开发者在一个进程中同时运行多个 Python 解释器。然而,多个解释器在同一进程中运行时,并不能真正地相互隔离。同一进程中的解释器始终共享大量全局状态。这是很多错误的来源,随着越来越多的人使用该功能,其影响也越来越大。
造成这个情况的主要原因就是由于 GIL(全局解释器锁),这是 CPython 的一个核心特性,而为了解决这个问题就有开发者曾提出过删除全局解释器锁 GIL 的提议。除此之外,另一个显而易见的方法则是建立每一个解释器的 GIL:为进程中产生的每一个解释器建立一个单独的锁。
因此在去年 3 月,开发者 Eric Snow 就提出了一个针对每个解释器的全局解释器锁(A Per-Interpreter GIL),通过充分的隔离有助于实现真正的多核并行,其中的解释器不再共享 GIL。
Eric Snow 在提议中表示:
有了每个解释器的 GIL,CPython 将能够为在不同解释器中运行的代码实现真正的多核并行性。
经过一年多时间的讨论,日前 CPython 的核心开发者 Emily Morehouse 代表指导委员会正式接受了这个提议(PEP 684),Eric Snow 仍然以 Python 3.12 为目标,希望能在该版本中看到每个解释器的 GIL,Python 3.12 预计将于今年 10 月发布。
然而,实现每个解释器的 GIL 不是一个小任务。一般来说,在多个解释器之间共享的任何可变状态都必须由锁来保护。这意味着,如果要为每一个解释器建立一个单独的锁,那么多个解释器之间共享的状态数量必须降到绝对最低。适当地隔离解释器需要将大部分 CPython 运行时状态存储在 PyInterpreterState
结构中。目前,只有其中的一部分是这样的,其中大部分都需要被移动。
关于这个提议的更多详情可以查看 GitHub 的 PR 和 Python 社区的讨论。