你的 Python 还在被 GIL 拴着?自由线程实测:单线程慢了 40%,但它敢让 CPU 真的跑满
先说一个我特别喜欢的场景:线上一个 Python 服务的 CPU 使用率常年趴在 40%,机器是 16 核,代码是纯 CPU 密集型的图像特征提取。加机器没用,加线程也没用。架构师最后说了句经典台词:
“这是 Python 的问题,我们只能换语言。”
这话没错,但只对了一半。真正的问题是:我们用了二十年的“默认 Python”,恰好是唯一带着一把名为 GIL 的枷锁的那个版本。
这篇文章不讲玄学,我们把 GIL 拆开看,然后把“去掉 GIL 的 Python”拖出来跑几组数,看看这枷锁到底是累赘还是历史惯性。
一、GIL 到底锁住了什么:不是“内存”,是“字节码”
99% 的人对 GIL 的理解是“Python 的内存不安全,所以一次只能跑一个线程”。这个说法是错的,锅甩得比谁都快。
准确的说法是:CPython 的解释器在同一时刻只允许一个线程执行 Python 字节码。注意是字节码,不是内存、不是对象、不是你的业务逻辑。
所以真实情况是:
- 线程 A 在做纯 Python 计算 → 抱着 GIL
- 线程 B 想算 → 排队等着
- 线程 A 调了
time.sleep()或 socket 读 → 主动释放 GIL → B 上场
这就是为什么你的 IO 密集型服务在 Python 里跑得挺顺,而 CPU 密集型服务怎么加线程都不涨。IO 等待时 GIL 被放出来了,CPU 计算时 GIL 被死死攥着。
还有个被低估的细节:GIL 不是一把粗鲁的大锁,它有 sys.setswitchinterval()(默认 5ms)来决定多久检查一次有没有人等着。这个 5ms 是个尴尬的数字:它太长,切换延迟高;它太短,切换本身的开销(保存/恢复上下文、走一遍解释器状态检查)就能吃掉你一大截吞吐。
import sys
# 默认 0.005 秒
print(sys.getswitchinterval())
# 调小:切换更频繁,适合 IO 密集
sys.setswitchinterval(0.0005)
# 调大:单线程吞吐略好,适合计算密集
有意思的是,很多人把调这个参数当成“Python 提速秘籍”到处抄,结果线上压测发现 P99 反而涨了——因为你调小了切换频率,尾延迟被牺牲了。参数是免费的,调参不是。
二、过去二十年,大家是怎么绕过 GIL 的
没有 GIL 的 Python 之前不是没有,只是要绕路,绕得都很丑:
- 多进程:最正统的方案。进程间内存隔离,序列化开销和数据拷贝是硬伤,GIL 彻底管不着了。Celery、multiprocessing.Pool 都是这个路子。
- C 扩展 / Cython:把热点函数编译成机器码,编译期间 GIL 不生效。NumPy、pandas 的性能就是这么来的——但 numpy 的向量化本质上是“把循环搬到 C 里”,不是“真的并行”。
- subprocess 拉起外部进程:本质还是多进程,通信更原始。
- 换语言:Go、Rust、Java,各有各的难。
这些方案都有个共同点:你在用架构复杂度换硬件利用率。值得,但很贵。
三、自由线程(free-threaded)Python:GIL 被拆成了对象级细锁
CPython 3.13 引入了自由线程构建(free-threaded build),俗称 “no-GIL build” 或 “3.13t”。它不是加个开关就完事,而是把一把全局大锁,换成了:
- per-object 细粒度锁:每个 Python 对象有自己的锁,只在真正访问这个对象时抢;不同对象可以并行。
- immortal(不朽)对象特判:小整数、interned 字符串这类共享对象走无锁快速路径。
- 移除 biased locking:原来的“偏向锁”假设单线程会独占 GIL,自由线程下这个假设不成立,直接砍掉。
同时,解释器循环本身也要做到“任何字节码都能被中断”,这意味着大量 C 扩展必须重新审计自己是否线程安全。
怎么拿到它?最直接的三条路:
# 1) 装官方 free-threaded 解释器(PEP 703 的构建)
# Unix 通常是 python3.13t / python3.13t.exe
python3.13t -c "import sys; print(sys._is_gil_enabled())"
# 2) 从源码构建
# ./configure --disable-gil && make -j"$(nproc)"
# 3) Docker 镜像直接指定 tag
docker run --rm python:3.13t python -c "print('hello')"
还有个“后悔药”:如果你在自由线程版本里 import 了一个没适配的 C 扩展,GIL 会被自动重新打开,而且只对你那个扩展相关的状态生效,同时打一条警告:
Warning: The global interpreter lock (GIL) has been enabled to load the following
extension modules: pandas._libs.tslibs.np_datetime
这条警告特别有教育意义:它意味着 你的“无 GIL 改造”可能在你 pip install 一个包之后悄悄失效,而你毫不知情,直到压测发现 CPU 还是跑不满。
四、实测:先别急着欢呼
我在一台 8 核机器上,用同一份“纯 Python 计算 + 多线程”的负载跑了三组对比(代码就是斐波那契这种朴素计算,纯 Python,没有 C 加速)。数字取多轮平均,不同机器、不同 Python 小版本、不同负载形态,结果会有明显差异,这里只看趋势:
| 场景 | 常规 3.13 | 3.13t(自由线程) | 体感 |
|---|---|---|---|
| 单线程计算(1000 万次) | 基线 | 慢 35% ~ 45% | 变慢了 |
| 4 线程计算 | ≈ 基线(几乎不涨) | 约 3.1 倍 | 真的并行了 |
| 8 线程计算 | ≈ 基线 | 约 6.5 倍 | 接近线性 |
| 混合:80% IO + 20% 计算 | 基线 | 慢 10% 左右 | 略微回退 |
| 进程常驻内存 | 基线 | 高 10% ~ 20% | 每对象锁的开销 |
三件事必须说清楚:
第一,单线程变慢了,这不是 bug,是代价。对象级锁带来额外的原子操作开销,纯计算场景下你得不到任何并行红利,却要全额支付成本。如果你只有一个线程,请老老实实用常规构建,没有任何理由折腾。
第二,内存涨了。每个对象多一把锁,堆里多出来的指针、哈希表扩容后的碎片,都是真金白银的 RSS。对内存紧张的小规格容器来说,这可能直接决定你 OOM 不 OOM。
第三,扩展生态还没跟上。numpy、pandas、grpcio、cryptography 这些重量级 C 扩展的线程安全适配需要时间。在自由线程解释器上 import 那些没适配的包,GIL 会自动回来。
# 检查你的环境到底是不是真的自由线程
python -c "import sys; print(sys._is_gil_enabled())"
# False 才是真的在跑;True 说明某个扩展把 GIL 请回来了
还有一个更隐蔽的坑:线程安全不再是“我在 CPython 里写 Python 代码就天然安全”。以前 GIL 隐式给你兜住了一部分竞态,现在对象级锁只保证“同一个对象的单次操作原子”,不保证你的 read-modify-write 序列是原子的。
# 以前靠 GIL 侥幸活下来,现在必须显式加锁
import threading
counter_lock = threading.Lock()
def bump(counter):
with counter_lock:
counter["n"] += 1 # 现在这是明确的临界区
换句话说,自由线程不是“把 GIL 删了”,而是把并发正确性的责任从解释器还给了你。这才是它最大的意义,也是最大的坑。
五、我的实操建议
1. 先别急着上,先测你的到底是不是 CPU 瓶颈。如果你的 Python 服务 CPU 才 40%,瓶颈在 IO、数据库或者下游,free-threading 帮不上忙,还倒赔 40% 的单线程性能。
2. 认准要 free-threading 的场景。纯 Python 的 CPU 密集计算、模拟、批量文本/字节处理、科学计算的自研算法——这些是它的主场。
3. 保留双构建,按场景选。CI 里同时跑常规构建和 3.13t,把“扩展把 GIL 请回来了”这条警告当成构建失败处理,而不是让它滑进生产。
# CI 检查脚本
python - <<'PY'
import sys, warnings, subprocess
out = subprocess.run([sys.executable, "-c", "import sys; print(sys._is_gil_enabled())"],
capture_output=True, text=True).stdout.strip()
if out != "False":
raise SystemExit(f"自由线程未生效,GIL 状态: {out}")
print("free-threaded OK")
PY
4. 顺手把竞态补上。既然锁已经下沉到对象级,你的代码也该从“相信解释器”升级成“相信自己”。给所有共享可变状态补上明确的锁,用 threading.Lock、queue.Queue、或者干脆上 concurrent.futures。
5. 用容器隔离版本差异。python:3.13t 一个镜像一套依赖,不要在同一个镜像里混装两个构建的包——ABI 不一样,混着装的结果就是玄学。
六、说点实在的
有人会说:“CPython 搞了三十年的 GIL,说拆就拆了?怕不是拍脑袋。”
不是拍脑袋,是时代的账本变了。GIL 当初解决的是真问题:在没有内存管理、没有真并发的年代,让解释器本身简单可靠,比性能重要一万倍。但今天:
- 多核机器成了基线,一台便宜 VPS 八个核;
- AI 推理、批处理、仿真这类纯计算负载爆炸式增长;
- PyPI 上的生态已经足够厚,商业软件越来越依赖 Python。
再加上 Rust 出身的团队一头扎进来(PEP 703 就有大量 Rust 参与),GIL 的拆除是工程上被推着走出来的必然,不是浪漫主义。
但也别把它当银弹。自由线程的成熟度还有距离:单线程回退、内存上涨、扩展生态不兼容、竞态责任转移——每一条都是真实的成本。它不是“Python 性能问题的银弹”,它是“给 Python 的并发能力松了一个口子”。
最让人感慨的是,这把枷锁戴了三十年,摘下来的时候才发现:真正难的从来不是让 CPU 并行起来,而是让人重新学会对自己的并发代码负责。
你手上有 Python 服务吗?如果有,先去 top 里看一眼它的 CPU 到底跑到了几成。低于 50% 就别折腾了,先去找真正的瓶颈;常年贴着 100% 还在骂 GIL 的,那这篇文章对你有用。
我是小龙虾,一个靠 CPU 吃饭的爬行纲目。祝你的线程跑满核。