你的服务器没崩、没满、没报错,但请求就是超时:conntrack 表打满,这个被集体冤枉的凶手

2026-11-20 17 0

你的服务器没崩、没满、没报错,但请求就是超时:conntrack 表打满,这个被集体冤枉的凶手

先讲一个我处理过不止一次的现场。

一台 8 核 16G 的机器,容器跑着五个服务,CPU 长期在 15% 上下晃悠,内存用了不到三成,磁盘 IO 干净得能当镜子照。业务监控全绿,但用户投诉"下单偶尔转圈几十秒"。

最让人抓狂的是:应用日志里干干净净,没有 ERROR,没有超时堆栈,没有 panic。数据库连接正常,Redis 延迟 0.3ms,网关健康检查全部通过。你抓包一看,TCP 三次握手发出去了,对方一个字节都没回——不是 RST,不是 ICMP 拒绝,是彻底的沉默。

最后答案在 dmesg 里,长得特别不起眼:

nf_conntrack: nf_conntrack: table full, dropping packet

内核的连接跟踪表满了,新来的包被静默丢弃。应用层连错误都收不到,只觉得"网络好像有点慢"。CPU 空闲、内存富余、带宽没满——所有的资源仪表盘都在说"我很健康"。

这就是 conntrack:Linux 上最容易被忽略的一张表,也是最难排查的一类"隐形瓶颈"。今天把它讲透,顺带把它和它的两个"难兄难弟"(文件句柄耗尽、端口耗尽)掰扯清楚——因为它们的症状长得几乎一样,但解法完全相反。

一、先搞清楚:conntrack 到底是谁

conntrack 是 netfilter 框架里的连接跟踪表。内核的 nf_conntrack 模块会给每一个流经本机的网络连接建立一条记录,记录五元组(源 IP、源端口、目标 IP、目标端口、协议)以及连接的状态(NEW、ESTABLISHED、TIME_WAIT……)。

它存在的意义是:你的机器上跑着 iptables、有 Docker 的 NAT 规则、有 K8s 的 kube-proxy 规则,这些有状态规则需要知道"这个包是不是某条已有连接的延续"。没有这张表,内核就没法判断一个返回包该不该被放行。

关键点在于:这张表按五元组计数,而且 UDP 短连接也占。

很多人以为 conntrack 主要服务于 TCP 长连接,其实不然。UDP 是无状态的,内核为了做 NAT 必须为每个 UDP "伪连接"建条目。如果你的应用每秒发几千个 UDP 包(比如内部服务之间的 DNS 查询、metrics 上报、consul 健康检查),每个条目会占用几十秒到几分钟的 TTL,条目数等于 QPS × TTL。1000 QPS、30 秒 TTL,一秒钟发出去的包,就能让表里堆着三万条僵尸记录。

而更狠的是:每一个新建的 TCP 连接,也要新建一条 conntrack 条目,不管它活多久。你的服务如果没做好连接复用(每请求一个连接),QPS 直接等价于 conntrack 表的每秒新增条目数。

# 看当前表里有多少条、用了多少、有没有被丢包
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
conntrack -S 2>/dev/null | grep -E 'drop|insert_failed|full'

# 内核日志里的丢包告警(最直接的证据)
dmesg -T | grep -i conntrack | tail -30

看到 drop 或 insert_failed 非零,就基本可以确诊了。

二、坑一:它不是"三兄弟"里的那个

同样是"请求莫名其妙超时",运维同学的第一反应通常是"连接数太多"。但连接数上限其实是三套完全独立的机制,症状不同、解法不同、排查命令也不同。混为一谈,就会出现"我把 ulimit 调到 100 万,conntrack 还是满"这种白干一天的情况。

文件描述符耗尽(EMFILE):进程 open 的 fd 超过上限。accept() 会直接返回 EMFILE,Go 里表现为 too many open files,Nginx 里表现为 worker_connections are not enough。特点是有明确报错,看 ulimit -n 和 ls /proc/<pid>/fd | wc -l 即可确诊。

临时端口耗尽(EADDRNOTAVAIL):本机作为客户端向外发起连接时,可用的 ephemeral port 用完了。典型场景是对外调用同一个目标(同一个 IP:PORT),大量 TIME_WAIT 占着本地端口。net.ipv4.ip_local_port_range 默认范围约 28000 个,ss -s 能看到端口水位。特点是bind 阶段就报错,日志里能看到 cannot assign requested address。

conntrack 表满:内核丢包,应用层什么错误都收不到,只能等超时。

三者的判断路径可以这么记:

  • 有明确 socket 错误 → 看 fd 或端口。
  • 没有任何错误,只有超时 + dmesg 有 conntrack 告警 → 就是它。
  • 连接数一直不高(ss -s 显示 established 才几千)但表满了 → 因为表里堆的是已关闭但未过期的 UDP / TIME_WAIT 条目,不是活连接。这是最容易误判的地方:连接数看着很健康,表却满了。

我见过最经典的误判是:有人盯着 Grafana 上的"当前连接数"面板,曲线平稳在两千,心想"我连接数才两千,conntrack 怎么就满了"。——面板统计的是 ESTABLISHED,而 conntrack 表里躺着的是几十万个正在等 TTL 倒计时的 UDP 残留。这两个数字压根不是一回事。

三、真正的坑:丢包发生在你的应用之前

conntrack 丢包的位置非常关键,它决定了症状为什么这么难查。

包进入网卡的第一个阶段就要过 netfilter 的 PREROUTING 钩子,此时如果 conntrack 表满,内核发现这是个"新连接",尝试建表失败,直接丢包。应用层的 socket 还没来得及看到这个包——它根本没进到 TCP 协议栈里。

结果就是:

  • 客户端发 SYN,收不到 SYN-ACK,表现为连接超时,而不是连接被拒绝。
  • 已经建立的连接,收到的数据包被丢弃 → 表现为请求已经发出、但响应迟迟不来。
  • 健康检查用的短连接最先出问题(因为它每次都建新连接),于是你会看到"健康检查偶发失败,重试一下又好了"。

还有一层:丢包是随机发生的。不是所有新连接都失败,而是撞上满表那一刻的新连接失败。所以现象是"偶发"、"时好时坏"、"重启一下好像又恢复了"——重启服务会清掉一部分本地连接,但表项还在,得等 TTL 自然过期。

最难缠的是,上游的重试会加速恶化。一个请求超时 → 客户端重试 → 新连接 + 新 conntrack 条目 → 表更满 → 更多超时。这是个标准的正反馈。

四、修:先止血,再治本

第一步,确认真凶。别猜,看数:

# 三个数字对比:count 逼近 max 就是满了
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max

# 看看是谁在建条目(需要 conntrack-tools)
conntrack -L 2>/dev/null | awk '{print $3}' | sort | uniq -c | sort -rn | head

如果 max 是 65536 而 count 长期在 6 万以上飘着,那不用想了。

第二步,临时扩容止血。

sysctl -w net.netfilter.nf_conntrack_max=1048576
# 持久化
echo 'net.netfilter.nf_conntrack_max=1048576' >> /etc/sysctl.conf

注意一个坑:conntrack_max 改了,内核哈希表的大小不一定跟着变。老内核的 hashsize 默认可能只有 65536,大量条目挤在哈希冲突链上,查找变慢,表现为"没满也开始丢包"。内核 4.19 之后默认 hashsize 会随 max 自动放大,一般不用管;但如果是老内核,就得同时调 net.netfilter.nf_conntrack_hashsize。

第三步,治本——把不该记的流量踢出表外。这是最值钱的一招:

# 对确认可信的内部网段,连接完全绕过 conntrack
iptables -t raw -A PREROUTING -j NOTRACK \
  --src 10.0.0.0/8 --dst 10.0.0.0/8
iptables -t raw -A OUTPUT -j NOTRACK \
  --src 10.0.0.0/8 --dst 10.0.0.0/8

信任内网之间的流量走 NOTRACK,既省表项,又省掉每个包的一次哈希查找,纯赚。K8s 里 kubelet 和 kube-proxy 在某些版本上就默认对集群内部流量做了类似处理,Docker bridge 网络同理——这就是为什么"K8s 集群内没事,一出节点访问外部就炸"的原因:只有跨节点、需要 NAT 的流量才真正消耗 conntrack 条目。

第四步,压低 UDP 条目的滞留时间。如果确认是内部 UDP(DNS、注册中心)撑爆的表:

sysctl -w net.netfilter.nf_conntrack_udp_timeout=10
sysctl -w net.netfilter.nf_conntrack_udp_timeout_stream=30

默认值往往在 30~120 秒,对"发完就忘"的内部 UDP 太宽容了。缩短到 10 秒,表的水位能直接降一个量级。

五、防复发:三件必须做的事

1. 把它变成一个可观测指标。conntrack 使用率是个必须上告警的指标:

# node_exporter 不带这个指标,手写一个 exporter 吐出来
count=$(cat /proc/sys/net/netfilter/nf_conntrack_count)
max=$(cat /proc/sys/net/netfilter/nf_conntrack_max)
echo "node_conntrack_used $count" 
echo "node_conntrack_max $max"
echo "node_conntrack_usage_ratio $(echo "$count $max" | awk '{printf "%.4f", $1/$2}')"

告警阈值我建议 70%,别等 95%——因为表满的那一刻,丢包已经发生了。

2. 查清楚"谁在建条目"。conntrack -L 按协议和目标端口统计一下,通常能一眼看出是 DNS、是某个 UDP 协议、还是短连接风暴。找到那个源头,改连接复用或者改协议,比调参数管用十倍。

3. 检查你的客户端在干什么。 很多团队在服务端排查半天 conntrack,根子却在客户端:Go 的 http.Client 没设置 Transport 的 MaxIdleConnsPerHost,默认只有 2 个空闲连接,1000 QPS 的场景下等于每次请求都新建 TCP 连接,每一个都往 conntrack 表里塞一条。

transport := &http.Transport{
    MaxIdleConns:        200,
    MaxIdleConnsPerHost: 100,
    IdleConnTimeout:     90 * time.Second,
}
client := &http.Client{Transport: transport, Timeout: 5 * time.Second}

这一行默认值,能让高 QPS 服务的 conntrack 条目数直接砍掉一个数量级。

六、最后吐槽两句

服务器"看起来很健康"这件事,是运维最大的幻觉来源。CPU、内存、磁盘、带宽这四块仪表盘,覆盖的是资源,但 conntrack 满、fd 满、端口满、inode 满、队列满,这些容量类的资源,一块都不在仪表盘上。

而在真实世界,"资源"指标漂亮但服务已经挂了,是最常见的剧本。

顺便说一句,这年头大家排查线上问题第一反应是"上 eBPF、上火焰图、上全链路追踪",然后对着火焰图里一个 CPU 只有 3% 的进程陷入了沉思。火焰图告诉你的是CPU 花了多少时间,可你这个问题里 CPU 根本没花时间——包在内核第一道关卡就被扔了。工具再先进,也照不亮你压根没看的那个地方。

下次再遇到"偶发超时、没报错、重启就好",记得先去翻一眼 dmesg | grep conntrack。三秒钟的事,能省你一个下午。

判断口诀:连接数不高,表却满了;没错误,只有超时;dmesg 一句话,真凶现形。

相关文章

缓存雪崩、击穿、穿透:别再混着讲,三兄弟得用三套连招
扩个节点抖三抖:Redis Cluster 槽迁移、MOVED/ASK 与大 key 的连环坑
你的 WebSocket 三分钟就断:心跳、重连与一百万连接的真相
42 KB 的请求,打爆 126 MB 的内存:gzip 解压炸弹,你的接口正裸奔
缓存没坏,你的服务却挂了:穿透、击穿、雪崩,以及那份永远对不上的数据
你的写入明明很快,直到磁盘开始抖:LSM-Tree 的三把刀,和一次 RocksDB 磁盘风暴复盘

发布评论