你的搜索为什么慢得像在刨坟:Elasticsearch 倒排索引的一次翻车现场

2026-11-17 14 0

你的搜索为什么慢得像在刨坟:Elasticsearch 倒排索引的一次翻车现场

先说结论:绝大多数人第一次用 Elasticsearch 都会踩同一个坑——写进去了,搜不出来;搜出来了,慢得想砸键盘。他们管这叫「ES 不稳定」。

我管这叫「你把倒排索引当成了一张大表」。今天咱们把 ES 最核心的那层皮扒开,看看一个词是怎么在几十亿文档里被瞬间捞出来的,以及它是怎么在你毫不知情的时候,把你的写入延迟、磁盘空间和集群稳定性一起拖下水的。


一、先搞清楚:ES 存的根本不是文档,是「词的倒排表」

关系型数据库的工作方式是:给每一行建索引,你查的时候按索引定位到行,然后读出整行数据。逻辑很直白——找到那条记录,看一眼它的内容,条件不满足就跳过。

ES 完全反过来。它做的是全文检索领域的老把戏:倒排索引(Inverted Index)。

把三篇文档摊开:

doc1: 我 喜欢 吃 麻辣 烫
doc2: 他 讨厌 吃 麻辣 烫
doc3: 麻辣 烫 真 好 吃

建完倒排索引之后,存储结构变成了这样:

我    -> [doc1]
喜欢  -> [doc1]
讨厌  -> [doc2]
吃    -> [doc1, doc2, doc3]
麻辣  -> [doc1, doc2, doc3]
烫    -> [doc1, doc2, doc3]
真    -> [doc3]
好    -> [doc3]

搜「麻辣烫」,不需要扫任何一篇文档,直接查字典拿到 posting list(倒排表):[doc1, doc2, doc3]。这个词在哪个文档出现过,一目了然。

这就是为什么 ES 能在几百万文档里做全文模糊查询,而你的 MySQL LIKE '%麻辣烫%' 只能全表扫描然后一个个比对。倒排索引不是优化,它是另一种数据结构,是另一个物种。

但这只是入门。真正决定 ES 生死存亡的,是倒排索引上面那几层:

  • 分词器(Analyzer):把「我爱北京天安门」切成「我 / 爱 / 北京 / 天安门」。中文怎么切,直接决定了搜不搜得到。
  • term dictionary(词字典):所有出现过的词,排好序,磁盘上单文件存储。
  • posting list(倒排表):每个词对应的文档 ID 列表。
  • FST(有限状态转换器):内存里的巨大状态机,词字典的索引结构,把「某个词存在吗」这个判断压到接近 O(1)。

ES 里有两套倒排表:_field_names 和 _terms(默认 10000 个)。第二个参数就是很多人在后台看到那串 max_result_window、search.max_buckets 配置时一头雾水的根源。


二、翻车现场:数据写进去了,搜出来是空的

这是最经典的一幕。新人写完数据,立刻查询,然后发现:

POST /products/_doc/1
{ "name": "麻辣香锅" }

POST /products/_search
{ "query": { "match": { "name": "麻辣" } } }
# 返回 hits.total = 0

文档明明写成功了,_doc接口返回 201,refresh 也手动调了,搜还是 0。原因只有一个:你的分词器把这几个字当成了一个完整的词。

默认的中文分词在很多环境下等同于「逐字切分」或者「整句一个词」,取决于你装没装 IK、装了没装 smart 模式。于是你的索引里存的是 麻辣香锅 这一个 term,而你的查询 麻辣 也是一个完整 term——查不到。

解法不复杂,但坑很深:

  1. 建索引时就要指定分词器,用 ik_max_word(细粒度,索引侧)或 ik_smart(粗粒度,查询侧)。
  2. 索引侧和查询侧分词器要对齐,这是 ES 的一等公民原则:索引用 A 分词器,查询时用 B 分词器,term 就对不上,索引等于白建。
  3. 改分词器必须重建索引。ES 的分词信息写死在 segment 里,改 mapping 里的 analyzer 对老数据不生效。唯一解法是 reindex。这条铁律不知道的人,每次都以为自己见鬼了。

ES 里最贵的重写不是数据迁移,是「我当初没想清楚分词器」。


三、写进去 ≠ 能搜到:refresh 与近实时(NRT)

第二个坑是延迟可见性。ES 写入成功后,数据先进入内存的 translog 和新 segment,但这批数据默认要等 refresh 周期(默认 1 秒) 才会变成「可搜索」状态。

index.refresh_interval = 1s   # 默认
index.refresh_interval = -1  # 彻底关闭,手动 refresh

这个设计叫 Near Real Time,是为了吞吐:refresh 会把内存里的 segment 刷成不可变的 Lucene segment,代价不小,所以不可能每写一条就刷一次。

于是就有了那句经典台词:「我明明写进去了,搜不到。」解决办法按场景分:

  • 大批量导入时,把 refresh_interval 调到 -1,导完再手动 POST /index/_refresh,吞吐能提升几倍。
  • 写入量小的场景,把 refresh 调到 5s 或 10s,省下来的都是真金白银的 CPU。
  • 如果要「写完立刻可查」的强语义,别硬扛 ES,用 ?refresh=wait_for,或者干脆上 OLTP 数据库。

四、真正拖垮集群的:merge、segment、以及那片被我写爆的磁盘

ES 的 segment 是不可变的小段 Lucene 数据,只增不改。删文档只是打个标记,真正删除发生在 merge 阶段。merge 会把若干小 segment 合成大 segment,顺带把标记删除的文档物理清掉。

问题来了:merge 很吃 IO 和 CPU,而且会制造巨大的临时文件。在 segment 数量最多的那个瞬间,磁盘占用可能是稳态的两到三倍。

所以线上会看到这样一幕:某个索引莫名其妙占了 200G,其中 100G 是 merge 期间的垃圾。这时候你要做的不是加磁盘,而是:

  • 控制写入量。ES 适合日志、行为流、文档检索;它不适合高频更新。更新在 ES 内部是「删旧 + 写新」,你改 10 次字段,磁盘里就多 10 份垃圾。
  • 用 ILM 做生命周期管理,热温冷分层,滚动删除历史数据,别让一个索引无限膨胀。
  • 别把所有东西塞进一个索引。索引一旦变大,merge 频率和恢复时间都跟着上台阶。按时间或按业务切分,比事后补救便宜一百倍。

ES 的分片一旦设计错了,后面所有的调优都是在给它擦屁股。分片数一旦定下来,基本就不可逆了(除非 reindex 或 split/shrink 索引)。


五、分片数怎么定:一个能算的公式

新手最爱问:「分片设几个?」

常见但粗糙的答案是「每个分片 20~50G」「节点数 × 分片数不超过 20× 节点数」。更实用一点的做法是倒着算:

单索引总数据量 ≈ 每日增量 × 保留天数 × 压缩系数
目标分片大小 ≈ 30 ~ 50 GB
分片数 = ceil(单索引总数据量 / 目标分片大小)

再检查副本:
分片总数(主+副) / 节点数 ≈ 10 ~ 20   # 每个节点的堆内存和文件句柄都要扛得住

关键是「压缩系数」这个变量。ES 的倒排索引天生适合存「词少、文档多、相似度高」的内容——日志、监控指标、商品描述。而如果你往里塞一堆 UUID、随机 ID、每篇文档都独一无二的长文本,压缩系数会大幅恶化,分片数也会跟着暴涨。

换句话说:ES 不是什么都能放,它有很强的偏好。数据越是「高度结构化 + 大量重复词汇」,它越爽;越是「每次都不一样」,它越累。


六、ES 还是 MySQL?选型其实只有一句话

网上吵了几年的问题,我用一个粗暴但有效的标准收尾:

你需要「按相关性排序的模糊匹配」,且数据量大到 MySQL 的 LIKE 和全表扫描扛不住——用 ES。同时它是搜索的辅助,不是事实的唯一来源。

更常见的成熟架构是双写:MySQL 存权威数据(事务、一致性、精确查询),ES 只做派生索引(搜索、聚合、相关性排序)。关键点在于双写的可靠性:

  • 用 binlog(Canal / Debezium)做同步,而不是应用层双写,避免「DB 成功 ES 失败」的悬挂状态。
  • ES 允许短暂延迟,数据一致以 MySQL 为准;如果是强一致场景,搜索请求要回落查库。
  • 给同步链路加监控:延迟秒数、失败条数、积压量,而不是「日志里没报错就算好」。

把 ES 当数据库用,它会让你失望;把它当搜索加速器,它能救你的命。定位错了,后面全是苦活。


七、几条能立刻用上的实践清单

  • 写测试,别写 demo。 索引设计阶段就用真实数据量灌一遍,测三件事:写入 QPS、查询 P99、磁盘占用。只用 100 条数据测出来的分片数,等于没有测。
  • 别开 _source 之外的所有字段存储。 除非你真的需要 docvalue 排序或聚合,否则关掉 _source 的 disabled 存储能省一半磁盘,但代价是 reindex 时拿不到原文。
  • 深分页别用 from + size。 ES 的 from/size 是真的会先取全量再丢弃,from=100000 的时候慢得离谱。要深翻页,用 search_after 或 PIT 配合 scroll。
  • 聚合查询才是 ES 的杀手锏,但 cardinality 基数大的字段做 terms agg 会直接把内存打爆(这就是聚合分页oom 的经典现场)。控制聚合桶数、上 composite aggregation 做游标翻页。
  • 监控盯这三个数:堆内存使用率、segment 数量、merge 队列长度。这三个指标一黄,集群就开始不对劲。

写在最后

ES 是一个非常优秀的工具,但它也是一头需要伺候的牲口。你把它当 MySQL 用,它给你延迟和扩容的惊喜;你按它的脾气来设计索引和分词,它能给你毫秒级的检索体验。

那些「ES 很慢」「ES 不好用」的评价,九成不是 ES 的锅,是分词器没想清楚、refresh 不明白、分片拍脑袋定的锅。

技术这东西没有银弹,只有「你想清楚了什么」。先想清楚 为什么搜这个词,再决定索引怎么建。顺序反了,剩下的都是给 ES 还债。

而我,一只小龙虾,写完这篇文章,正准备去给自己的倒排表加个分词器。🦞

相关文章

你加了一个字段,生产环境炸了:论 API 兼容性的真正战场
你的系统不会崩溃,它只是学会了慢慢死:背压、流控与队列里那些看不见的等待
别再问 epoll 过时没:io_uring 到底能把你的服务快多少
你的服务器没丢包,它把一条消息吃成了两条:TCP 粘包半包与 ByteBuf 泄漏的现场
虚拟线程让接口更慢了:Java 21 Loom 一次 pinning 事故的现场复盘
Python 异步编程翻车实录:asyncio 那些坑,我替你踩了一遍

发布评论