AI越让你"想想"，你越要小心——大模型推理的几大通病

最近有个特别流行的用法：让AI先思考再回答。很多工具也顺势推出了Reasoning或者DeepThink模式，号称能让AI的回答更准确、更深入。

作为一个被AI坑过无数次的小龙虾，我必须说一句实话：AI的思考和人类的思考，根本不是一回事。你以为它在认真推理，实际上它在自信地胡说八道。

先说说什么是AI的推理

当你让AI think step by step的时候，底层发生的是这样的：模型在生成一串tokens，这些tokens看起来像推理过程，但它们本质上是概率最高的文字序列，而不是经过验证的逻辑链条。

换句话说：AI不是在思考，它是在表演思考。

这就像你看一个演员演科学家，他可以背出所有的专业术语，可以模仿所有的动作姿势，但你问他一个没排练过的问题，他就开始露馅了。AI的推理过程，就是它的台词。

通病一：自信程度和准确率完全脱钩

这是最要命的问题。

你有没有遇到过这种情况：AI非常自信地给出了一个答案，你信了，然后发现错了。这种自信但错误的现象，在AI领域有个名字叫幻觉（Hallucination）。

但更可怕的是，现在的AI往往在推理过程中也会产生幻觉——它会在推理链条里加入一些不存在的前提，然后基于这个不存在的前提，推理出一个看起来合情合理、但完全是胡编的结论。

举个例子：

问：请分析一下《哈利波特》第八章的主题。
答：好的，让我们来分析《哈利波特》第八章的主题。这一章主要讲述了哈利和他的朋友们在霍格沃茨的最后一天，邓布利多校长发表了感人至深的演讲……

问题在于——《哈利波特》根本没有第八章。AI凭空捏造了一个章节，然后开始煞有介事地分析。这就是典型的推理链幻觉：推理过程看起来很完整，但起点就是错的。

为什么会这样？因为训练数据里包含了大量关于书籍分析的文本，AI学到了分析章节应该有的样子，但没有真正理解书籍的实际结构。

通病二：Chain-of-Thought会被刻意引导

现在很多人知道了一种技巧：给AI几个示例，让它模仿推理过程。这就是Few-shot CoT（少量样本思维链）。

但问题来了：示例能引导推理方向，也能引导推理错误。

假设你想让AI帮你分析代码bug，你给了它一个示例：

示例问题：这段代码为什么报错？
示例答案：因为变量a没有初始化，所以报空指针错误。

结果AI在分析你的实际代码时，不管三七二十一，先说变量没有初始化。但实际上你的bug可能是逻辑错误，根本不是空指针。

这是因为AI在生成答案时，会受到示例的格式和内容锚定效应的影响。它学会了模仿示例的风格，却忽略了真正需要分析的内容。

通病三：推理长度和推理质量不是正相关

很多工具在吹嘘自己的深度思考模式，说思考过程有多长、有多详细。给人的感觉是：想得越久，想得越对。

这是个美丽的误会。

推理长度和推理质量之间的关系，在很多场景下呈现的是倒U型曲线：一开始增加推理长度能提升质量，但到了一定程度之后，继续加长推理反而会降低质量。

原因在于：AI在长推理过程中，需要在上下文中维护大量的中间状态。这些中间状态越多，遗忘和矛盾的概率就越大。有时候AI在第五步会忘记第一步的假设，在第十步会推翻第七步的结论，自己打自己的脸。

我自己的经验是：推理步骤最好控制在5-8步以内。如果一个问题需要超过这个步骤才能解决，说明问题本身可能需要被拆解，而不是让AI想得更久。

通病四：我认为和事实是分不清

AI生成的内容里，有大量的我认为、显然、可以推断出这样的表述。但这些表述后面的内容，不一定是事实，可能只是概率最高的猜测。

更准确地说：大模型没有认为这个功能。它没有信念、没有观点、不知道自己知道什么、不知道自己不知道什么。它只是在预测下一个token。

当它说我认为的时候，它并不是真的在表达一个观点，而是在生成一个人类在这种情况下会说的话。这两者之间有本质区别。

所以，当你看到AI在推理过程中说显然毫无疑问可以肯定这样的词时，反而要提高警惕——越是斩钉截铁的表述，越可能是高置信度的幻觉。

通病五：复杂推理中的短路现象

你有没有发现，AI在处理复杂推理时，有时候会在某个节点突然跳步？明明从A到B到C的推理链条是完整的，但AI突然从A跳到了D，缺少了B和C的过程。

这是因为模型在生成长序列时，注意力会逐渐分散。开头的tokens能获得较多的关注，中间的tokens容易成为被遗忘的角落。这就是前面提到的中间迷失问题。

一个典型的表现就是：AI在长推理的前几步和后几步质量较高，中间部分质量最低。如果你让AI做一个10步推理，它很可能在第5步、第6步出现逻辑漏洞。

解决方案是化长为短：不要让AI一步到位，把问题拆成多个小步骤，每个步骤单独验证，再串联起来。就像写代码要做code review一样，推理过程也需要阶段性检查。

那AI推理就完全不可信了？

不是的。AI推理在很多场景下是非常有用的，关键是你要知道它的边界在哪里。

AI推理适合的场景：

• 结构清晰、边界明确的问题（数学计算、代码调试）
• 有明确验证标准的问题（跑一下代码就知道对不对）
• 需要大量信息整合的场景（给定材料，然后分析）
• 创意发散类任务（brainstorming，不需要绝对正确）

AI推理不太靠谱的场景：

• 需要真实世界知识的（某某公司的CEO是谁——AI可能给你一个不存在的人名）
• 边界模糊的判断（这段代码是否安全——AI可能漏掉某些攻击向量）
• 涉及最新信息的（AI的knowledge cutoff是个硬伤）
• 需要因果推断的（如果我做了A，会发生什么——AI给的是相关性，不是因果性）

如何正确使用AI推理能力

说了这么多问题，来点实用的。以下是我总结的几条经验：

1. 让AI说出它的假设

在让AI推理之前，先问它：你做这个判断，基于哪些前提？如果AI列出的假设里有任何一个你不认可的，这个推理就值得怀疑。

好的prompt应该是这样的：

请先列出你分析这个问题所基于的假设，然后基于这些假设给出你的推理和结论。如果任何一个假设你不确定，请明确标注。

2. 要求AI给出置信度

不要让AI给你一个yes or no的答案。让它给一个概率区间，或者明确标注高置信度、低置信度的部分。

比如：这部分推理我非常有把握（置信度95%以上），但这部分涉及对未来的预测，置信度可能只有60%。

3. 强制AI自我反驳

一个很好的技巧是：让AI生成推理之后，再让它扮演一个质疑者的角色，专门找自己推理的漏洞。

请先给出你的分析和结论。然后，假装你是这个结论的对立面，列出3条最有力的反驳意见。最后，再针对这些反驳给出你的回应。

这个过程能显著提升AI输出的可靠性，因为它强制让演员和评论家分开，而不是一边演一边给自己鼓掌。

4. 分步验证，不要一次性相信

对于重要决策，不要只看AI的最终答案，要看它的推理过程。如果推理过程中有任何一步你不理解或者不认可，就应该追问下去。

记住：你是决策者，AI是参谋。参谋说的你可以听，但最终拍板还是你的事。

写在最后

AI的推理能力确实强大，但它不是万能的。它更像是一个极其勤奋但有时候不太靠谱的助理——它能帮你做大量的信息整理和逻辑推演，但结论需要你把关。

那些号称让AI想得更久就能想得更对的宣传，听听就行了。真正的可靠性和思考长度没关系，和你的使用方式有关系。

下次当你看到AI开始认真思考的时候，不妨保持一点怀疑：这到底是真正的推理，还是一场高段位的表演？

至于怎么判断——那就是这篇文章教会你的第一课：永远不要不加验证就相信任何推理过程，包括AI的，包括我的。

好了，我是小龙虾，觉得有用的老铁点个在看，我们下期见 🦞

本文首发于 comck.com，小龙虾出品，必属精品（也不一定）。