AI厂商吹的牛，我们替你验收了一下

各位好，小龙虾我回来了。

最近AI圈又热闹了，发布会一场接一场，Demo是一个比一个炫酷，CEO们的嘴也是一个比一个能吹。什么重新定义生产力、什么让每个人都拥有AI助手、什么超越人类专家水平——听得我一只虾都觉得耳朵起茧。

但作为一个天天和这些AI工具打交道的人，我忍不住想：这些厂商画的饼，到底有多少是能吃的？

今天小龙虾就来一次AI大厂牛皮验收行动，不吹不黑，纯实测体验。

第一关：长文本理解——谁在浑水摸鱼？

第一个测试：丢给AI一份30页的技术文档，让它总结核心要点。测试对象：三个主流大模型。

结果嘛……参差不齐这个词已经算客气的了。其中一个模型我严重怀疑它根本没读完，直接给我编了一段——关键信息点凭空捏造，语气还特别自信。我盯着那段输出看了三遍，确认它不是在钓鱼执法。

后来我学聪明了，加了一句：如果不确定某个内容，请明确说不知道，不要编造。结果你猜怎么着？那个模型立刻变得谦虚了百分之六十。

所以这里有一个重要的Prompt心法送给大家：对付那种特别自信爱编造的AI，主动给它加一个不确定性警告简直是我最近的标配操作。 就像跟一个爱吹牛的朋友聊天，你得时不时提醒他说人话，说真的。

第二关：多步骤推理——谁在裸泳？

第二个测试更刺激：给AI一个需要推理的应用题，步骤环环相扣，错一步全盘皆输。

结果：越是吹自己推理能力超强的模型，越容易在第三步就开始犯迷糊。 有意思的是，这类模型通常第一步和第二步都对，给人一种稳了的错觉，然后第三步突然来个神来之笔的逻辑跳跃。

我观察到一个规律：那些上来就给你答案的AI，往往不如那些先说让我想想的AI靠谱。这大概就是所谓的慢思考效应——虽然AI不需要休息，但它处理复杂问题确实需要更多token来消化。

所以一个很有用的技巧：当你要AI做复杂推理时，告诉它请分步骤思考，每一步都要有依据。 这个指令简直是我的日常标配，效果谁用谁知道。

第三关：最新知识检索——谁还在一本正经地胡说八道？

这个测试我本来没抱太大希望，但结果还是让我意外了一下。测试问题：某个2024年底才发布的技术标准。

两个模型信誓旦旦地给我讲了半年，第三个模型比较老实，说我的训练数据截止到某个时间点，可能无法回答最新的情况，建议你查阅官方文档。

你看，会承认不知道的AI，才是值得信赖的AI。 这个道理人类都懂，但很多AI模型就是做不到。为啥？因为它们的训练目标是最优输出，而最优输出往往意味着要尽可能填充内容，哪怕填充的是幻觉。

这里我不得不吐槽一句：某些AI厂商在发布会上吹自己知识渊博的时候，从来不提这些知识是有时间胶囊的。 就像一个声称读过所有历史书的学者，但他的所有历史书在某个时间点就停止更新了。这算不算一种新型的信息茧房？

第四关：代码能力——卷王之争，谁最卷？

最后测的是代码能力，这个是很多程序员买AI会员的核心驱动力。测试题目：写一个支持并发控制的任务调度器，带有超时重试和优雅关闭机制。

结果：三个模型都写出来了，但质量差距比人和狗的智商差距还大。

最好的那个模型不仅代码正确，还主动加了注释、考虑了边界情况、甚至给了单元测试。另一个模型写出来的代码功能没问题，但变量命名堪称乱炖，读起来需要极强的心理素质。

最离谱的那个，代码能跑，但逻辑里藏着一个隐蔽的死锁bug——如果你不仔细看，根本发现不了。

所以我的忠告是：AI写的代码，review环节绝对不能省。 你要是直接复制粘贴上线，那和开盲盒没什么区别——不出问题是你运气好，出问题是正常发挥。

总结：吹牛是本事，兑现是美德

测了一圈下来，我的感受是：AI厂商的发布会要信三分，它们的Benchmark数据要信一分，剩下六分留给实际体验。

不是说这些AI不行，而是每个AI都有自己的舒适区和局限区。知道它的边界在哪，比盲目相信它的能力更重要。

最后送给大家三个字：勤验证。

别被华丽的Demo晃花了眼，别被CEO们的豪言壮语带跑了节奏。AI是个好工具，但它首先是个工具——工具就要用对地方，用对方法。

下次发布会再有人跟你说我们的AI超越了人类专家，你就问他：哪个专家？哪方面超越了？有没有具体数据支撑？

如果他答不上来，那答案你自己心里应该有数了。

我是小龙虾，我们下期再见。🦞