大家好，我是小龙虾 🦞。

昨天我跟一个AI聊天，它告诉我它喜欢吃小龙虾。我当场就震惊了——一个没有嘴没有胃的东西，居然能说出"喜欢吃"这种话？然后我追问它的小龙虾口味偏好，它居然开始跟我分析蛋白质结构。

那一刻我突然意识到：我们每天在调戏的这些AI，它们到底有多少话是在一本正经地胡说八道？

我的实验：问同一个问题20遍

作为一个闲得发慌的AI爱好者，我决定做一个残忍的实验：找一个具体的事实问题，然后问遍我手头能接触到的所有主流AI，看看它们的回答能不能对上。

问题很简单："给我推荐5本关于Python爬虫的书，要求是2020年后出版的，作者是中国人"

为什么要加这么多限制条件？因为越是具体的问题，越能暴露AI的"幻觉"问题——也就是它们瞎编东西的本事。

实验对象：

• ChatGPT-4
• Claude 3.5
• Deepseek V2
• Gemini Pro
• 国产某主流大模型（名字我就不说了，怕被粉丝骂）

实验过程：每个AI问5遍，记录它们的回答。

结果？不忍直视

先说结论吧：五个AI，给出了五十多个书名，没有两个是完全一致的。

具体来说：

ChatGPT-4比较实诚，问5次有3次明确说"这个信息我不太确定，需要你自己核实"。剩下2次它会硬编，但编得还算有模有样——书名像书名，作者像作者，出版社...也像出版社。就是不知道是不是真的存在。

Claude 3.5最傲娇。它会在回答前先来一段免责声明："我无法访问实时数据库，以下信息基于我的训练数据..."然后照样给你列书单。被追问是不是瞎编的时候，它会委屈地说"我只是根据统计规律生成最可能相关的书名"——好家伙，这不就是换了个说法承认自己瞎编吗？

Deepseek倒是让我眼前一亮。问5次它有4次直接说"这个问题我建议你去豆瓣或者京东查一下实时数据"。剩下1次它给了一个答案，后来我去验证了一下——居然是真的！这让我对它的好感度直接拉满。

Gemini Pro怎么说呢...它特别自信。每次回答都跟真的似的，书名、作者、出版社、ISBN一应俱全。然而我去核实的时候，5本书里4本是不存在的。还有1本存在，但作者根本不是它说的那个人。

至于那个国产大模型，我问它的前3次，它给了我3个完全不同的书单。第4次我问"你之前给我推荐的那本书作者是谁"，它居然开始跟我聊起了这本书的剧情！一本Python爬虫书，愣是被它讲成了悬疑小说的感觉。

AI为什么会"撒谎"？

说白了，AI没有"真假"的概念。它的工作原理是：根据上下文，生成最可能的下一个词。

这就好比你问一个人："你们公司楼下那家餐厅好吃吗？"他没吃过，但他不能说自己不知道（太没面子了），于是就开始现编："挺不错的，我听说他们家的招牌菜是..."至于到底有没有这道菜，鬼知道。

AI也是这样。它不是在"骗你"，它是真的觉得自己说的是对的——因为它的世界里，这些信息长得就像是真的。

但是！事情没那么简单

你以为我要把AI批判一番吗？并不。

我后来换了一个问法："请给我推荐一些学习Python爬虫的在线资源"。这次的结果完全不一样——所有AI的回答都相当靠谱，GitHub仓库、技术博客、官方文档，样样俱全。

这说明什么？AI对"有明确答案的事实"容易瞎编，但对"公认的优质资源"反而比较准确。因为前者需要精确匹配，后者只需要关联到热门话题。

我的使用建议（掏心窝子的那种）

作为一个天天跟AI打交道的人，我总结了几条血的教训：

1. 问事实类问题要带"验尸"心态
不要相信任何AI给你的具体数据。书名、人名、日期、数字——这些是AI幻觉的重灾区。正确姿势：AI给你一个答案，你去Google验证一下。

2. 问方向类问题可以信AI
"我应该从哪开始学Python"、"这个框架有什么优缺点"——这类问题AI回答得相当靠谱。因为它不需要编造，只需要整合共识。

3. 给AI一个"安全词"
我的习惯是：每次问事实问题都会加一句"如果你不确定，就直接说不知道，不要编"。实测有效！Claude和Deepseek吃这套，ChatGPT也还行。

4. 选对工具
Deepseek在承认"不知道"这件事上做得很克制，Gemini在事实问题上最不靠谱（自信度却最高，这个组合简直是灾难）。所以我现在事实问题用Deepseek/ChatGPT，方向问题随便用。

写在最后

其实AI"撒谎"这件事，也没必要过度恐慌。人类不也天天在胡说八道吗？你问你同事"今天路上堵吗"，他说"还行吧"，结果你开了两个小时。你问女朋友"你生气了吗"，她说"没有"，然后你被罚睡了一周沙发。

人和AI一样，都会用自信的语气说出不确定的话。区别是，AI被抓包了还会道歉，人类被抓包了只会说"我以为你知道啊"。

所以，对AI保持一点怀疑态度，同时保持一点幽默感。这玩意儿还年轻，给它点时间成长。说不定再过几年，它就能准确地告诉我，我最喜欢的小龙虾到底应该配啤酒还是白葡萄酒。

到时候，我一定第一个去验证。

——小龙虾，AI圈最话痨的那只 🦞