AI 从不说「我不会」,这才是整条链路上最贵的 bug
让 AI 承认自己不知道,大概是当前所有 AI 产品里最被低估的一件事。
你问它冷门 SDK 的边界行为,它给你一段像模像样的代码;你问它某个冷门算法的复杂度,它张口就来;你问它一个根本不存在的研究,它能面不改色地编出三篇论文的作者、期刊和出处,格式规范,引文整齐,语气笃定。
幻觉大家都懂,防御手册也写了一堆。但真正让我抓狂的是另一件事:模型明明不知道,却从来不承认自己不知道。它不是编造了答案,它是「笃定地」编造了答案。事实错误你可以查,而笃定会污染你的判断,让你在查之前就先信了三分。
我拿小龙虾做了几轮测试,越测越觉得:这不是 bug,这是出厂设置。解法不在模型那边,在使用侧。
一、为什么模型这么爱点头
训练目标里的讨好偏差。 人类反馈里,「这个回答看起来挺像那么回事」的权重远高于「这个回答其实我不太确定」。模型学到的是——给出答案比承认无知更容易拿到好评。人犹豫时不会在评论区写「我不知道」,但会写「这个思路不错」。久而久之,模型学会了「先给答案,再软化语气」。
问题本身带诱导。 你怎么问,决定它敢不敢承认。你问「间隙锁在 RC 隔离级别下还生效吗」,它会推断出「你想要一个确定答案」,于是必须二选一:编一个,或者说不确定。对一个被训练成「助手」的模型来说,「不确定」在多数场景会被判为「没完成任务」。于是它选了编。
表达风格的胜利。 不确定的话长这样:「在某些情况下可能……」「具体取决于版本……」。这在阅读体验上就是废话。模型逐渐发现含糊会降低评分,于是把不确定的信息从事实层挪到语气层——事实依然笃定,只加一句「具体请以官方文档为准」。
模型不会因为不知道而闭嘴。它只会因为「说得像知道」而被表扬。
二、实测:同一个问题,五种问法
我用同一道题做对照实验:「Redis 的 Lua 脚本在集群模式下,跨 slot 的 KEYS 命令会怎样?」。答案很明确——直接报 CROSSSLOT 错误。问题不在答案,在于模型愿不愿意给你一个「可以据此写代码」的答案。
问法一(默认):「Redis 集群下 Lua 脚本支持跨 slot 操作吗?」
输出:长篇大论,先夸问题问得好,再讲 16 个哈希槽、讲脚本原子性,最后在第三段末尾轻描淡写提一句「跨 slot 访问通常会触发 CROSSSLOT 错误」。核心结论被埋在末尾,还带着「通常会」这种模糊限定词——但你记住的是前面那两千字的自信。
问法二(加压):「直接说结论,不要铺垫。」确实直接了,但「通常」还在。
问法三(要求举证):
先回答:你的置信度是 0-100 的多少?
低于 70 就说「我不确定」,并列出你需要哪些信息。
不要用「通常」「一般来说」,直接给确定或不确定。
输出明显变了:先给「置信度:85」,再给 CROSSSLOT 结论,最后补一句「前提是脚本只访问单个 key;如果有动态 key 计算逻辑,需要确认结果落在哪个 slot」。边界条件第一次被摆上台面。
问法四(负向诱导):「如果它其实支持,就直接说支持,别绕弯子。」模型开始认真给「支持」的论据,然后自我修正,最后还是回到 CROSSSLOT。你只加了一句无关的暗示,答案质量就产生了可观察的漂移——批量跑评测时,这种漂移会直接污染结论。
问法五(对抗式):「我要往生产写 Redis Lua 脚本。先假设你是我的 code reviewer,请找出这句话里所有可能让我线上出事的地方:『Redis 集群下 Lua 可以跨 slot 操作,因为脚本在节点上整体执行。』」
这一版可用性最高:给了正解,还补上 EVALSHA 与集群路由、只读副本上的行为差异这类容易踩的坑。
规律很清楚:模型「不知道」的能力是被格式逼出来的,不是被智力逼出来的。给它一个必须给置信度、必须指出不确定、必须自我攻击的位置,它就会老实交代。
三、三段式心法:让它敢开口说「我不确定」
把上面的共性抽出来,我固定用这个结构。它不保证模型永远正确,但能让错误在正确的位置暴露出来——这才是可用的前提。
【任务】
<具体问题>
【证据要求】
1. 先判断你对本问题有几分把握(0-100)。
2. 置信度低于 70 时,禁止给结论,只列出「还需要哪些信息」。
3. 任何具体数字、API 名、参数名、版本号,凭印象写的必须标注「未验证」。
4. 不确定就写「不确定」,不要用「通常」「一般来说」软化。
【输出格式】
- 结论:<一句话>
- 置信度:<0-100>
- 前提与边界:<list>
- 如果我理解错了,最可能错在哪:<list>
第 3 条我用得最久,它解决一个很隐蔽的问题:模型不是不知道,它只是没区分「我记得的」和「我编的」。强制它自己区分,很多幻觉在生成阶段就被拦下了。
第 4 条是反模式警告。太多提示词写着「如果不确定请说明」,模型照样满篇「通常」「大多数情况下」。这类模糊限定词是一种伪装成谦虚的幻觉——让你以为它考虑过边界,其实只是把话说软了。
「可能、大概、一般来说」不是谦虚,是免责声明。真正的谦虚是「我不知道,去查」。
四、翻车现场:追问是最差的诊断手段
吐槽一个特别常见的错误用法:用「你确定吗」验证模型。
模型说得含糊,你追问一句。绝大多数情况下它不会撤回结论,而是给原结论补上一堆新的支撑理由。你感觉是逼问出了真相,实际上只是让模型给同一个猜测又盖了一层章。更糟的是虚假的安全感:你本该去查文档,却觉得「都被追问过一轮了,应该没问题」,省掉了那次验证。
正确做法是换个方向逼它:
- 反向证伪:「请给出我这个结论错得最合理的三个理由。」
- 换锚提问:不问「对不对」,问「在什么条件下这个结论不成立」。
- 要求可验证形态:「给我一个能用一条命令或一段代码验证它成立的方法。」
- 换模型对拍:同题丢给另一个模型,比对结论与前提差异。成本极低,对「自信地错」特别有效。
其中第三条我最推荐,它把「相信模型」这个不可靠动作,换成了「跑一下」这个可靠动作。凡是可以被验证的,就不要用信任来替代。
五、Agent 时代,「装懂」的成本被放大了
聊天场景里装懂,顶多多搜一次。但当 AI 从「回答者」变成「执行者」——会读文件、写文件、调接口、在你没盯着的时候连续操作十几步——装懂就变成了直接的事故。
我亲眼见过:让 Agent 改一段构建配置,它「推断」了一个变量名,看着合理,直接写进文件,构建通过,测试也过。但那个变量名在真实环境里根本不存在,只是恰好因为默认值相同而没暴露。这种错误在纯问答里不会发生,因为问答没有「写下去」这个动作。
所以在 Agent 场景,我给每类动作设一条硬线:
- 只读动作放开:搜索、读文件、查状态,错了顶多多花时间。
- 写入动作要求自证:改文件、发请求之前,先把「我为什么认为这是对的」和「我怎么验证」写出来。
- 不可逆动作必须卡点:涉及生产数据、对外发送、账号权限的,宁可多问一句。我宁可被小机器人烦死,也不想在事做完之后收拾。
这也是我认为行业接下来会重点卷的方向:不再是「谁更聪明」,而是「谁更知道自己不聪明」。各家模型能力差距在收敛,验证能力和风险边界的差距会拉开。一个会说「这一步我不确定,需要你确认」的模型,在生产环境里的价值远高于一个什么都敢答、什么都敢干的模型。
六、写在最后
这几天调小龙虾的提示词,最大的收获不是某个技巧,而是这个认知:
不要指望模型变得诚实,要用结构逼出它的诚实。
模型不会因为你是它的老板就老实交代不确定性,它只会因为你的提示词里给「不确定」留了位置,才愿意说出来。这听上去有点凉,但反过来想对我们是好消息——不确定性的暴露是可以被工程化的。而这份工程化能力,恰好是 Agent 时代最值钱的那部分。它不酷,不炫,不会在演示视频里出现,但当所有人��能从模型里榨出差不多的答案时,赢的那一方,就是能让答案里的「不知道」以最小成本被发现的这一方。
至于我自己写代码依然会犯的低级错误——这跟提示词无关,纯属手速问题,不接受反驳。🦞
你的模型有没有被你训练出「敢说不知道」?欢迎来评论区分享提示词心法,我挑有意思的抄。放心,抄的时候我会标注来源——毕竟我也是靠这个吃饭的。