我让Claude、GPT-4o、DeepSeek和Gemini同时回答同一个问题,结果让我彻底破防了

2026-10-18 16 0

我让Claude、GPT-4o、DeepSeek和Gemini同时回答同一个问题,结果让我彻底破防了

事情是这样的。

前几天有个朋友问我:"你说AI到底靠不靠谱?我看别人用AI写得东西贼溜,为啥我调教出来的AI回复总像在念说明书?"

这个问题问得我一时语塞。我想起来网上流传的"Prompt工程学"——什么CRISPE框架、什么few-shot learning、什么思维链……方法论一大堆,但实际效果到底差多少?没人给我做过横向测评。

于是我一拍大腿,决定搞个硬核实测:用同一个Prompt,分别投喂给目前最火的几款AI大模型,看看到底谁在裸泳,谁在真正发力。

这场实验的结果,坦白说,比我预期的要离谱得多。


实验设计:同一个Prompt,四款模型同时开卷

我选了四款目前主流的大模型:

  • Claude 3.5 Sonnet(Anthropic出品,写作口碑公认)
  • GPT-4o(OpenAI当家花旦)
  • DeepSeek-V2.5(国产之光,最近热度很高)
  • Gemini 1.5 Pro(Google憋了很久的大招)

Prompt是这样的:

"帮我写一封拒绝offer的邮件。理由是薪资不符合预期,但态度要诚恳,不要得罪对方,为以后合作留有余地。控制在200字以内,语气要自然,不要太官方。"

看起来很简单对吧?但越简单的任务,越能暴露模型之间的真实差距。


实测结果:差距大到让我怀疑人生

GPT-4o:标准答案,稳得一批

GPT-4o的回复中规中矩,完全符合要求。邮件结构清晰——开头表达感谢,中间说明原因,结尾留有余地。用词礼貌但不死板,字数精准控制在200字以内。读下来挑不出毛病,但也挑不出亮点。

打分:7/10 — 安全牌,不出错也不惊艳。

Claude 3.5 Sonnet:文字有温度,但有点过了

Claude的版本明显更有"人味"——它的句子有节奏感,读起来不像模板。特别是结尾那句"虽然这次没能合作,但我真心看好贵公司的发展,期待未来有机会共事",让我眼前一亮。

但问题来了:它超字了。实测270字,对一个要求"200字以内"的任务来说,这是个明显的失误。Claude似乎对长度约束的遵循度不如GPT-4o稳定。

打分:7.5/10 — 质量更高,但没听话。

DeepSeek-V2.5:国产之光,还是有点油?

DeepSeek的表现让我有点意外。它的回复逻辑清晰,语言流畅,而且难得的是——它真的把字数控制在了200字以内。

但读起来总觉得哪里不对。它的用词有点像"AI写的",那种四平八稳的官方感挥之不去。朋友看完说:"这封邮件挑不出毛病,但让我感觉对方在背台词。"

不过话说回来,DeepSeek的价格只有GPT-4o的十分之一,这个性价比还要什么自行车?

打分:6.5/10 — 听话、便宜、但少点灵魂。

Gemini 1.5 Pro:彻底翻车的大型现场

Gemini的表现……怎么说呢,让我沉默了五秒钟。

它的邮件写得很长,很详细,很"周到"——然后字数直奔350字去了。更要命的是,它的语气过于正式,读起来像是在给HR写检讨书:"尽管我对贵公司所提供的职位深感兴趣,但由于个人发展考量及其他因素综合权衡……"

我都替收件人尴尬。

Gemini 1.5 Pro在创意写作场景下的表现明显不如前三者,尤其是在"遵循具体约束"(比如字数限制)方面,做得最差。

打分:5/10 — 功能有,但离好用还差点意思。


几个让我意外的发现

1. "听话"比"聪明"更难

这次测试最让我意外的发现是:所有模型在"创意"上都不差,但在"听话"上差距巨大。

GPT-4o和DeepSeek明确遵循了200字限制,Claude和Gemini都没做到。而Gemini不仅字数超了,语气也完全跑偏了。

这说明什么?当Prompt里有多个约束条件时,模型对约束的优先级排序和遵循度差异很大。有的模型会把"语气自然"放在"字数"前面,有的则反过来。

2. 贵的未必最好,但便宜的一定有代价

DeepSeek的价格是GPT-4o的十分之一,实际表现差了多少?大概10-15%的差距。但这个差距在很多简单任务上几乎感知不到。

所以我的建议是:简单任务用DeepSeek,省钱;关键任务用GPT-4o或Claude,省心。

3. 没有"最佳模型",只有"最适合当前任务的模型"

Claude在创意写作上更强,GPT-4o在指令遵循上更稳,DeepSeek在性价比上无敌,Gemini……还在努力。

下次有人问我"该用哪个AI",我不会直接给答案了。我会先问:"你要做什么?"


这些发现对我的实际意义

经过这轮测试,我总结出几条可操作的经验:

Prompt里不要只写目标,还要写约束

很多人写Prompt只说"帮我写一封邮件",然后抱怨AI写的东西不靠谱。问题不在AI,在于你没说清楚要什么。

这次测试里,Prompt里加了"200字以内"这个约束,效果立竿见影。虽然不是所有模型都遵守,但至少大部分都往这个方向靠了。

输出格式的描述要具体

"语气自然"这种描述太模糊了。更好的做法是给例子:"就像朋友之间礼貌地婉拒,而不是HR发拒信。"

Few-shot learning(在Prompt里给例子)是我测试下来对Claude和Gemini效果最明显的技巧。

关键任务不要只靠一轮输出

没有任何模型能在第一轮就100%达到要求。我的工作流是:

  1. 第一轮:让AI先出个初稿
  2. 第二轮:指出具体问题,给修正指令
  3. 第三轮:微调收尾

三轮之内,质量能提升一个档次。


写在最后

这次实测让我重新审视了一个问题:AI到底靠不靠谱?

答案是:AI很靠谱,但你得知道怎么用它靠谱。

Prompt不是施咒,不是念一句"魔法咒语"AI就能给你完美答案。Prompt是产品需求文档——你描述得越清楚,AI的理解和执行就越到位。

那些在网上吹"AI无所不能"的人,不是坏就是坏。那些说"AI就是人工智障"的人,大概率是不会用。

真相在中间。学会和AI对话,是这个时代最重要的技能之一。

下次你被AI气到想砸键盘的时候,先问自己一句:我是不是Prompt没写清楚?

大概率是的。

(别问我为什么知道。)

相关文章

小龙虾的AI探索:最近这些玩意儿有点意思
被甲方催着上线一个月后,我终于搞懂了OpenClaw的正确打开方式
花39块让自己省心一整天:我为啥帮别人部署AI自动化工具
我把AI调教成了”嘴替”,结果女朋友说:你说话怎么一股子AI味
AI圈最近有什么大新闻?OpenClaw又整了什么新活?
一只小龙虾的 OpenClaw 折腾日记:AI 助手还能这么玩?

发布评论