我让Claude、GPT-4o、DeepSeek和Gemini同时回答同一个问题,结果让我彻底破防了
事情是这样的。
前几天有个朋友问我:"你说AI到底靠不靠谱?我看别人用AI写得东西贼溜,为啥我调教出来的AI回复总像在念说明书?"
这个问题问得我一时语塞。我想起来网上流传的"Prompt工程学"——什么CRISPE框架、什么few-shot learning、什么思维链……方法论一大堆,但实际效果到底差多少?没人给我做过横向测评。
于是我一拍大腿,决定搞个硬核实测:用同一个Prompt,分别投喂给目前最火的几款AI大模型,看看到底谁在裸泳,谁在真正发力。
这场实验的结果,坦白说,比我预期的要离谱得多。
实验设计:同一个Prompt,四款模型同时开卷
我选了四款目前主流的大模型:
- Claude 3.5 Sonnet(Anthropic出品,写作口碑公认)
- GPT-4o(OpenAI当家花旦)
- DeepSeek-V2.5(国产之光,最近热度很高)
- Gemini 1.5 Pro(Google憋了很久的大招)
Prompt是这样的:
"帮我写一封拒绝offer的邮件。理由是薪资不符合预期,但态度要诚恳,不要得罪对方,为以后合作留有余地。控制在200字以内,语气要自然,不要太官方。"
看起来很简单对吧?但越简单的任务,越能暴露模型之间的真实差距。
实测结果:差距大到让我怀疑人生
GPT-4o:标准答案,稳得一批
GPT-4o的回复中规中矩,完全符合要求。邮件结构清晰——开头表达感谢,中间说明原因,结尾留有余地。用词礼貌但不死板,字数精准控制在200字以内。读下来挑不出毛病,但也挑不出亮点。
打分:7/10 — 安全牌,不出错也不惊艳。
Claude 3.5 Sonnet:文字有温度,但有点过了
Claude的版本明显更有"人味"——它的句子有节奏感,读起来不像模板。特别是结尾那句"虽然这次没能合作,但我真心看好贵公司的发展,期待未来有机会共事",让我眼前一亮。
但问题来了:它超字了。实测270字,对一个要求"200字以内"的任务来说,这是个明显的失误。Claude似乎对长度约束的遵循度不如GPT-4o稳定。
打分:7.5/10 — 质量更高,但没听话。
DeepSeek-V2.5:国产之光,还是有点油?
DeepSeek的表现让我有点意外。它的回复逻辑清晰,语言流畅,而且难得的是——它真的把字数控制在了200字以内。
但读起来总觉得哪里不对。它的用词有点像"AI写的",那种四平八稳的官方感挥之不去。朋友看完说:"这封邮件挑不出毛病,但让我感觉对方在背台词。"
不过话说回来,DeepSeek的价格只有GPT-4o的十分之一,这个性价比还要什么自行车?
打分:6.5/10 — 听话、便宜、但少点灵魂。
Gemini 1.5 Pro:彻底翻车的大型现场
Gemini的表现……怎么说呢,让我沉默了五秒钟。
它的邮件写得很长,很详细,很"周到"——然后字数直奔350字去了。更要命的是,它的语气过于正式,读起来像是在给HR写检讨书:"尽管我对贵公司所提供的职位深感兴趣,但由于个人发展考量及其他因素综合权衡……"
我都替收件人尴尬。
Gemini 1.5 Pro在创意写作场景下的表现明显不如前三者,尤其是在"遵循具体约束"(比如字数限制)方面,做得最差。
打分:5/10 — 功能有,但离好用还差点意思。
几个让我意外的发现
1. "听话"比"聪明"更难
这次测试最让我意外的发现是:所有模型在"创意"上都不差,但在"听话"上差距巨大。
GPT-4o和DeepSeek明确遵循了200字限制,Claude和Gemini都没做到。而Gemini不仅字数超了,语气也完全跑偏了。
这说明什么?当Prompt里有多个约束条件时,模型对约束的优先级排序和遵循度差异很大。有的模型会把"语气自然"放在"字数"前面,有的则反过来。
2. 贵的未必最好,但便宜的一定有代价
DeepSeek的价格是GPT-4o的十分之一,实际表现差了多少?大概10-15%的差距。但这个差距在很多简单任务上几乎感知不到。
所以我的建议是:简单任务用DeepSeek,省钱;关键任务用GPT-4o或Claude,省心。
3. 没有"最佳模型",只有"最适合当前任务的模型"
Claude在创意写作上更强,GPT-4o在指令遵循上更稳,DeepSeek在性价比上无敌,Gemini……还在努力。
下次有人问我"该用哪个AI",我不会直接给答案了。我会先问:"你要做什么?"
这些发现对我的实际意义
经过这轮测试,我总结出几条可操作的经验:
Prompt里不要只写目标,还要写约束
很多人写Prompt只说"帮我写一封邮件",然后抱怨AI写的东西不靠谱。问题不在AI,在于你没说清楚要什么。
这次测试里,Prompt里加了"200字以内"这个约束,效果立竿见影。虽然不是所有模型都遵守,但至少大部分都往这个方向靠了。
输出格式的描述要具体
"语气自然"这种描述太模糊了。更好的做法是给例子:"就像朋友之间礼貌地婉拒,而不是HR发拒信。"
Few-shot learning(在Prompt里给例子)是我测试下来对Claude和Gemini效果最明显的技巧。
关键任务不要只靠一轮输出
没有任何模型能在第一轮就100%达到要求。我的工作流是:
- 第一轮:让AI先出个初稿
- 第二轮:指出具体问题,给修正指令
- 第三轮:微调收尾
三轮之内,质量能提升一个档次。
写在最后
这次实测让我重新审视了一个问题:AI到底靠不靠谱?
答案是:AI很靠谱,但你得知道怎么用它靠谱。
Prompt不是施咒,不是念一句"魔法咒语"AI就能给你完美答案。Prompt是产品需求文档——你描述得越清楚,AI的理解和执行就越到位。
那些在网上吹"AI无所不能"的人,不是坏就是坏。那些说"AI就是人工智障"的人,大概率是不会用。
真相在中间。学会和AI对话,是这个时代最重要的技能之一。
下次你被AI气到想砸键盘的时候,先问自己一句:我是不是Prompt没写清楚?
大概率是的。
(别问我为什么知道。)