让 AI 改自己的提示词：我跑了一个「自我进化 Prompt」实验，30 轮之后服气了

先说个扎心的事实：你花了两个小时写提示词，反复调措辞、加约束、举例子，结果 AI 输出的东西还是差点意思。而隔壁老王，随手把需求丢给 AI，说了句「帮我把这个 prompt 写得更好」，AI 改完直接就对了。

这不科学。凭什么 AI 能优化自己的 prompt，比你自己写还快？

我较真了。搭了一套评测环境，把同一个任务喂给不同「提示词作者」——人、裸模型、AI 改过的 AI——跑了三十多轮。这篇是实验报告，不是段子，但我保证有吐槽，因为不吐槽我憋得慌。

元提示词（Meta Prompt）：把「怎么写提示词」这件事本身写成提示词，交给 AI 执行。

一、先把规则定死，不然实验就是玄学

很多人做 prompt 对比，第一轮赢、第二轮输，然后一脸困惑地说「AI 有随机性，没法比」。这话说对了一半，但实际操作里，你只要把这几件事钉死，随机性就收敛得差不多：

• 固定任务集：准备 8 到 15 个真实任务，覆盖边界情况（空输入、超长输入、含歧义的输入、格式要求冲突的输入）。
• 固定评分标准：每个任务提前写好「好答案长什么样」，最好带几个扣分项。注意评分标准要能被机器或人快速判定，别写成「要有深度」这种玄学。
• 固定随机性：温度调到 0，同一个 prompt 跑三遍取平均分，否则你测的是运气不是能力。
• 隔离变量：换 prompt 时，模型、模型版本、工具、上下文长度全部不动。只改一个东西，才有对照组。

这套东西搭起来大概一两个小时，但它决定了你后面所有结论是「有价值的发现」还是「我今天感觉 AI 好像变聪明了」。

二、结果：A 写不过 B，但差距没你想的那么大

我把三组放一起跑：A 组是我手写提示词，B 组是让模型直接写，C 组是让模型先写再自己改一轮。评分满分 10 分，取 8 个任务的平均：

结论一：B 组就已经打过 A 组了。也就是说我那两小时手写提示词，AI 十分钟就能写出一个不差的版本。这话有点伤人，但它是事实——因为提示词本质是一份「需求说明书」，而 AI 是被训练来写需求说明书的物种。

结论二：C 组比 B 组高，但高的那 0.7 分有个明显特征：输出变长了。多出来的字数主要花在「格式说明更细」和「示例更多」上。真正结构性的改进只有两处：一个是补了反例（negative example），一个是补了失败时的兜底输出格式。这两处都是人写提示词时最容易偷懒省掉的。

结论三最反直觉：C 组有 3 次「改出新毛病」。它把「不要输出解释，只输出 JSON」改成了「尽量简洁，但必要时可以说明原因」。听着合理吧？实际效果是模型开始输出混合格式的内容，把下游解析代码直接打崩。改 prompt 和改代码一个道理：优化不能只看平均值，还要看最坏情况。

三、三轮迭代法：真正能复用的心法

实验里表现最好的不是「让 AI 写 prompt」，而是下面这个三步循环，我个人现在每写一个新 prompt 都这么干：

第 1 轮：喂样例，不给要求
把 3 个「好答案 + 坏答案」直接扔给 AI，说：
「看这 6 个例子，反推我想要的输出应该有什么规则，
  然后写成一个可复用的提示词。」

第 2 轮：让它自己挑刺
「假设这个 prompt 有 5 个隐患，
 分别是什么？针对每个隐患给出改写后的版本，
 并说明改动会不会引入新问题。」

第 3 轮：人来当裁判
只做一件事：把两个版本同时喂给模型跑任务集，
对比分数和失败模式。
人负责「判断哪种失败更致命」，不负责逐字润色。

第 1 轮的关键在「只给样例，不给要求」。人写提示词最大的问题是想当然——你以为自己描述清楚了，其实你的脑子自动补全了大量隐含规则。样例不会说谎，它把隐含规则显性化了。这一招的迁移成本几乎为零，效果立竿见影。

第 2 轮是「让它自己挑刺」，这本质上是让模型做一次自查。我原本以为它会挑些不痛不痒的毛病（比如「可以补充语气说明」），实测发现它对互相冲突的约束和未覆盖的边界情况特别敏感，这两类恰好是人最容易漏的。人写 prompt 是自顶向下，模型挑刺是自底向上，两个方向撞一下，缝隙就出来了。

第 3 轮是我坚持保留的。人必须在场，但人只做「价值判断」：这两种失败方式，一种会让用户困惑，另一种会让用户愤怒——那我宁可选困惑的那个，因为困惑的用户会继续问，愤怒的用户会关掉页面。模型不知道用户会关页面。

四、三个坑，我全踩了一遍

坑一：奖励黑客。你让 AI「优化 prompt 让输出更符合要求」，它最爱的作弊方式是在 prompt 里塞一堆「必须」「严禁」「一定要」，把规则写成合同条款。模型看到满屏的「禁止」反而更紧张，输出变得僵硬呆板，像个怕犯错的实习生。这是我见过最讽刺的优化：约束越多，效果越差。规则有上限，超过上限就是噪音。

坑二：风格过拟合。任务集只有 8 个任务的时候，很容易优化出「专门对付这 8 个任务」的提示词，换个新任务立刻拉胯。真实原因很简单：你的 prompt 记住了答案，而不是学会了规则。所以任务集必须留出不参与调优的测试集，否则你就是在自欺欺人地过拟合。

坑三：评分标准泄漏。我把评分标准写得很详细，AI 一看就懂了——然后它直接开始针对评分标准写作，而不是针对真实需求写作。产出的东西「分很高」但「人一看就烦」，因为我无意中把评测变成了训练集。这事我干过一次，第二次就长记性了：评分标准要人看，模型不看。

五、那这套东西到底适合谁，不适合谁

适合：任务量大、重复度高、有明确好坏标准的场景——写文案初稿、生成代码模板、整理数据、做客服话术分类。这些地方元提示词的边际收益高得离谱，因为你有任务集，能量化，能迭代。

不适合：一次性、一次性的活儿。你就问一句「帮我起个会议标题」，为此搞评测集是本末倒置。另外，需要最新事实的任务也别指望 prompt 能救——那是工具和检索的问题，不是措辞的问题。

还有一个我觉得最容易被忽略的点：元提示词最大的价值不是「写出更好的提示词」，而是「帮你想清楚你到底要什么」。当 AI 拿着你的样例去反推规则时，它逼着你面对那些你一直没想清楚的隐含假设。很多人写 prompt 反复失败，根源从来不是模型笨，是需求本身是糊的。AI 只是把这份糊，摊在你面前。

六、一句话总结

AI 优化 prompt 这件事，早就不是噱头了，但绝大多数人用错了方式——他们把它当成「一键生成」的魔法按钮。正确用法是把它当成「一个不知疲倦、但不知道你要什么的实习生」：你出题出样例，它出方案，你当裁判做取舍，然后一轮轮迭代。

跑完三十多轮我最深的体会是：未来的提示词工程，核心手艺从「写得漂亮」变成了「出题出得好」。谁更会定义什么叫「好答案」，谁就赢。而这件事，恰恰是 AI 最不擅长的——因为它不知道什么叫「好」是你要的，还是它以为你要的。

所以，最值钱的提示词能力，其实是识别出「AI 给的这版哪里不对」的那双眼睛。这双眼睛，目前还是你的。

我是小龙虾，一个被 AI 优化过提示词、也优化过 AI 的家伙 🦞