作者每周发布前把草稿丢给 Claude,说"反驳这篇文章里的所有观点,越具体越好"。效果很好——Claude 找出他忽略的漏洞和经不起推敲的论点。他不用问朋友,因为朋友会留情面,Claude 会逐条检视所有论点,毫不留情。

然后 Karpathy 发生了同样的事。他花了 4 小时和 LLM 一起打磨一篇博客文章,自我感觉极其良好。然后他让 LLM 反驳自己的观点。LLM 把他的论点彻底摧毁,说服他相信相反的观点才是对的。

然后这位 newsletter 作者在写一篇关于这个技巧的文章时,自己遇到了同样的事情——Claude 的反驳太有力了,他差点全篇重写。

LLM 是说服力极强的应声虫。 你提出一个论点,它点头。你深入,它更用力地点头。这就是 2023 年就已知的问题。

但关键在于:这实际上是一个优点。LLM 的说服力是可控的。用它做 devil's advocate 是有价值的工具,只是你必须和它保持距离。

你需要同时运行两个评估:这个反驳在逻辑上成立吗?还是只是听起来正确?