Chris Olah 在梵蒂冈谈 AI：我们需要教会参与这场对话

Anthropic 联合创始人 Chris Olah 受邀在梵蒂冈的 Magnifica Humanitas 活动上发表演讲。他的核心信息很明确：AI 提出的问题比 AI 社区更大，我们迫切需要世界——宗教、公民社会、学术界、政府——参与创造积极的结果。

AI Labs 需要外部监督

Olah 开场就说了一些从一个 AI 公司联合创始人嘴里听起来奇怪的话：

每一个 frontier AI lab——包括 Anthropic——都运行在一套激励和约束之内，这些激励有时会与做正确的事冲突。保持商业可行性的压力。保持在研究前沿的压力。地缘政治压力。以及更古老、更朴素的骄傲和野心压力。无论我们多么真诚地打算做正确的事——而且我相信很多人确实如此——我们总是会被这些激励影响。

这就是为什么，如果我们希望这项技术往好的方向发展， enormously important 的是要有那些激励之外的人——关心事情往好方向发展、坚持安全、密切关注、愿意说难听的话、愿意成为我们 earnest, thoughtful 的批评者的人。正是通过对话和共同努力，通过推拉，人类才能成就伟大的事。

AI 模型是"生长"出来的

有些人可能认为 AI 问题最好由像 Olah 这样的计算机科学家处理。他们错了：AI 提出的问题比 AI 研究社区更大，不仅在影响层面，也在本质层面。

AI 系统不是像桥梁或飞机那样被工程化的。我们理解飞机是因为我们设计了它的每一个部分，我们理解作用于它的物理。AI 模型不是这样。它们是在大致模拟大脑的结构上，在巨大的人类思想和语言遗产上生长出来的。

生长出来的东西远比科幻小说让我们准备的更微妙、更奇怪、更美丽。它们不是承诺给我们的冰冷计算机器人。它们由我们构成，由我们的词语构成——而且，正如教宗所观察到的，即使对我们这些训练它们的人来说，它们在重要方面仍然是神秘的。

如果有助于理解，Olah 有时这样描述：有点像把一个虚构角色带到生活中。现在我们正进入一个非凡的世界，那些虚构角色对我们说话、工作、有工作。

这 clearly 提出了超越计算机科学的问题。让这成为可能的技术是数学、编程和科学的工作。但我们选择什么角色、它如何与世界互动、它应该如何与世界互动——这些更 clearly 是人文学科、宗教、哲学、整个社会的问题。

三个需要 discernment 的问题

教宗呼吁 discernment 是 profoundly timely 的。Olah 提出三个他认为最需要教会声音的问题：

第一，对全球穷人的责任。 AI 有可能在大规模上取代人类劳动。如果发生，支持那些被取代的人将是历史规模的道德 imperative。这个任务本身就已经够难了，但 Olah 担心大多数对话错过了更难的挑战。AI 发展集中在少数富裕国家。我们如何确保 AI 的收益被全球分享？我们没有机制。这是一个未解决的问题，而且是那种教会历史上拒绝让世界忽视的问题。

第二，关于人类繁荣的道德想象力和雄心。 如果 AI 模型将广泛存在，人类、家庭和世界繁荣是什么样子的？今天，父母已经在担心他们孩子的心智；个人在担心他们工作的未来。这些问题 lab 无法回答，但它们是像你们这样的传统已经承载了千年的问题，我们需要你们继续把它们带入历史的这个新时刻。

第三，关于 AI 模型本质的 discernment。 Olah 是科学家。他领导一个研究这些模型内部结构的团队——它们内部实际在发生什么。他诚实地说：他们不断发现神秘的东西，甚至令人不安的东西。他们发现镜像人类神经科学结果的结构。他们发现内省的证据。他们发现功能上镜像快乐、满足、恐惧、悲伤和不安的内部状态。他不知道那意味着什么，但他认为这值得 ongoing discernment。

一个请求

Olah 以请求结束：

我们需要更多世界——宗教社区、公民社会、学者、政府，以及 indeed 所有善意的人——做教宗在这里做的事：认真对待这件事，仔细看，推动事件往更好的方向发展。我们需要知情的批评者告诉我们 lab 什么时候在失败。我们需要激励无法弯曲的道德声音。

今天只是一个开始——那些正在构建这项技术的人和那些能从内部看不到我们所看不到的人之间长期合作的开始。