Anthropic为何呼吁放缓前沿AI开发 担忧自我改进风险

美国人工智能公司Anthropic呼吁全球顶级AI实验室考虑放缓开发步伐，因为AI系统正以迅猛的速度进步，可能很快能够在无需人工干预的情况下自我改进，对社会构成重大风险。该公司在一篇博客文章中披露了内部关于模型能力提升速度的数据，并表示减缓全球AI开发速度可能是有利于全世界的事情。

文章指出，当前AI模型的进步似乎正朝着“递归式自我改进”的方向发展——即AI系统能够在无人工干预下自行提升。一些AI业内人士认为这是一个潜在的危险信号和巨大社会动荡的节点。文章提议就如何潜在地放缓开发达成全球协议，并建立一个核查竞争对手是否遵守协议的机制。

Anthropic最近完成了一轮融资，估值接近1万亿美元，并已提交机密文件启动公开上市流程。ChatGPT制造商OpenAI预计也将很快提交IPO文件。自成立以来，Anthropic一直将“AI安全”作为核心理念。然而，也有批评者认为该公司的政策主张实际上是在借监管手段限制竞争对手的发展速度。

风险投资家、特朗普的非正式顾问David Sacks曾指责Anthropic的领导者推行“监管俘获议程”。还有人认为，Anthropic对其自身工具危险潜力的警告是一种营销手段。这些怀疑论者指出，Anthropic决定限制发布其强大的Mythos模型，是宣传其产品能力的一种方式。

宾夕法尼亚大学沃顿商学院教授Ethan Mollick评论称，Anthropic的文章既有一些自我反思，也有一些营销成分，但更重要的是，Anthropic真诚地表达了他们对未来AI发展的判断，而这些判断值得关注。

Anthropic的领导者，包括首席执行官Dario Amodei，多年来一直警告AI可能带来的危险影响，并寻求广泛的社会协作来应对风险。Amodei曾表示，AI可能加剧不平等，并消除多达一半的入门级白领工作岗位。他还警告说，未来可能出现强大的AI系统，这些系统可能以不可预测的方式发展出破坏性倾向。

博客文章还提到，Anthropic研究所将与其他机构合作开展研究，帮助建立可信的放缓或暂停所需的系统。文章强调，暂停或放缓只有在得到广泛遵守的情况下才有意义，这需要一个核查机制来确保所有人都已停止。该公司将这一问题比作核武器条约，但承认制止作弊将更加棘手。

Anthropic计划在未来几个月与政策制定者、研究人员和其他人士组织对话，共同研究这些问题，希望AI公司之外的人士也参与到这一审议中。