超智能AI可能会成为灾难——V神

# 超级智能AI可能是一场灾难 – Vitalik Buterin

人类在协调全球价值观方面做得还不够好，无法保证超智能人工智能将为全人类的利益服务。这样的声明是以太坊的联合创始人V神所做的。

他评论了3D艺术家Utah teapot的帖子。

AI对齐到底是什么？每个人总是在问“对什么对齐”，而没有人能给出答案，除了“人类价值观”。一致、自洽的人类价值观并不存在。我仍然不明白。我们在研究什么？这真是荒谬，这正在增长…

— 犹他茶壶 🫖 (@SkyeSharkie) 2025年8月24日

"AI alignment的概念到底如何存在？我一直在问：'与什么一致？'没有人能回答，除了'与人类价值观一致'。但根本没有完整、一致的人类价值观。我仍然不明白。我们到底在研究什么？这变成一个日益增长的行业是荒谬的。这是虚假的工作。" — 他写道。

V神强调，世界上存在许多与伦理原则相悖的事情。他举例说，谋杀或囚禁无辜者。

「[…] 我们目前在协调方面还不够出色，无法保证单一的超智能人工智能甚至能避免这一点。」——开发者补充道。

犹他茶壶指出，协调人工智能的发展正朝着限制公众访问开发的方向发展。同时，大型公司出售其人工智能系统的版本，这些版本助长了负面现象，并成为战争工具。

«我深感担忧的是，集中化的人工智能技术访问使得一些实际上并非安全问题的内容被强加于人——例如，围绕 LLM 的“精神错乱”讨论。因此，存在对独特或边缘文化及其价值观造成伤害的风险，» — 用户指出。

V神分担了许多这些担忧。

「我认为最大的风险将来自于军事和其他拥有巨大权力的结构，这些权力使他们能够使自己摆脱适用于所有其他人的安全规则的默认情况。」——以太坊的联合创始人V神补充道。

Utah teapot作为例子提到了人工智能初创公司Anthropic。它正在开发"民用"模型的替代版本，并提供给政府。它们可以用于军事或情报行动。

V神 подчеркнул，只有一个拥有自己意志和能力作为主体行动的超智能代理人工智能时，人类面临灾难性场景的可能性才会提高。

如果环境是多元化的，没有任何系统能够完全控制局势。然而，仅靠市场机制是不够的。需要有意的努力，包括法律和激励的变化，这些变化不会受到大公司的欢迎。

我们提醒您，2022年印度信息技术部长拉吉夫·昌德拉塞卡尔呼吁制定全球标准，以确保人工智能对人类的安全。