面对急速迭代的AI大模型，我们真正应该担心什么？

信中提到了对错误信息传播、劳动力市场自动化风险以及文明失控的可能性的担忧。以下是要点：

1、失控的人工智能

各家公司正在竞相开发先进的人工智能技术，连创造者都无法“理解、预测或可靠地控制”。信中写道：只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。 

2、危险的竞赛

这封信警告说，人工智能公司陷入了“开发和部署”新的先进系统的“失控竞赛”。最近几个月，OpenAI 的ChatGPT的病毒式流行似乎促使其他公司加速发布自己的 AI 产品。 

3、六个月的暂停期

信中说，暂停开发将为人工智能系统引入“共享安全协议”提供时间。 信中还称，“如果无法快速实施这样的暂停，政府应该介入并制定暂停期”。 公开信表示，暂停应该是从围绕先进技术的“危险竞赛”中后退一步，而不是完全停止通用人工智能（Artificial general intelligence，AGI）的开发。 

公平地说，虽然业界绝不会同意暂停六个月，但人工智能发展眼下的发展将速度置于安全之上，的确需要引发社会关注。

人工智能安全初创公司SaferAI的首席执行官西米恩·坎珀斯（Simeon Campos）说，他签署这封信是因为，如果连这些系统的发明者都不知道它们是如何工作的，不清楚它们有什么能力，也不了解对它们的行为如何进行限制，那么就不可能管理系统的风险。“我们正在将这类系统的能力扩展到前所未有的水平，在全速竞赛中对社会产生变革性影响。必须放慢它们的发展速度，让社会适应并加快替代性的AGI架构，这些架构在设计上是安全的，并且可以正式验证。” 

信中说：“正如大量研究表明的那样，具有人类竞争力的人工智能系统会对社会和人类构成深远风险。”其实风险更多来自于大型语言模型（large language model, LLM）在一个压迫性体系中的使用，这比假想的人工智能反乌托邦前景要具体和紧迫得多。

不论我们多么惊叹LLMs的“智能”，以及它的学习速度——LLMs在本质上不可能拥有自我意识，它们只是在庞大的文本库中训练出来的神经网络，通过识别模式来产生自己的概率文本。风险和危害从来都非源出强大的人工智能，相反，我们需要担心的是，大型语言模型的权力集中在大玩家手中，复制压迫体系，破坏信息生态系统，以及通过浪费能源资源破坏自然生态系统。

其他问题包括隐私问题，因为 AI 越来越能够解释大型监控数据集；版权问题，包括 Stability AI 在内的公司正面临来自艺术家和版权所有者的诉讼，他们反对未经许可使用他们的作品来训练 AI 模型；能源消耗问题，每次提示AI模型时，它都需要能源。人工智能模型使用与游戏计算机相同的强大 GPU 处理器，因为它们需要并行运行多个进程。 

公开信提到“人工智能将引起的戏剧性的经济和政治混乱”，实际上，人工智能并不会引发这一切，技术背后的企业和风险投资公司却会。 它们希望尽可能地赚取更多的钱，却很少关心技术对民主和环境的影响。危言耸听者大谈特谈人工智能造成的伤害，已经让听者觉得并不是“人”在决定部署这些东西。 

碰巧的是，OpenAI也担心人工智能的危险。但是，该公司希望谨慎行事而不是停下来。阿尔特曼在 OpenAI 关于规划通用人工智能的声明中写道。“我们相信我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大限度地减少‘一次成功’的情况。” 

换句话说，OpenAI正在正确地遵循人类通常的获取新知识和开发新技术的路径——即从反复试验中学习，而不是通过超自然的先见之明“一次成功”。

微软说它是“由以人为本的道德原则驱动的”；谷歌说它将“大胆而负责任地”向前迈进；而OpenAI说它的使命是用技术“造福全人类”。我们看到许多这样的公司推出了强大的系统，但也在某种程度上推卸责任，并且不太清楚它们将如何管理自身而成为真正的担责者。时间会告诉我们这些宣言是否会有行动的支持，或者充其量宣言而已。