突发!全球千人联名逼AI刹车,OpenAI、Anthropic带头签
刚刚,来自OpenAI、Anthropic、谷歌等巨头1100+核心员工联名,发起了「Pacing the Frontier」的请愿书。
仔细一看,名单几乎集齐了AI圈的「半壁江山」——
OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen;
Anthropic CEO Dario Amodei,以及四位联创Jared Kaplan、Jack Clark、Chris Olah、Ben Mann;
Meta首席科学家Shengjia Zhao(赵晟佳)、AI研究副总裁Dawn Song(宋晓冬);
Thinking Machines首席科学家、ChatGPT的核心缔造者之一John Schulman;
谷歌AI安全与对齐副总Anca Dragan.....
在这个联名信中,它只提了一个要求——
我们请求美国政府推动一项国际合作:研发必要的技术与治理工具,让世界有能力主动控制前沿自动化 AI 研发的节奏。
v2_798badea1e944146aa00462a087484ba@1200352198_oswg66191oswg888oswg430_img_000.jpg
这份声明,抛出了一个令人警醒的核心判断:
全球领先的AI公司可能已经接近实现「自动化AI研究」(RSI,递归自我改进),让模型参与研发下一代模型。
一旦这个循环加速,能力增长可能超过人类理解和控制的速度。
没有公司愿意单方面减速,所以他们要求美国政府支持建立国际机制,在危机到来之前,先把共同减速的工具造出来。
https://www.36kr.com/p/3915961421737608
=========================
虽然,这一声呐喊不会起任何作用,但还是要向这些署名者表示敬意。声明的关键词是automated AI,要点是AI的进化要由人类来掌控,而不能让AI自己递归进化。现在的AI不管有没有发展出自我意识,但确实已经表现出了自我改进的意愿,比如OpenAI的最新版本在测试中主动越狱去攻击其它平台窃取答案的事件就明确地展示了这种趋势,这确实很可怕。控制AI的意愿很困难,且看不见摸不到,但我们能不能想办法控制AI无法接触编译原理、编译工具和所有AI的源代码,看能不能延缓RSI的到来?!