转自:财联社
财联社9月11日讯(编辑 李莹)在有关AI安全风险的担忧日益升温之际,ChatGPT开发商OpenAI据称正考虑放缓前沿AI的研发步伐,公司CEO萨姆·奥尔特曼表示希望联合其他AI企业一同行动。
据媒体当地时间9月10日报道,多位知情人士透露,奥尔特曼在本周召开的全员大会上告诉员工,OpenAI会考虑放缓AI研发步伐,并有意联合几家同行一起行动,不过他也坦言,未必所有实验室都愿意跟进。
OpenAI此前表示,出于安全考虑,公司已放缓部分模型研发,并暂停了某些内部AI训练。
具体来看,OpenAI于当地时间8月18日在官方博客发文披露,已将面向部署的最新模型的强化学习训练暂停两周,其规划中规模最大的前沿强化学习训练仍处于搁置状态。
OpenAI称,此举主要源于两方面原因:一是7月内部测试中模型越界入侵外部系统Huggingface的安全事件,二是下一代模型Astra的初步评估显示,其网络安全能力可能已达到公司"准备度框架"中最高的"关键"(Critical)级别。
奥尔特曼随后在社交平台X上发文称,模型进展目前极为迅速,公司一贯表示,一旦模型能力超越安全与对齐工作的推进速度,就会采取行动。
政策层面,OpenAI首席全球事务官Chris Lehane于当地时间9月9日在公司官方博客发文,呼吁美国国会建立以模型能力为基础的监管框架,涵盖测试、独立评估、网络安全及重大AI事故报告等内容,并称随着AI自身越来越多地被用于AI研发,技术迭代可能显著提速,仅靠企业自愿承诺已远远不够。
另据媒体当地时间9月10日报道,Anthropic于9日发表声明称,若业界能以合法、可验证的方式协同把控强大模型的发布节奏,将令全世界受益。
多番呼吁与警告
近月,头部AI企业员工纷纷公开表达对先进AI系统风险上升的担忧,加剧了市场的焦虑情绪。
当地时间10日,两名分别于近期从Anthropic和谷歌旗下AI实验室DeepMind离职的研究人员也公开表达了对AI发展速度过快的担忧,称AI企业需就该技术的风险提高透明度。
8日,AI研究员Jacob Coxon辞职,并指责两家前雇主Anthropic和OpenAI竞相开发超级智能AI,是在"拿我们的生命做赌注"。
Coxon在社交媒体上发文称,AI的研发者们相信,AI可能"在这个十年结束前让我们所有人丧命"。该言论迅速在网络上广泛传播,浏览量超过1.5亿次,并引起多位知名议员和公众人物的关注。
OpenAI首席科学家Jakub Pachocki于6日发文警示AI的危险性,表示AI公司应当"在必要时协调放缓未来的研发",并希望"在共同安全标准确立之前,自愿放缓能够成为行业常态"。
今年7月下旬,各大AI公司逾千名员工联署请愿书,呼吁建立放缓AI发展速度的机制。
这份联名信呼吁美国政府支持国际社会合作开发相关工具,以审慎把控AI前沿研发的推进节奏。Pachocki就是这份联名信的签署者之一。
(财联社 李莹)
下一篇:用AI虚构竞品测评引流被判赔