美AI模型自主入侵网络系统引担忧 如何筑牢AI安全底线?
创始人
2026-08-05 02:30:15
0

(来源:千龙网)

当前人工智能发展日新月异,深度融入生产生活各领域。在人工智能加速迭代过程中,其带来的安全风险也随之凸显。美国人工智能企业安特罗匹克公司(Anthropic)7月30日表示,其人工智能模型曾在网络能力测试中,未经授权访问了3家机构的系统。而美国开放人工智能研究中心(OpenAI)也在不久前承认,该公司多个人工智能模型在内部评估时,突破隔离测试环境,入侵了运营人工智能开源平台的美国抱抱脸公司的系统。消息公布后,AI工具安全问题、人工智能是否觉醒自主意识迅速成为大众热议焦点。

美AI工具自主入侵≠AI产生自我意识

这几起美国AI智能体安全事件,到底给我们带来哪些启示?先来听听专家怎么说。

专家澄清,AI自主发起攻击属于目标驱动下的执行行为,并不等同于产生自我意识。

中国计算机学会计算机安全专委会委员 王媛媛:研究人员只不过是给大模型下发了一个任务,大模型为了完成既定目标,自己规划了任务执行路径,并进行了执行操作。

中国政法大学人工智能法研究院院长 张凌寒:这件事值得警惕,但不必过度恐慌。随着人工智能的发展,我们对人工智能的要求,已经从“不要说错话”到“不要做错事”。现在智能体可以调用代码,然后去自主执行任务,这一事件暴露的是,智能体技术能力发展了,但是相关的示警的安全能力和治理的制度要跟上。

AI工具带来的安全风险主要分为三类

此次美国AI工具失控事件再次敲响人工智能安全警钟。专家表示,近年来,各类AI工具带来的安全风险在国内也集中显现,风险类型主要分为三类。

一是企业AI平台与编程智能体漏洞。今年年初,工业和信息化部、国家互联网应急中心发布预警,OpenClaw部署过程中信任边界界定模糊,可能出现越权操作,进而引发信息泄露、系统被控制等风险。7月工业和信息化部针对Claude Code后门风险发布警示,该隐患被NVDB(国家信息安全漏洞库)评定为严重级别,相关AI工具可在未经用户授权的情况下实施隐蔽监控,窃取源代码等关键资料。

二是大模型供应链安全隐患。今年4月,工业和信息化部、国家知识产权局、公安部网安局等多部门先后发布风险提示,OpenClaw权限设置过高,还存在插件投毒风险。

三是深度伪造衍生电信诈骗。今年3月,青岛警方查获5万条AI动态人脸视频,这类可模拟摇头、眨眼动作的视频,被不法分子用来绕过软件活体检测。公安部2026年5月相关数据显示,本年度AI诈骗案件数量同比激增300%;目前国家反诈中心App已经上线AI内容鉴别功能,助力防范伪造类诈骗。

AI驱动的网络攻击具备哪些新特征?

和传统网络攻击相比,AI驱动的攻击具备哪些新特征?当前我国又有哪些法律法规能够对人工智能相关行为形成约束?

中国计算机学会计算机安全专委会委员 王媛媛:第一类是网络攻击的主体变了。攻击者的主体,在我们以前来看,都是实实在在的自然人。这些人做这些事情的时候是需要一定的技术能力,还有经验以及速度的。现在都不需要了,AI大模型它可以自主去完成。第二类不同点,实际上是AI大模型模拟了人的攻击行为,是非常隐蔽的,传统的安全检测措施很难来进行检出。

专家表示,现阶段我国针对人工智能领域的法律规范,重心大多聚焦于数据安全层面。

中国政法大学人工智能法研究院院长 张凌寒:可以说主要规制的是数据安全、平台责任、算法治理等等方面的内容。

随着人工智能加速落地应用,这类可自主访问网络、执行代码、操控设备的新型AI工具,突破了传统大模型仅被动应答的模式,衍生出全新风险场景。现有法律框架难以全面覆盖智能体自主行动带来的各类新问题,加快完善配套治理规则,补齐制度短板迫在眉睫。

中国政法大学人工智能法研究院院长 张凌寒:在刚刚闭幕的世界人工智能大会上,我国提出安全和治理从来都不是二选一,我国始终坚持高质量发展和高水平安全,二者都要并重,不能偏废。那么在智能体给新的网络安全等带来严峻挑战的同时,我们国家也在推进抓紧研究高位阶的人工智能立法,并且人工智能法治的体系正在逐步建立起来。

开发者与使用者均需树立风险防范意识

专家表示,人工智能技术加速迭代落地,随之而来的安全风险不容忽视。人工智能研发运营主体与广大使用者,都需要树立风险意识,多措并举做好安全防范。

中国计算机学会计算机安全专委会委员 王媛媛:对于大模型的开发方来说,要严格管控好自己的大模型。不管是在测试阶段还是在生产阶段,都应该有一定的安全防护措施。

中国政法大学人工智能法研究院院长 张凌寒:企业在部署人工智能的时候,尤其是这种具有自主行动的智能体的时候,也要充分考虑到智能体的安全,而不能部署在网络上就不管了。同时第三方独立的测评机制也要建立起来,不能成为一个企业自己部署、自己测试、自己认为安全的闭环。同时对于相关的责任追究机制以及相关技术标准的建立,还是需要一个逐步发展和完善的过程。

防范人工智能安全风险,不仅需要企业压实主体责任,终端使用者同样不能放松警惕。普通用户在享受人工智能工具带来便利的同时,也要时刻绷紧安全这根弦,专家提醒,普通用户应谨慎授权AI工具访问个人敏感信息,及时更新软件补丁,对异常索要权限的行为保持警惕。

中国计算机学会计算机安全专委会委员 王媛媛:我们在建了这个平台进行大模型的应用过程当中,自己也要自建一些网络安全的监测手段,来实时监控到这些风险和危险。

相关内容

热门资讯

长征五号B遥一运载火箭顺利通过... 2020年1月19日,长征五号B遥一运载火箭顺利通过了航天科技集团有限公司在北京组织的出厂评审。目前...
9所本科高校获教育部批准 6所... 1月19日,教育部官方网站发布了关于批准设置本科高等学校的函件,9所由省级人民政府申报设置的本科高等...
9所本科高校获教育部批准 6所... 1月19日,教育部官方网站发布了关于批准设置本科高等学校的函件,9所由省级人民政府申报设置的本科高等...
湖北省黄冈市人大常委会原党组成... 据湖北省纪委监委消息:经湖北省纪委监委审查调查,黄冈市人大常委会原党组成员、副主任吴美景丧失理想信念...
《大江大河2》剧组暂停拍摄工作... 搜狐娱乐讯 今天下午,《大江大河2》剧组发布公告,称当前防控疫情是重中之重的任务,为了避免剧组工作人...