您的位置: 首页 > 新闻动态 > 行业资讯

黑客盯上了大模型

2024-05-31 10:48:54 栏目:行业资讯 查看(102)

ChatGPT的发布,在带动新一轮人工智能浪潮的同时,也驱动了网络攻击和网络犯罪的升级。

 

“过去,黑客生产一个攻击病毒需要数月时间,现在通过大模型工具可能几分钟就能生成,大大提高了攻击的效率。同时大模型对于编程语言的理解也非常强,攻击者可利用大模型迅速发现软件的漏洞。还有一波急功近利的黑客,利用AI的算法在视频中做人脸的深度伪造,产生了新一波网络诈骗犯罪的涌现。”亚信安全高级副总裁陈奋在接受《科创板日报》采访时表示。

 

同时,攻击者的攻击目标从传统的资产盯上了AI算力基础设施和大模型。“年初美国一个数千台服务器的算力集群被攻破,黑客拿去挖比特币。AI算力基础设施就是高价值的GPU集群,这无疑具有巨大的诱惑力,甚至大模型本身也有可能被利用。过去短短一年时间,针对大模型的攻击手段已经涌现出10种不同的类型。”陈奋称。

 

目前,国内外厂商都针对大模型领域推出了安全产品。微软在5月份正式商用了Security Copilot,声称在未来要投入千亿美金在人工智能上。谷歌去年发布了网络安全专有大模型,已经应用到云安全能力中心中。网络安全巨头Paloalto、CROWDSTRIKE均在其安全运营平台集成了大模型的安全运营能力。

 

国内的相关数据显示,80%以上的网络安全公司都在将大模型技术集成到网络安全产品中,30%的公司已经开始做大模型安全的研究,也出现了一些安全创业的浪潮。

 

针对AI技术发展带来的安全风险,中国工程院院士、清华大学智能产业研究院院长张亚勤则建议,从事前沿大模型的企业或机构,要把10-30%的投资投到相关研究或产品的开发。

 

▍黑客盯上大模型

 

在张亚勤看来,人工智能特别是大模型在带来新机遇的同时,本身存在很多安全风险,这促使信息安全的范畴需要扩大,包括AI本身的安全风险,模型的参数数据、模型对人类的攻击性,不可解释性、黑箱等,以及可控性、可信性、边界等问题。

 

陈奋向《科创板日报》记者介绍,去年已经发现了针对大模型的海绵样本攻击。大致原理是通过向大模型发布特殊的样本,让算力消耗急剧上升。原来几秒钟能做出响应的需求,被攻击后需要大量的时间计算。哪怕停止攻击以后,同样的一个请求,大模型也需60秒以上才能返回,即原来的20倍以上。

 

“如果未来的核心应用是大模型驱动的AI原生应用,基本上等于瘫痪了。这只是一个相对基础的攻击事例,可以看到针对大模型攻击很快会到来。”

 

谈到AI对安全产业的影响,陈奋认为,大模型技术、GPT技术必然带来网络安全产品技术范式的革新。网络安全的攻防从原来人和人之间的对抗,升级到AI和AI之间的对抗。只有AI驱动的网络安全防护检测技术才能识别AI驱动的黑客攻击技术。最典型的案例是深度伪造,人眼可能都看不出来的人脸替换,只有通过AI技术才能识别出来。

 

同时,大模型技术将推动网络安全产品全面革新,从检测到产品体验、安全运营,带来网络安全产品设计范式全面的变化。这意味着安全厂商如果不及时转型,将丧失未来的竞争力。

 

此外,保护的对象也发生了变化。对于企业而言,如果未来其核心应用是通过大模型驱动的,那么保护企业的资产就从传统的资产演进为保护企业的AI中心。在个人的家庭安全方面,也从原来个人的家庭终端演进为保护家庭的AI中心。

 

“从传统个人的桌面、手机,演化到智能家居、智能汽车,甚至未来每个家庭可能都有一个人工智能。一旦AI走进千家万户,私人所有的数据人工智能都会知道。如果AI被黑客所控制,那是非常可怕的。个人的隐私、数据,可能就被黑客窃取走了。”陈奋称。

 

▍安全厂商纷纷入局大模型

 

自大模型热潮以来,国内已有多家安全厂商纷纷推出了安全大模型。例如亚信安全推出了网络安全自研大模型信立方,奇安信推出了Q-GPT和大模型卫士、深信服有安全GPT2.0,启明星辰等厂商也都推出了相关产品。

 

陈奋认为,大模型时代的安全问题可分为两大类,一是Security For AI,主要聚焦在保护算力安全的基础设施,以及保护大模型的安全;二是AI For Security,主要聚焦在网络安全行业的垂直大模型的研发,以及在此之上做网络安全的智能体以及安全应用。

 

《科创板日报》记者了解到,除了深度微调开源大模型,亚信安全也与业内的大模型公司比如与智谱AI合作;在算力生态上,与星云算力等算力公司进行合作;在科研生态上,与清华大学合作建立了联合实验室。

 

“如果自己构建算力中心,代价很大。所以我们选择跟算力公司合作,租用其算力节点,按需获得想要的算力。他们则会直接买我们算力云的安全解决方案。我们既拿到了想要的算力,又能够提供我们的安全服务。”陈奋表示。

 

对于大模型的开源和闭源路线之争,陈奋介绍,“我们自己也微调了很多开源大模型,确实能达到一定的效果。有些场合上,闭源的大模型效果应该是最好的。在行业场景上,闭源大模型带来的通用能力会比开源得更好,所以我们坚持闭源和开源相结合路线。”

 

▍至少10%的大模型研发经费要投入至安全风险

 

在AI所带来的安全风险方面,张亚勤介绍,“近一到两年来个人花了很多时间在做相关的事情”,包括专门成立一个20人左右的“人工智能发展与治理专题研讨会”——参与人员包括三位“图灵奖”获得者和两位深度学习领域的开创者,每过一段时间就一起研讨AI的发展和风险治理。

 

“我们认为,AI技术发展带来的安全和风险不仅是政策制定的问题,也不单纯是科学、技术、产品问题,需要做政策治理的人员和做科研的一起合作,将AI发展和治理融合起来,才有健康的发展。”张亚勤说。

 

为此,张亚勤提出了5个建议:

 

一是要对AI大模型分级管理,万亿甚至更多参数的前沿大模型的风险相对较高,应加强监管。对于一般的模型就不需要太多的治理,现在技术和政策法规已经可以了,最高级别需要治理。

 

二是对AI生成的内容要有清晰标识,比如对AI生成的数字人,要像“广告”标识一样有醒目的标注,让人知道这是AI生成的。

 

三是要有实体映射系统。张亚勤判断,未来会有很多无人车、很多机器人,十年之后人形机器人可能比人类要多很多倍。而AI智能体、机器人、无人车等,应明确其作为“从属物”映射到人或企业的主体,相关智能体出现问题,应追溯其主体责任。他提出,现在就应着手制定相关政策法规。

 

四是要加大对大模型风险安全的投入。他呼吁,政府或企业在开发AI大模型过程中,要拿出10%~30%的投入在安全风险的研究或产品开发。张亚勤说:“一开始就拿出30%比较难,可以先拿出10%做安全和风险的研究和创新产品。”

 

五是要设立具体的红线边界。他提出,AI技术有时没有边界,这也是大模型会产生幻觉的原因。因此人在使用大模型时,需要制定一些边界。比如智能数字人不能无限制地复制,大模型用于金融、军事、无人车等核心系统设施时要设立清晰红线等。

 

“这不仅仅是一个企业的事,不仅仅是国家的事,需要全球的企业和政府精诚合作,面对风险、面对存在的问题去解决。”张亚勤最后提到。

上一篇:运营人如何做策略的制定
下一篇:-