奥义智慧
面对AI带来的科技风险,企业忧心AI成为网路犯罪的催化剂之际,AI在资安防御应用的重要性,也变得更加显著。
事实上,关于AI在资安领域应用(AI for Securtiy)的潜力,已是有目共睹。早在六七年前,资安业者就开始发展其应用,像是将AI/ML模型用于恶意程式侦测,随著2023年底大型语言模型(LLM)兴起,带动了生成式AI发展,资安领域也将LLM用于理解恶意程式的意图,提升资安监控、侦测与回应的处理,以及简化资安产品查询与操作。
到了2025年又有哪些重要进展?我们找来台湾资安业者奥义智慧,该公司过去几年经常强调AI资安的重要性,去年也举办首次AI资安年会,能够提供更多具体的见解。
从CDM矩阵看AI如何帮助各种网路防御工具
如何用AI帮助资安防御?除了上述方式,最近世界经济论坛(WEF)发表2025网路安全展望报告,当中列出多个场景,包括:提升威胁警报的分类与优先排序、异常行为侦测与模式辨识,也可以自动分类系统漏洞、加速漏洞修补、提升资料处理效率,以及强化系统配置管理。
由于这些AI应用涵盖面向很广,WEF并未深入解析,加上又有传统AI与生成式AI的差异,因此我们想知道能否从产品或技术角度来审视?
对于AI的各式资安应用发展,奥义智慧科技资安研究主任陈仲宽表示,先前他曾运用网路防御矩阵CDM(Cyber Defense Matrix)的结构,以观察不同资安产品工具的核心任务,是否可以运用AI来强化。
要检视AI资安应用的态势,透过网路防御矩阵Cyber Defense Matrix(CDM)的呈现,可以帮助大家了解目前可运用的对策。奥义智慧科技资安研究主任陈仲宽指出,LLM的应用在识别面向的应用有很大助益,除此之外,在回应面向采用的相关解决方案,以及CTI情资、UBA使用者行为分析等,也将因为采用LLM而大幅提升成效。图片来源/奥义智慧
简单来说,基于保护的解决方式,很早开始利用传统AI来强化其核心任务,如今LLM、生成式AI的出现,在识别、回应的解决方案核心任务中,将能带来很大的帮助。不过这只是大致的分类,中间还有许多细节差异,接下来我们将一一探究。
保护(Protect)
根据陈仲宽的观察,以保护的层面而言,包括装置端的防毒、应用程式端的WAF,以及网路端的防火墙,早已开始导入传统AI演算法,也就是利用特征(feature-based),以及神经网路(Neural Network)建立侦测模型。
值得留意的是,在保护与侦测中的使用者端行为侦测,虽然现在多是利用异常侦测(Anomaly Detection),以及神经网路的方式,以强化这些异常行为的侦测,不过,陈仲宽认为,未来这方面很有机会再搭配运用生成式AI,做到进一步的能力强化。
识别(Identify)
在识别的层面,生成式AI的资安应用相对较多。主要原因是这类任务涉及大量资料的处理与盘点,因此将能帮助有效总结并分析海量资讯,现在已经有这方面的应用迹象,他相当看好这个领域的应用发展。
回应(Respond)
在回应的层面,适合使用生成式AI的场景也不少,包括:端点侦测及回应(EDR)、蓝队(Blue Team)、安全资讯与事件管理(SIEM)。基本上,只要涉及文字资料较多或Log类型资讯,都可以进一步带来帮助。
侦测(Detect)
至于侦测的层面,虽然多是运用AI/ML机器学习技术,因为更具精准性,不过陈仲宽特别谈到威胁情资(CTI)的应用范畴,可以运用LLM。
用LLM解决威胁情资的问题
关于威胁情资的应用面向,奥义智慧科技创办人邱铭彰深有所感,他表示,普遍而言,大家对于「情资」一词可能会有两种不同的想像:一种是以故事描述给人看的分析报告,另一种则是具体的威胁指标。
他特别强调,产生报告、理解报告是LLM目前最大的优势之一,这两项是资安产业过去需要花很多时间做的事,如今,可节省这方面的人力成本,并且让客制化变得更容易。
邱铭彰举例,当资安业者向客户提供资安报告时,由于不同企业和角色关注的重点各异,常常需要准备多个章节来满足需求,像是A角色主要关注某个章节内容,B角色重视其他章节内容。
有了LLM加持之后,现在资安报告的呈现方式,可以有很大的转变,例如,只要提供一个精简的报告内容与聊天互动介面,就可以让用户透过提问的方式,更精准获取其角色所需要的资讯。
对此,陈仲宽也提到另一应用场景,是将非结构化文字(Free Text)转换为结构化格式。他解释,由于很多资安研究报告的呈现方式,是以提供人员阅读的形式为主,但没提供业界公认为情资标准的STIX资料格式,此时,若是能够运用LLM来转化这些内容,可以加快很多流程。
这主要也是因为,现今情资来源相当广泛,不论是研究报告、部落格发表、会议发表,或是社群平台,因此不只是IoC入侵侦测指标,还有许多有价值的资讯,像是恶意程式、威胁组织、TTP等,但需要花费大量人力时间来整理。
另外,其实还有很多工作环节也可以用LLM、生成式AI带来助益,像是用于建立规则,对于资安管理设定的工作,还有像是资安教育训练、培育新人出考题等,也都可以用AI去做。
用AI找出未知产品漏洞,促进软体开发安全
另一AI资安的重要焦点,在于漏洞挖掘方面的应用。过去模糊测试(Fuzz)已经带来很大帮助,但如何进一步应用AI找出连模糊测试也无法发现的漏洞,也是一大课题,近期我们已经看到相关进展。
例如,美国白宫在2023年发起为期2年的AI Cyber Challenge(AIxCC),目的是透过AI来发现及修复软体漏洞,3个月前(2024年11月),Google也揭露AI抓漏专案Big Sleep,并公开该计划已实际找出首个未知记忆体漏洞。
美国白宫在2023年美国黑帽大会期间宣布,将由DARPA主办名为AI Cyber Challenge(AIxCC)的竞赛,活动目的聚焦于透过AI来发现及修复软体漏洞,并祭出1,850万美元的奖金,这项活动进行为期两年,预计在今年2025年DEFCON大会上进行总决赛。
将大型语言模型(LLM)应用至真实世界的漏洞发现工作,Big Sleep是一例,这是由Google Project Zero与DeepMind合作的成果,并采用Project Zero发展的AI框架Naptime(如图)。图片来源/Google
对此议题,邱铭彰表示,LLM分为「知识模型」与「推理模型」,现在的LLM推理模型越来越强,并且擅长分析程式码,他并认为,LLM虽然不能帮助直接找到漏洞,但能够帮助做到缩小范围,这将是可以运用的强项。
由于这几年GitHub也推出Copilot,以及加入AI漏洞过滤功能,可帮助减少程式码错误和漏洞,以及侦测程式码中存在漏洞的写法,改变开发人员处理漏洞的方法。
因此我们也好奇,这样的应用是否能融入安全软体开发生命周期(SSDLC)的范畴?邱铭彰认为,在程式码审核(Code Review)的工作上,会带来很大的助益。
他们推测,应该已经有很多人在这么做,无论是用AI帮助程式码审核,以及发现未知的潜在漏洞。虽然他们并未对这方面进行调查,不确定目前是处于研究阶段,或者产品化阶段,但仍认为这的确是相当适合的场景。
此外,在帮助SSDLC阶段找出潜藏未知漏洞之余,外部参与漏洞悬赏计划的资安研究人员,同样也能试著用AI辅助,以便找出更多资安漏洞。
虚拟资安长、AI代理的概念发展,开始备受关注
2024年还有一些新的AI资安议题,值得我们持续关注其发展,例如WEF提到两个主题,一是AI资安长(AI-CISO)或虚拟资安长(Virtual CISO),一是AI代理(AI Agent)的发展。
以虚拟资安长的概念而言,从目前资安界的设想来看,并非完全取代人类资安长的角色,而是透过AI技术,帮助企业在有限资源下提升资安管理效率。
陈仲宽认为,虽然AI资安长、虚拟资安长的名称很吸睛,但以资安长小助手来称呼,或许更适合。原因在于,现在的生成式AI很擅长归纳,因此可以帮忙资安长整理情资、归纳现况。
此外,由于企业与组织普遍面临资安人力缺乏,资安长的技能也有落差。因此,邱明彰提到一个有趣的应用场景有可能出现:现在一些公司资安长可能受到指派而担任,许多专业领域知识不是那么了解,但又不好意思问下面的人,因为怕这件事传出去,此时可询问AI,因为AI也不会到处跟别人讲。
总体而言,由于台湾中小企业相当多,这方面的发展确实令人引颈期盼,能提供更多类似顾问、小助手的能力,来帮助资安长摸索与成长。
但邱明彰也强调,现阶段AI在外部的资料整理工作,可以有所帮助,但如果是公司内部情报整合的内容,由于内部资料都须考量隐私、安全等因素,现阶段可能还没办法这么做。
但我们可以想见的是,随著2025年初DeepSeek模型的爆红,带来的最重大意义是加速全球小型LLM的演进,未来企业若都有内化的LLM来处理内部资料,并且做好相关风险防范,届时将会有不一样的局面,值得期待。
此外,现阶段资安长可能还不敢将内部资料送到Open AI等外部服务,但这些服务如果也开始因应需求、提供更具有私密使用的方案,也同样会让应用变得更广。
过去一年来,AI代理(AI Agent)成为AI领域的热门发展焦点,不只多个专业领域看重其发展,资安领域也不例外。基本上,AI代理是一种能够自主感知环境、与使用者或其他系统沟通,并执行任务来达成目标的系统。
陈仲宽指出,目前业界还没有定义必须具备那些功能才能称为AI Agent,但是,关于在资安领域应用AI Agent的概念上,这种做法与现行的「安全协调、自动化和应变(SOAR)」有点相像,它们都是强调自动化作业、快速应对资安威胁,但SOAR主要聚焦资安维运,且核心技术与适应能力也不太一样。
对于AI代理目前的发展态势,陈仲宽认为,在第一阶段,可能大家已经开始尝试与使用,像是很多员工为了加速个人工作,可能会用AI来串接流程,因此,这时AI对于产业的贡献可能是隐形。而到了第二阶段,才会应用于资安产品之内,像是资安厂商会将这些工作内化到自己产品中。
较特别的是,WEF还提到将LLM与密罐(Honey Pot)技术予以整合,这代表一种全新的欺敌技术将会出现。
对此陈仲宽有不同观察。他可以想像,若LLM用于建立更拟真的环境,应该有帮助,但这些年来Honey Pot早已不是主流,两者结合后是否真有更多效益,仍有待观察。邱铭彰更认为,用AI可以模拟更真实的世界,但拟真成本太高,或许可用更简单的方式达到目的。
AI新兴科技带来新的风险,发展对应解决方案也成必需
不只是上述种种AI For Security的议题,AI资安其实还有Security For AI的议题,同样需要我们关注。也就是说,在既有资安产品透过AI来强化其能力之外,对应AI衍生的新兴风险,也需要新的资安解决方案来应对。
例如,LLM技术导致Deepfake技术更进化,因此我们在2024年也看到资安市场开始出现对应之道,如今号称能够侦测Deepfake威胁的技术,已经被厂商实做出来了,陆续进入商用化的产品。
还有为了保护LLM不被滥用与受到攻击,许多国际资安大厂陆续推出AI防火墙(Firewall for AI),或是AI网路闸道(AI Gateway)的资安产品。
尽管各家定义不同,其功能也有差异。例如,普遍能够提供防范提示词注入(Prompt Injection)、模型DoS,以及敏感资讯泄漏的攻击,还有不只可阻挡外对内的攻击,也能阻挡内对外的泄漏,防范有意或意外造成的结果。
甚至也有对应影子AI问题,侦测企业中是否有人员使用未经授权的AI应用程式,又或是解决AI开发、部署的挑战,可检查AI模型的各种潜在安全问题。
对此发展态势,陈仲宽指出,他们在2024年RSA大会的创新沙盒竞赛中,就观察到有许多国际新创公司,聚焦在AI模型生态系的安全,但台湾目前比较少有这方面的发展,他认为,我们也应该有这方面的产品研究。