【拉斯维加斯直击】AI资安的风险与机会，已是企业生存发展的重要课题，在美国拉斯维加斯举办的黑帽大会（Black Hat USA 2024），主要议程于太平洋时区8月7日与8日展开，不过今年有一个新的特色，本届大会首度举行AI Summit研讨会，已于太平洋时区8月6日率先登场。趋势科技也在AI Summit上午议程发表演说，成为本场活动的焦点之一，
该公司不仅宣布推出商用的深伪侦测技术解决方案，也呼吁在AI时代下的资安，需要朝向新一代网路风险管理方式发展。
事实上，生成式AI的应用与风险持续受到全世界与所有产业的关注，然而，目前绝大多数企业仍不知所措，趋势科技在黑帽大会对此提出说明，协助企业了解有了AI该怎么管理，并期勉大家要懂得用AI来做风险管理，才能因应未来的局势。
企业需对3大不受控的AI风险做好准备
回顾企业IT十年变局，在2010年代，云端运算与数位转型兴起，大家聚焦于云端的发展与保护，到了2020年代，AI与自动化的兴起，所有的发展与保护则是围绕在这些技术而进行。趋势科技执行长陈怡桦在本场演说中首先登场表示。
而我们从近年趋势科技的发展路线来看，的确也是随著AI驱动而发展，不论是Security for AI，或是AI for Security。
现今有那些AI风险最需关注？趋势科技产品管理副总经理Rachel Jin（金静秀）特别提到两个层面。
她首先指出，大家需要为不受控管的AI（Rogue AI）做好准备，这样的新风险以手段来区分，可分成三种类型，包括：
第一种是颠覆式的脱离控制（Subverted Rogues），聚焦于AI系统服务的攻击，通常采用的手段就是提示注入（Prompt injection），以及AI越狱（Jailbreak AI），以掌控LLMs。以提示注入而言，指的是透过操纵LLMs的输入或提示来利用其漏洞的攻击类型，以AI越狱而言，是可导致防护围栏失效的技术，造成系统违反原本规范的策略。
第二种是恶意的脱离控制（Mailcious Rogues），这是指在作业系统上部署恶意，可窃取电脑上的资源。简单来说，这种偏向传统恶意程式，但是在AI时代产生的。
第三种是意外的脱离控制（Accidental Rogues），这是指人为犯错导致的异常，像是设定不当、人为疏失等造成的风险。
上述这方面的威胁已获得重视，从今年年初开始，我们看到已有许多科技大厂发展AI Gateway这种类型的产品，趋势也不例外。
正式公开Deepfake检测功能的资安防护应用形式，将透过他们的产品提供一般使用者与企业用户
另一个层面是谈论已久的深度伪造（Deepfake）技术的威胁，尽管这个问题重视已久，这几年来Deepfake技术门槛也在持续降低，但是，如何有效应对一直是大家都在关心的问题
事实上，在前几年，我们就看到一些科技大厂发起Deepfake侦测竞赛，就是希望大家发展这方面的防护技术，鼓励开发出侦测模型以辨识恶意伪造的影片。因为这不仅影响企业，Deepfake的虚假资讯也可能用于影响政治、社会、军事或经济。
特别的是，趋势科技在这方面已有新的突破，日前他们正式宣布推出深伪侦测技术的解决方案，提供给一般使用者的Trend Micro Deepfake Inspector，而在企业端产品方面，后续Trend Vision One平台也将提供此一深伪侦测技术，已支援多种视讯会议产品的侦测，让使用者可在用户端Agent中启用这项功能。
在本场演说中，Rachel Jin就特别展示这方面的攻击情境，例如，攻击者先是借由生成式AI快速建立网钓邮件，接著用Deepfake技术快速伪造一家公司财务长与高阶主管的长相，让参加视讯会议的人仅凭肉眼无法分辨出有伪造的情形。但在深伪侦测技术之下，将可在视讯会议进行时，自动辨识出Deepfake技术并跳出通知，通知企业使用者目前召开的视讯会议中，有会议成员可能是假的，是透过Deepfake伪造的。
代理式AI发展将进一步强化AI资安，网路风险管理也成资安维运的全新主轴
由于AI资安还在持续演进发展中，若从整体来看，企业现在应具备甚么样的观念？Rachel Jin表示，大家不仅需要了解AI风险，也要有新一代网路风险管理的观念。
她希望大家想一想，随著AI时代的开展，我们难道还要继续使用传统的SIEM、传统的SOAR，以及传统的网路风险管理方法？