「当企业使用愈来愈多的AI技术，有没有立很好且完整的监督机制，掌握企业内有多少员工运用AI？有多少语言模型被应用在产品线上？」趋势科技产品管理部协理沈维明台湾资安大会上这么说。
随著LLM模型技术发展，为企业应用生成式AI打开大门，更多的企业增加对GenAI的投资，但是GenAI相应产生的风险，企业该如何有效控管？
沈维明表示，现今LLM大语言模型发展三个趋势，首先是LLM每百万Token成本，在保持准确性之下，每年降低40倍；其次是较小参数规模的LLM模型，在某些方面的效能表现不输于较大参数的模型；第三是模型压缩技术快速发展，得以在较低规格的伺服器上执行，在压缩和效能上取得平衡点。
目前观察的大语言模型发展趋势，大语言模型愈来愈小，也愈来愈专精，效能表现也愈来愈好，甚至有专门研究，研究大语言模型如何透过更有效率的压缩，经过压缩后也能产生相近的效果，「这意谓著大语言模型的应用会变得更广泛，以往只能在高阶规格的设备上才能执行，现在逐渐往终端装置或边缘运算发展，例如在工厂的产线做加值应用」，沈维明说。
不少调查报告显示，有更多的企业表示将增加对AI的投资，运用AI的场景，也从先前多聚焦于客服机器人，开始向核心业务发展，企业运用AI提高生产力、建立差异化，这些已是市场上明显观察得到的趋势。
建立AI资安风险的可视性
在AI的时代，资安风险也随之增加，攻击手法愈来愈不一样，愈来愈快速、刁钻，难以侦测防范。
从AI应用的生命周期来看，相关的风险来自资料、AI模型及代理、App及使用，以及底层的基础架构及管理。
沈维明指出，首先是资料部分，当企业运用GenAI，需要使用许多训练资料、企业内部资料、外部资料，让语言模型学习企业内文化、内规及作业方式，如何妥善管理资料，避免机敏性的资料不小心外泄出去，为控管AI风险的重要课题之一。
其次是AI模型及代理，企业导入AI Agent，Agent与Agent之间的沟通协定，或是企业利用代理工作流将供应链串连在一起，需要考虑到可能的潜在风险。
最后是AI App及使用，大部分的资安问题来自于人，因此思考如何控管AI风险，也要将员工如何使用AI的行为纳入考虑。
在资料、模型及代理、App及使用三者之外，底层的基础架构及管理也相当重要，不论是使用云端IaaS、SaaS或地端，都需要妥善的控管潜在风险。
沈维明表示，企业需要建立AI风险的可视性，才能对资源使用排出优先顺序，制定策略将潜在的风险妥善管理或予以分散风险。
GAI风险的经典案例
上述资料、模型及代理、App及使用，已出现经典的案例，沈维明分享几个知名的案例。
在资料管理方面，一个案例是韩国新创业者推出AI聊天机器人Lee Luda，运用超过10亿笔Kakao Talk用户对话资料训练，Lee Luda与使用者对话，意外泄露用户的敏感资料，被联合诉讼，韩国政府也对此开罚，该业者面临商誉及金额的损失。
在AI模型及代理开发方面，许多企业在训练、微调模型的过程中，可能使用第三方的开发工具或框架，以加快AI的建置，一个案例是使用开源工具Flowise，因为对于采用的开源工具不熟悉，导致在没有很好的权限控管之下，企业将AI服务放到网路上，导致敏感的个资、企业资料、健康资料曝露出来。
另一个案例是软体被发现CVE 9.0的漏洞，由于没有及时修补，导致容器被攻陷，滥用Nvidia GPU及云端资源。
在App及使用方面，一个攻击的案例是，曾有一位白帽骇客利用Prompt Injection的入侵手法，使ChatGPT帮他产生恶意软体；日本曾出现一个案例，一名没有技术背景的人士，在没有利用漏洞的情形下，利用AI工具产生勒索软体。
沈维明表示，企业需要建立很好的方法去掌握内部员工使用哪些AI工具，企业应该如何因应？上述各种案例就像开时速300公里的跑车，如果没有设计很好的煞车系统，不会知道何时会发生车祸。如同趋势科技执行长所说，我们并不是要让企业的AI应用停下来，而是在安全的框架下，当面临危险或风险时稍微减速跨过去，或是预防接下来可能发生的问题。
依不同的风险制定防护策略
针对上述的攻击案例或手法，企业可以参考资安业者公开的威胁研究，例如趋势科技针对AI风险发布白皮书，供外界免费下载，持续更新针对AI攻击的最新手法，企业可参考白皮书加强AI应用的资安防护。另外，趋势科技的威胁研究团队也在官网公开最新的威胁研究成果，以及建议企业可以如何布建安全防护，可以作为企业参考。
「思考资安或AI议题，一个很重要的方向是建立完整的可视性（Visibility）」，沈维明表示，现在资安涵盖的范围相当广泛，电子邮件、身分、网路不同领域都有资安厂商，企业要先建立完整的可视性，掌握汇整后的资讯，进而采取行动。
目前趋势科技提出Vision One，其中的资安曝险管理CREM（Cyber Risk Exposure Management），以协助企业针对内部不同层面，如电子邮件、网路、云端，进行风险评估，帮助CISO评估企业内部的风险指数高低，包括造成风险的弱点在哪些，例如目前企业的电子邮件面临的网路钓鱼风险高低等。
企业推动AI应用发展，另一个面临的议题是法遵，除了国外，台湾也已开始针对产业建立AI应用相关的规范，特别是金融业方面，未来会有更多的规范，针对AI应用的情境及问责、责任，提供更明确的规范，趋势已提供工具，让企业资安或稽核人员检视实务和法规规范间的落差。
针对AI使用行为的防护，目前可以参考一些AI Gateway方案，可协助企业厘清风险，并透过rule-based的控管员工的AI使用行为。
至于AI应用开发中的container保护，沈维明认为，大多集中在对runtime的保护，建议也要强化pre-runtime部分，即开发的CI/CD阶段，开发阶段最容易被忽视，建议可从开发到部署加强保护。
许多企业目前已经上云，但是诸如金融或政府，可能因为法遵对资料的要求，AI应用需要落地，在地端资料中心或私有云环境部署AI应用，这类部署常常会因为条件有不同的变化，他建议企业思考AI的资安策略，要顾及到云端部署的AI防护，在地端部署也要能做到一致的防护。