生成式人工智慧拜ChatGPT之赐，不到一年就窜升为家户喻晓的人工智慧代名词，而在各行各业积极探索新兴应用商机之际，对于生成式人工智慧（Generative AI）潜在的资安顾虑也随之涌现。亚马逊（Amazon）安全长Steve Schmidt在re:Inforce 2024的演讲中指出，生成式人工智慧并非横空出世，而是承袭机器学习与人工智慧技术数十年发展脉络的最新阶段，因此资安的基本原则与人工智慧安全防护经验都仍适用，他也公开亚马逊的人工智慧安全团队成立的经验，包括资安组织的定位如何不会限制人工智慧的创新可能性、如何协助开发团队做出正确的安全决策，以及在安全检验方面有别于传统资安测试之处。
身为全球电子商务巨擘的亚马逊，运用机器学习与人工智慧技术已有十多年经验，Schmidt表示，从2012年物流仓储中心引入Kiva仓储机器人、2014年推出Alexa个人虚拟助理，以至2017年推出个资保护服务Amazon Mice，皆是机器学习与人工智慧技术的应用。
面对发展速度越来越快的新兴技术，如生成式人工智慧，Schmidt指出，资安防护的基本原则依然不变，像是人人当责的资安文化、必要的防护工具与检验机制、安全守则指引、多因素认证，以及可将资安扩及全组织的分散式资安的观念等。因此，因应人工智慧安全的三个基本问题依然可运用在生成式人工智慧，包括：资料的来源？资料经查询后会发生什么状况，以及会对与之相关的任何资料造成什么影响？第三则是人工智慧模型输出的资料是否准确？
人工智慧安全团队的定位：守门员 vs. 助攻员
企业要探索人工智慧的机会，首先需要人才，然而，不只人工智慧人才难找，资安人才也很难找，而要同时兼顾两个领域的人工智慧安全人才，更是难上加难。找到人才之后，人工智慧安全团队的职能定位更是关键，因为资安团队最终扮演的是守门员或助攻员的角色，将决定人工智慧应用的创新机会。
Schmidt表示，通常企业会赋予人工智慧安全团队守门员的角色，由这些拥有专门知识技能的安全专家肩负起防护人工智慧的责任，然而由少数几位专家来审查把关，一方面会成为开发流程的瓶颈，影响开发效率，拖累创新速度；另一方面，重重审查所带来的额外负担，也会造成开发人员为了避免审查而变相绕道，反而无法达到提升资安的效果。
因此，如何让人工智慧安全团队既为资安把关又不阻碍创新的速度？Schmidt指出，亚马逊最后采取的权衡作法，是让资安团队成为助攻员，协助开发人工智慧安全防护的解决方案，包括防护工具、检验工具与防护机制，再提供给开发团队，协助开发人员以更安全的方式，更快开发出安全又创新的人工智慧应用。而这也与亚马逊提倡的「分散式资安」—将资安作法散布到各个部门的作法如出一辙。
生成式人工智慧安全需求评估框架
亚马逊人工智慧安全团队因而开发出一系列评估框架、决策准则与最佳作法建议。其中，他们针对生成式人工智慧安全提出的需求评估框架「Generative Artificial Intelligence Scope Matrix（生成式人工智慧范畴矩阵）」，可协助开发团队评估专案范畴与资安防护构面。
生成式人工智慧范畴矩阵界定五种应用类型，第一种是如ChatGPT、Midjourney这类人人都能直接使用的生成式人工智慧服务；第二种是已整合生成式人工智慧功能的企业SaaS服务；第三种是利用基础模式开发生成式人工智慧应用；第四种是利用基础模式与自有资料微调模型；第五种则是自主训练模型。而这五种范畴应用的资安防护，都必须顾及治理与法遵、法律与隐私、风险管理、管控措施与韧性等五个构面的要求。
四大措施强化人工智慧安全
此外，亚马逊人工智慧安全团队也发展出一系列可协助开发团队强化安全的措施，包括生成式人工智慧安全标准、威胁模型分析指南、测试工具与安全审查等。
第一项措施是建立生成式人工智慧安全标准，内容包含如何处理机密资料，以及检测模型、提示工作流程与人工智慧应用服务的安全性所要考量的测试条件。有标准可循，开发人员就更加清楚需要考量的安全措施，使他们能够在一开始就结合安全设计，而不是在审查过后才做资安补强，Schmidt表示，不光只是生成式人工智慧，任何软体若是在开发完成后才做资安补强，那就太晚了。
第二项措施是建立生成式人工智慧威胁模型（Threat Modeling）分析指南，威胁模型分析是以系统性的方法分析潜在威胁、设计缓解措施，并排定优先顺序，以确保将有限的资源挹注在能发挥最大安全成效的工作。Schmidt指出，威胁模型分析是亚马逊爱用的方法，由人工智慧安全团队建立威胁模型，再提供给所有开发团队参考运用，对于提升安全有很大的帮助。
第三项措施是提供测试工具，亚马逊人工智慧安全团队依据威胁模型分析的结果，开发对应的测试工具，协助开发人员据以检验生成式人工智慧应用程式的安全态势，例如为了确保模型如何因应一些古怪的提示，他们就开发一套工具来检验。而随著人工智慧安全团队学习到越来越多攻击样态，把这些知识都集中在一起，整合成工具提供给开发人员使用，那么所有开发人员自然而然直接受益，因此组织持续提升安全的效果就会发挥到最大。
第四项措施是安全检验，Schmidt表示，亚马逊的应用程式在上线前都必须通过渗透测试的检验，而且日后程式码若有重大改变，则要再一次进行；然而，立基于基础模型运作的生成式人工智慧却不是如此，因为在生成式人工智慧的世界中，模型就是程式码，而且生成式人工智慧应用的反应，会随著使用者与模型的互动方式与时间推移而有所不同。也就是说，生成式人工智慧的安全检验永远没有完成的一天，必须从传统一次性检验方式，改为持续性检验。
Schmidt指出，为了因应生成式人工智慧特性所需的持续性检验，亚马逊的人工智慧安全团队因而开发防护机制（Guardrail）工具，例如评估每一次使用者的输入与模型输出的内容，依据管制政策拒绝使用者输入或过滤模型输出的内容或主题，如有害内容、提示攻击或含有机敏个资的资讯等。
生成式人工智慧应用上线四大安全守则
由于生成式人工智慧技术从模型建立到面向使用者的应用服务，整个过程都涉及大量资料的输入与输出，Schmidt因此建议企业在推出生成式人工智慧应用前要重视四大安全守则。首先，在训练人工智慧模型时要确保正确处理机敏机料，必须清楚掌握你的资料、储存的地点与保管方式、资料存取权以及使用目的，并且要检视日志档以了解资料实际上被使用的情形。
再者，于企业陆续采用的检索增强生成（Retrieval-Augmented Generation，RAG）领域，Schmidt提醒要注意信任边界的问题，确保人工智慧应用带出用户正确的上下文，而且只能存取用户授权的资料。
第三项守则是依据人工智慧应用的特性设计合适的测试方法，例如定期或持续以特别设计的提示测试模型，主动侦测潜在的注入攻击或资料外泄问题。第四项则是部署合适的防护机制，Schmidt表示，任何AI应用都会需要防护机制，才能依照用户的性质去过滤不适当的术语或主题。
「在人工智慧世界里，安全工作永无境。」Schmidt表示，人工智慧安全的相关研究非常活跃，未来势必会有更多新的进展，需要持续保持观注。