Ben Nassi
来自康乃尔大学、以色列理工学院和Intuit的3名研究人员近日发表了一份名为ComPromptMized的研究报告，他们打造出一只锁定生成式AI（Gen AI）应用的蠕虫Morris II，它能够自我复制，传播至其它生成式AI应用，还能执行恶意行为，像是窃取使用者机密资料，产生有毒内容，发送垃圾邮件，或执行网钓攻击，并已透过GitHub开源研究成果。
研究人员指出，最近一年有许多企业都已将Gen AI功能整合到现有或新的应用程式中，形成了互连的Gen AI生态系统，此一生态系统是由基于Gen AI服务的半自主或完全自主代理所组成，他们想厘清的是，骇客能否开发一个可利用代理Gen AI元件的恶意程式，进而危害整个Gen AI生态体系。
于是研究人员打造了Morris II 来攻击基于Gen AI的电子邮件助理，以寄送垃圾邮件或汲取使用者的个资，在黑盒子与白盒子两种设定下，使用文字与图像两种资料输入型态，测试的对象包括Gemini Pro、ChatGPT 4.0与LLaVA等3种不同的Gen AI模型，并成功的自基于Gemini 与ChatGPT模型的电子邮件助理中取得了电子邮件内容与电话号码。
Morris II是首只使用对抗性自我复制提示的蠕虫，当骇客使用这类的提示时，Gen AI模型会在输出中复制输入，同时从事恶意行为，此外，这些输入还会迫使不同的应用透过Gen AI生态体系的连结性进行传播。
研究人员指出，这次的实验对象为电子邮件助理，可用来汲取使用者的机密资料、产生并散布有毒内容，或是发送垃圾邮件，以及执行网钓攻击等，然而，他们相信，当Gen AI广泛被整合到作业系统、手机或汽车之后，可能造成更严重的影响，因为它们或许夹带著勒索软体或远端攻击程式。
此外，研究人员也发现，在许多情况下，所输入的资料会自动传送到位于云端的Gen AI伺服器进行推论，完全不需要使用者互动。
尽管Morris II攻陷了Gemini与ChatGPT的一些安全措施，但研究人员认为，此一报告突显了AI生态体系架构的安全性有待加强。