AWS
「以生成式AI再创新」，在AWS年度用户大会re:Invent 2023的重头戏－由执行长独挑大梁的主题演讲上，AWS执行长Adam Selipsky开宗明义，AWS不只是因应时下热门的生成式AI热潮，更借由生成式AI迎接新一波再创新的机会。
一如往常，Selipsky在二个半小时的演讲中，一口气发表大量新产品服务，而其中几乎全数与生成式AI有关，不仅涵盖生成式AI架构的三个层级—基础设施、工具与应用程式，还包括首度揭晓、专为企业组织所设计的商务型AI聊天机器人Amazon Q，可望成为其在生成式AI领域的新战略利器。
Selipsky首先宣布的是Amazon S3 Express One Zone，它是AWS目前效能最强、延迟最低的S3物件储存方案，效能足以应付每分钟数百万次的存取，延迟时间则不到10微秒，主要是因应如金融分析、诈欺侦测、机器学习训练模型与即时推播广告等应用对于高速存取的需求，而存取的计费竟然比S3标准版便宜一半。据先期使用者Pintrest的经验，其写入速度快了10倍，而总体成本减少4成。
AWS自家研发的晶片Graviton，则预计于明年正式推出第四代产品，Selipsky表示，Graviton4将会是AWS旗下效能最强且能源效率最好的运算晶片，其效能将比前一代Graviton3快30%，资料库应用效能快40%，在大型Java应用程式的效能提升则更显著，可达45%的提升，而采用Graviton4的EC2实体R8g已可提供预览。
在上述两项产品宣布后，发表会旋即揭开生成式AI重头戏。Selipsky首先邀请Nvidia执行长黄仁勋上台，宣布双方扩大多项策略合作。第一项是Nvidia将提供针对生成式AI运算需求所设计的GH200 Grace Hopper Superchip运算卡，让AWS成为第一个采用的云端运算供应商。
AWS将会以一个EC2执行个体的型式提供整套GH200 NVL32的运算力，GH200 NVL32整套系统是以NVlink连结技术串接32片GH200 Grace Hopper Superchip运算卡，整套系统亦包含NVswitch，可配置最大20TB共享记忆体，运算力可说是超级电脑等级，对于需要仰赖巨量运算资源的生成式AI模型训练有很大的助益。
上述的EC2执行个体亦立基于AWS的第三代EFA（）连结技术与Nitro的虚拟化技术，因而每片Superchip运算卡拥有高速低延迟的400Gbps网路传输速度，执行个体的串接数量可多达上千个，提供在网路服务上建立巨大的AI运算丛集。
AWS与Nvidia的扩大合作，还包括Nvidia将首度提供其专为生成式AI运算所设计的Nvidia DGX超级电脑等级运算云，予以第三方云端服务供应商，由AWS提供云端托管服务。Nvidia DGX亦立基于GH200 NVL32，可支援超过1兆参数的生成式AI与大型语言模型的训练。此外，双方也借由Project Ceiba的合作，建置一套超过16,384个Nvidia GH200超级晶片，运算速度达65 Exaflops等级的AI超级电脑，作为Nvidia研发全新生成式AI之用。
在生成式AI架构的基础设施层，Selipsky宣布AWS自家设计的新一代AI训练晶片Trainium 2将于明年推出，效能比前一代提升4倍，可应付参数量千亿至兆级的基础模型训练需求。
在生成式AI架构的工具层，AWS最大的利器就是Bedrock平台，而Bedrock的一大优势就是支援多种大型语言模型，从AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai。Selipsky说，AWS深信没有任何一个大型语言模型可以主宰一切，因为各个模型在不同的应用面上皆有其独到之处。
Bedrock的另一个优势，则是客制化能力。Selipsky指出，AWS的生成式AI技术的研发，打从第一天开始就是以企业需求为出发点，考量到不同型态的企业生成式AI应用需要运用不同的模型，再者各别企业的产业型态、业务流程与企业知识皆有不同，企业需要有客制化模型的弹性，才能将企业知识融入模型，创造各别竞争优势，同时也由于企业知识具有机敏性，必须将资讯安全与资料隐私设计在内，确保商业机密在模型训练过程中不会外泄。
在模型客制化方面，AWS新推出三款服务，包括Cohere、Llma2与Titan三种模型的微调（Fine tuning）、Retrieval Augmented Generation (RAG) with Knowledge Bases及Titan模型的持续预训练。
对于企业担忧生成式AI本质上存在不可控的可能性，AWS也新推出Guardrails for Amazon Bedrock，提供过滤有害内容的功能，确保模型输出的内容符合企业的负责任AI（Responsible AI）政策，而针对基础模型输出的个资内容予以事先编辑，以防个资外泄的功能，也在未来规画蓝图中。
在生成式AI架构最上层的应用层方面，Selipsky则是相当兴奋地宣布AWS首款AI聊天机器人Amazon Q的问世。面对市面上已有众多AI聊天机器人抢占市场先机，为何AWS还要推出另一款聊天机器人？Selipsky表示，Amazon Q是专为企业组织设计的商务型AI聊天机器人，与其他聊天机器人最大的不同是考量企业应用的情境、资讯安全、资料隐私与依职责控管存取权限等需求。
Selipsky提出Amazon Q可望协助企业的四大面向，包括协助软体开发人员撰写程式码、协助同仁提升日常工作效率、让同仁便于获得商业智慧的协助，以及提升更好的顾客服务。在程式码方面，AWS新推出Amazon Q Code Transformation，透过生成式AI技术协助程式码改写升级与强化程式码安全，Selipsky指出，这项新服务可让1千个Java应用程式的改写工作，在2天内就完成，若在过往由开发人员改写，往往需耗时数月甚至数年。此外，Amazon Q的训练资料涵盖17年的AWS产品与服务资料，使用AWS的软体开发人员或架构师可用聊天问答介面，立即取得AWS所有的技术资讯。
除了协助软体开发人员，Amazon Q也可以帮助资料库管理人员，Amazon Redshift Serverless资料仓储服务整合了Amazon Q，使用者可用自然语言提出资料查询需求，由Amazon Q自动生成SQL资料库查询指令，协助提升ETL等工作的效率。
Amazon Q亦可望成为企业内的专家助手，可连结超过40种企业常用服务的资讯源，如S3、Salesforce、Google Drive、Microsoft 365、ServiceNow、Gmail、Slack、Atlassian与Zendesk等，涵盖一般办公室文书通信、业务行销、软体开发与IT管理等平台，同时依据询问者的存取权限来提供其被授权的内容。此外，Amazon Q也会整合至Amazon Quicksight、Amazon Connect等商业智慧与客户服务平台。
AWS资料与人工智慧资深副总裁Swami Sivasubramanian则指出开发生成式AI应用必备的四个要素，包括要有基础模型、可让模型运行的私有安全运算环境、易于使用的生成式AI开发工具，以及机器学习专用运算架构。他亦强调资料是生成式AI的重要关键，资料会决定企业生成式AI的差异性，而资料的储存、处理、分析、治理，本来就是企业用户使用AWS云端服务的重要应用之一。
Sivasubramanian也发表多项生成式AI服务，包括Amazon Titan新增影像生成功能，不仅可以生成高画质的图像，使用者甚至可用自然语言下达指令，在保持影像背景下让图片中的主角镜像翻转，而Titan Image Generator生成的图片都会加上隐形浮水印，以利识别AI生成，避免沦为假讯息之用。此外，Titan也新增转换多模态向量（Multimodal Embeddings）的能力，同时支援文字、图片、影像与音讯。而为了因应负责任AI的需求，Bedrock也提供模型评估功能，让用户先以预载的资料与检测方法评估模型的适用性与风险，另外，AWS Clean Rooms ML，则可让企业不需提供训练资料也能与合作伙伴共享模型。
在资料库与资料分析服务方面，也因应生成式AI而全面提升向量储存与搜寻功能，新推出的Amazon Neptune analytics借由内建图形（Graph）演算法提升向量搜寻速度，几秒钟内可分析百亿个连结。多款资料库服务也增加向量储存与搜寻能力，Amazon OpenSearch Serverless vector engine可以储存与搜寻向量资料，Amazon DocumentDB、Amazon DynamoDB、Amazon MemoryDB for Redis也都可以储存与搜寻向量。此外，支援Zero-ETL的资料库服务也增多了，包括Amazon Aurora PostgreSQL、Amazon DynamoDB与Amazon RDS for MySQL皆可直接整合，不需额外透过ETL，而Amazon OpenSearch Service亦可直接与S3整合。
自去年11月30日ChatGPT推出后，生成式AI顿时蔚为风潮，短短一年内就成为兵家必争之地。虽然AWS在这波生成式AI浪潮中没有抢到引领风潮的先机，但综观Selipsky宣布的多款生成式AI新服务，包括在生成式AI架构最底层的基础设施层，以Nvidia晶片与AWS自家晶片提供云端服务中最强大的生成式AI运算力；在中间层的工具层方面，以Bedrock为主力扩展对基础模型的支援；在最上层的应用层，祭出Amazon Q聊天机器人贯通企业应用场景，而且在每个环节都将资讯安全、隐私保护、负责任AI与合规考量进去，让企业不因上述顾虑而畏惧生成式AI，再加上诸多强化资料整合、提升向量资料库能力等等，很明显地，AWS将以其拥有众多云端企业用户的优势，透过持续再创新抢占仍是处女地的生成式AI企业商用市场。