iThome
重点新闻（05/16～05/22）
红帽 RHEL
红帽推出开源生成式AI平台RHEL AI，可在混合云开发、测试和部署GenAI模型
除了推出基于混合云平台OpenShif t所打造的混合云MLOPs平台OpenShift AI，红帽近日还推出了可在混合云开发、测试和部署生成式AI模型的开源AI平台RHEL AI（Red Hat Enterprise Linux AI）。
RHEL AI是红帽基础架构模型平台，其中包含IBM研究院开源的LLM模型Granite及相关开发工具，也涵盖了PyTorch等主流AI开发框架，并针对Nvidia、Intel和AMD硬体进行优化。RHEL AI被打包成一个RHEL映像档，可在混合云单一伺服器上部署。此外，RHEL AI也将整合进OpenShift AI中，能够在分散式丛集环境中进行大规模部署。
除了提供企业级技术支援外，红帽强调，如果使用其平台导致智慧财产权纠纷，红帽将承担相关赔偿责任。
红帽也为OpenShift AI增加了更多功能，例如，在2.9版本中，用户可以使用单节点的OpenShift将AI模型部署到更靠近数据的边缘环境。同时，增强的模型服务可以使用多台模型伺服器来支援GenAI模型推理，并且支援Kubernetes上的标准化无伺服器机器学习推论平台KServe。
红帽企业Linux AI将以开发者预览版的形式推出，预计在未来几个月内全面上市。
云端GenAI 金色三麦
金色三麦在客服部门导入云端GenAI，协助顾客回馈分析与归纳快速修正改善
GenAI正夯！不只是如金融、高科技等大型企业，台湾开始有传统产业试用云端GenAI服务来提升营运效率和改善服务品质，例如金色三麦餐饮就是其中一家，他们近期开始将GenAI技术导入客服部门，来协助分析顾客回馈快速修正改善。
过去，金色三麦平均每月要处理超过3万则顾客的意见回馈，包含纸本、客服与网路管道，光是在浏览和整理这些顾客回馈就需要大量人力，给客服人员带来不少负担。为了解决这个问题，金色三麦利用AWS生成式AI基础模型平台Bedrock的大型语言模型Anthropic Claude 3，搭配提示工程开发出顾客评论LLM助手，相较于传统人工整理，只需约3∼5分钟就能归纳所有来源的顾客评论，有效节省时间和人力，同时使金色三麦更快采取行动、改善服务品质，提升顾客体验。
除了引进GenAI技术之外，金色三麦今年初打造一套云端舆情分析系统，这套系统使用AWS Glue无伺服器资料整合平台将所有资料汇整及清理，并载入到S3储存服务中，作为基础模型推论服务的资料使用。
GPT-4o Azure
微软Azure OpenAI服务新增预览GPT-4o模型，能增强顾客服务、进阶分析及内容创新
在GPT-4o模型推出以后，微软跟进宣布在Azure OpenAI Service服务中以预览提供OpenAI最新的多模态GPT-4o模型。这款新模型在视觉及声音理解能力有了显著提升，甚至还可以懂得看人脸色，以更自然的方式与使用者进行互动和对话。
跟现有GPT-4相比，Azure强调，GPT-4o模型可以用来增强顾客服务、提供更进阶的分析，以及内容创新。
企业现在可以在Azure OpenAI服务的Chat Playground中预览试用GPT-4o模型。不过目前该模型仅支援文字和影像输入，并不包含音讯输入功能，且仅开放Azure在美国两个地区的用户使用，其他地区暂时无法使用。。
AWS 高层人事异动
AWS执行长Adam Selipsky即将下台，由AWS全球销售及行销老将Matt Garman执掌兵符
云端龙头亚马逊AWS近日公布高层人事异动，Adam Selipsky在担任AWS执行长3年后将于6月离职，由现任AWS行销、业务暨全球服务资深副总裁Matt Garman升任执行长。新的人事命令将自6月3日生效。
在位3年之中，在Selipsky带领下，AWS发表多项重要AI产品及平台，包括创立AI模型开发平台Bedrock及生成式AI助手Amazon Q，以及推出Amazon自有AI晶片Trainium等。
即将上任的Matt Garman和Selipsky有著不少相似之处，两人都在2005左右加入AWS，并且都有过丰富的销售、行销的历练。不过，Matt Garman在运算服务方面的经验更丰富，在17年间中，他担任过EC2产品经理，并推出与EC2搭配使用的EBS区块储存服务。此外，他还在2016成为AWS运算服务的总经理，直到2020年，Matt转入AWS需求生产部门，负责全球销售、行销、支援和专业服务。。
Google Cloud 服务中断
澳洲退休基金Unisuper因Google Cloud内部错误配置误删其帐户，长达一周服务中断
近日，Google Cloud因为错误配置不小心将一家澳洲退休基金Unisuper的GCP云端帐户误删除，使得Unisuper服务中断长达一周，超过50万名会员无法存取自己的帐户。所幸，Unisuper透过第3方备分最终恢复服务。
这起云端帐户误删事故是发生在本月5月2日，由于Google Cloud内部无意的错误配置所导致，不仅造成Unisuper的订阅帐户遭删除，同时其位于2个GCP服务区域的资料复本也被删而无法发挥备援效果，导致其服务中断。
虽然Google事后表示，这种错误以前从未在云端上发生过，强调将采取措施确保这种情况不再发生。但这起事件也凸显了在云端时代，建立跨云资料备分的重要性，企业和政府上云时不能将所有资料和服务都集中在同一朵云上，而应该考虑多云战略，以降低单一云端帐户发生问题的风险。
TPU Google Cloud
Google Cloud第6代云端TPU问世，运算效能增长4.7倍
近日在Google I/O大会上，Google Cloud发表了名为Trillium的第6代云端TPU，其每个核心的峰值运算效能比TPU v5p增加4.7倍，效率比TPU v5p高出67%。
第六代的Tr i l l i u m 在高频宽记忆体（HBM）的容量与频宽都提高了一倍，晶片互连频宽也提高一倍， 同时配备SparseCore加速器，专门用来处理高阶排序及推荐任务。
Trillium在单一的Pod中最多可扩展到256个TPU，并可借由多层技术及Titanium智慧处理单元拓展至数百个Pod，可造就连结数十万个晶片的超级电脑架构，以支援高性能运算任务。
除了用来训练与服务未来的Gemini模型之外，Trillium TPU也会成为Google Cloud的AI Hypercomputer超级电脑服务的底层基础。
图片来源／Google
更多Cloud动态
1.Azure入口网站7月开始强制启用多因素验证，强化云端安全防护
2.Gemini模型家族再添新成员，GCP推出更高效Gemini 1.5 Flash
3.美国纳斯达克计划导入云端GenAI用于加强全球交易市场的监控
4.WS将在德国投资高达78亿欧元建造AWS欧洲主权云
资料来源：iThome整理，2024年5月