微软执行长Satya Nadella在今年度Build大会上揭露一系列AI亮点,不只有AI系列笔电Copilot+ PC,就Copilot技术架构本身来说,还包括从基础设施底层、基础模型层、资料层、AI工具层以及应用层的重大更新,如新推Phi-3-vision和Phi Silica模型、Azure AI Studio正式上线等。
微软
重点新闻(0524~0530)
生成式AI 微软 Copilot
盘点微软Build 2024大会AI重大更新
微软在5月下旬展开今年度Build大会,主题聚焦生成式AI,亮点可分为AI笔电Copilot+ PC和整体的微软Copilot技术架构更新。Copilot+ PC是今年首度亮相的AI系列笔电,结合了CPU、GPU和微软自行研发的NPU,效能可达每秒40兆次处理(TOPS),可更快速执行AI应用。这系列笔电内建了40多个本地端AI模型和多种AI原生App,像是回顾Recall、图像创作Cocreator、即时字幕与翻译Live Caption等。这些笔电由微软Surface和OEM合作伙伴提供,包括华硕、宏碁、Dell、联想、HP和三星等,预计6月18日开始上市。
另一方面,在微软Copilot技术架构更新部分,则可分为底层和应用层。就底层来说,基础设施部分微软正式推出基于AMD最新Instinct GPU的处理器ND MI300X v5,可更快、更有效率执行AI应用,另也公开预览Cobalt 100晶片。往上一层到基础模型层,不只正式在Azure AI中上架GPT-4o模型,也和Hugging Face扩大合作、纳入所有Hugging Face模型到Azure AI,另也推出42亿参数的Phi-3-vision模型和33亿参数的Phi-Silica模型。而AI开发工具Azure AI Studio也正式上线,可用来打造AI应用。甚至,Azure AI Studio还推出客制化模型功能,允许使用者用自己的资料训练客制化模型。
再往上一层来到资料层,微软资料分析平台Microsoft Fabric推出一项无程式码/低程式码的即时智慧(Real-Time Intelligence)SaaS解决方案,可用来更快速处理大量、颗粒度更细致的PB级即时串流数据。在AI调度与工具链层,微软推出程式开发外挂GitHub Copilot Extensions(私人预览),开发者可用透过自然语言和自己习惯的工具,来打造、部署云端应用,完全不必离开开发环境IDE或GitHub网站。第一波新添16个外挂。
工具层之上来到应用层,在这层,微软推出Microsoft Copilot Connector连结器,可让Copilot助理摒除障碍存取使用者资料、跨App和工作流程处理资料,来打造客制化模型。同时,微软还针对M365 Copilot推出协作助理Team Copilot,专门处理复杂的协作任务,比如在协作工具Teams中管理会议、安排议程、管理时间和记录重点。它还能管理Teams对话,摘要重要资讯、回复群组问题等。甚至能扮演PM角色,确保任务管理看板Planner中的每个专案顺利进行。Team Copilot预计今年晚些时候预览。另一项Copilot产品线的延伸,则是在低程式码助理开发平台Microsoft Copilot Studio中,新添代理(Agent)的能力类别,让开发者用来打造能主动回应数据和事件的智慧助理,还能执行特定任务和功能。 互连 开放标准 AI
Intel、AMD、微软等IT巨头合推AI网路互连开放标准
英特尔、超微(AMD)、博通(Broadcom)、微软、Meta、思科和HPE等IT巨擘在5月30日宣布联手发展网路加速器互连标准Ultra Accelerator Link(UALink),为系统OEM业者、IT专业人员、系统整合厂商,提供更容易整合、弹性扩充性的方法来打造AI基础架构。
这个产业新标准,是要提供高速、低延迟的网路互连(Interconnect),来串联不同厂牌的机器,实现资料中心内AI与HPC的系统扩充。UALink促进小组指出,他们将发展一套规格,来定义高速、低延迟的互连架构,扩大AI运算单位(Pod)中加速器和交换器之间的通讯。即将推出的UALink 1.0规格,将在一个AI运算单位中,支援最多1,024个加速器,允许GPU等加速器附加记忆体之间的直接载入和储存。该促进小组已成立UALink联盟,预计在2024年第三季正式成为法人公司,并发布1.0版规格,公开给联盟会员。 Claude 外部工具 Anthropic
Anthropic推新功能,Claude助理可使用外部工具了
AI新创公司Anthropic在5月30日揭露聊天机器人Claude新工具,让Claude除了搜寻和回答问题外,还能整合API和外部资料源来执行更多任务,目前已正式上线、开放企业开发者使用。
这个新工具叫做Tool Use,透过它,Claude能和外部用户端工具、API和功能互动,可用来执行多种任务,像是搜寻最新网页资料、从文件中撷取资料输入报表或执行客户服务。Tool use目前已整合在Claude 3模型家族,供开发者可透过Anthropic Messages API、Amazon Bedrock、和Google Vertex AI存取使用。相关资源也在GitHub公开。另一方面,OpenAI的ChatGPT、微软Copilot也都在去年推出类似扩充功能,可以外挂、API整合外部工具或服务,提供AI代理订餐、订票、网购、搜寻景点等即时资讯或更自动化的服务。
语音订位 Line Chatbot
台湾大联手Line、inline,打造餐饮AI语音订位服务
最近,台湾大哥大与Line、硕网资讯、inline共同推出AI语音预约订位服务,结合聊天机器人、生成式AI,来协助餐饮业者处理顾客来电订位需求。这个订位服务结合台湾大行动市话服务,让手机能接听市话来电,并结合硕网资讯的语意辨识、语音合成技术,Line的Clova聊天机器人,以及inline的线上订位服务,让商家不需要拨出人力接听订位电话,就能自动由AI协助完成线上订位。
比如,消费者透过Google Map拨打商家电话,如果商家设定好Line Call来电,来电就会由AI应答,消费者只要以自然的口语说出想要预订用餐,如5月30日晚上7点、4大2小,AI就会自动与消费者问答,完成订位讯息,并通过inline完成线上订位,再透过Line发送成功订位资讯给消费者。若消费者以市话来电订位,也能由Line聊天机器人协助完成,60秒即可。
技术上除使用Line聊天机器人和社群平台,他们也导入ChatGPT-3.5来判读用餐相关问题,例如店家周边停车资讯、用餐时间限制、儿童用餐、座位等问题。为避免ChatGPT给出错误讯息,硕网也预先训练ChatGPT应答资料,如ChatGPT判断无法回答,则转交真人接听或Line一对一回应。 GitHub 加速器 生成式AI
GitHub加速器资助11个开源AI专案
GitHub加速器(GitHub Accelerator)今年聚焦AI,根据促进新职业发展、影响广泛社群、强化资安和提高开源AI开发者生产力等指标,挑出了11项专案,将提供资金援助、指导和社群等资源。进一步来说,今年入选的GitHub Accelerator专案涵盖多个领域,包括模型最佳化与部署、测试与评估、AR/VR应用、无人导航、隐私与安全,以及开发者工具。
在模型最佳化与部署方面,unsloth AI专案能降低模型微调所需要的记忆体资源和时间,LLMware.ai简化了企业采用检索强化生成(RAG)技术的流程。LangDrive可透过API简化大型语言模型的训练和部署。在AI应用上,A-Frame专案让使用者在浏览器中建立AR/VR与3D内容,Nav2则为机器人提供导航解决方案。
针对隐私与安全的专案有OpenWebUI,目标是发展可改善隐私和安全性的本地端LLM,另还有为安全团队提供自动化代理的HackingBuddyGPT。此外,Web-Check提供AI驱动的网站安全检查服务。而进阶Python笔记本Marimo,则能简化RAG部署Talkd.ai,可提高开发者生产力。