微软执行长Satya Nadella在微软Build 2024大会首日揭露数十项更新，以Copilot Stack架构为中心展开。
摄影／王若朴
今天（北美太平洋夏令时间5月21日）今年度微软Build大会正式展开，微软执行长Satya Nadella一口气揭露不少新进展，可分为2大类，包括专为AI开发优化的执行环境Windows Copilot Runtime，以及Copilot技术架构的重大更新。这2大类中就有新添的Phi-3 Silica多模态小型语言模型、GPT-4o正式在Azure AI Studio开发环境中上架、Azure AI Studio正式上线，甚至在资料分析平台Microsoft Fabric上，还新增即时智慧（Real-time Intelligence）解决方案，可处理PB级串流资料等。
亮点1：为AI开发优化的Windows Copilot Runtime执行环境
Satya指出，70年前，科学家对电脑的期待是「电脑能理解我们吗？还是我们要理解它？」以及「电脑能帮助我们理解复杂资料吗？」这是70年来科学家追寻的2大目标。
这也是微软想实现的目标，他们的策略是透过智慧助理Microsoft Copilot、AI笔电Copilot+ PC和技术堆叠Copilot Stack来实现。其中一个重要基石，就是微软这次整合打造的执行环境Windows Copilot Runtime。
这个执行环境包括3个层面，首先是底层的AI框架和工具链，包括微软既有的AI框架DirectML、ONNX Runtime，以及Visual Studio Code AI开发工具套件等。
支援PyTorch原生，上千个Hugging Face模型可在Windows执行了
在底层中，Satya揭露2大重点更新，一是开发者现在透过DirectML，就能享有Windows作业系统对PyTorch开发框架的原生支援。这意味著，Hugging Face上的上千个模型终于能在Windows中执行，同时，微软也正式推出GPU对PyTorch的支援，NPU支援也即将上线。
另一个底层更新是WebNN，也就是网页原生的机器学习框架，可在Windows作业程式中透过DirectML和ONNX Runtime Web来执行。这个WebNN目前为开发者预览版，它的出现，能让开发者更好地利用装置硬体资源，来提供更好的AI网页App体验。
新添33亿参数SOTA小模型Phi-Silica，另推多款API
往上一层，就是Windows Copilot函示库与装置端模型层。这层包含了由40多个装置端AI模型驱动的API、向量储存库和演算法。在这层的模型部分，Satya宣布Phi系列模型正式可用、Phi-3-vision开始预览，并揭露最新、只有33亿参数的SOTA小型语言模型Phi-Silica，专为Copilot+ PC和NPU设计而成。
不只模型，在API部分也有重磅更新，包括Studio Effects、即时字幕翻译、OCR、Recall with User Activity和Phi Silica等API将于6月向开发者提供，之后会再纳入向量嵌入、支援地端资料的检索增强生成（RAG）、文字摘要和其他API。
推出更多AI App，还整合第三方App强化AI功能
再往上一层，到应用程式和体验层，这层的新进展包括微软最新开发的AI App，如回顾（Recall）、图像创作（Cocreator）、即时字幕翻译（Live Caption）、风格编辑（Restyle Image）等。其中，回顾是透过对萤幕快照，来让使用者以关键字，进行语意搜寻、找出所需资讯，不论是网页、简报还是对话都可以。图像创作则以小型语言模型和Stable Diffusion等扩散模型驱动，可根据文字提示和简单笔画，来产出逼真的图像。即时字幕则支援笔电上任何音讯的语言翻译，可将40多种语言翻译为英文，离线也行。
同时，微软Windows Copilot Runtime还正整合多个第三方应用程式，如Davinci Resolve、CapCut、WhatsApp、Cephable、LiquidText、Luminar Neo等，要用NPU来优化这些程式的AI功能。
亮点2：更完善的Copilot技术架构
「我们一直是平台公司，要建造完整的技术架构！」Satya解释，Copilot技术架构（Tech Stack）就是一大重点，从底层开始向上，可分为AI基础设施、基础模型、资料、AI调度与工具链，以及最上层的微软Copilot/自建Copilot、Copilot外挂等。微软今年大会的重点更新，也围绕这个架构展开。
就AI基础设施层而言，Satya回顾，光是去年，微软就在60多个区域建置资料中心，接下来则要在2025年前，全数采用再生能源，不产生任何碳排。同时，在硬体部分，微软还正式推出基于AMD最新Instinct GPU的处理器ND MI300X v5，可更快、更有效率执行AI应用，另也公开预览Cobalt 100晶片。
AI开发环境Azure AI Studio正式上架GPT-4o，纳入更多安全工具
在基础模型层部分，不只正式在Azure AI中上架GPT-4o，也和Hugging Face扩大合作、纳入所有Hugging Face模型到Azure AI Studio中，另也推出上述提到的42亿参数Phi-3-vision模型。而AI开发工具Azure AI Studio也正式上线，可用来打造AI应用。
甚至，在Azure AI Studio中，还包含即将上线的安全工具与功能，包括自定义类别（将上线）、提示盾（预览）、基准侦测（预览）等。而且，Azure AI Studio还推出客制化模型功能，允许使用者用自己的资料训练客制化模型。
能即时处理PB级串流资料了，资料分析平台推出新功能
往上一层到资料层，重大更新莫属微软自家的资料分析平台Microsoft Fabric，特别针对企业难以处理的资料即时分析，推出一项无程式码/低程式码的即时智慧（Real-Time Intelligence）SaaS解决方案。Satya强调，使用者可透过这个功能，来更快速处理大量、颗粒度更细致的数据。
这项即时智慧目前为公开预览版，因为无/低程式码特性，分析师能简单上手，另也能针对专业开发者提供完整的程式码使用介面。比如，巴西极限赛车队Dener Motorsport一直用这个平台来支援即时分析和通报，来维持最佳表现、确保车子状态，他们现在打算用即时智慧，来在比赛当下，直接分析资料、调整赢赛策略。
不只是即时智慧，为降低App开发门槛，微软还在Fabric平台中新添工作负载开发套件（Workload Development Kit），能让独立软体商和开发者，用来打造更一致的使用者体验应用。
AI工具链新添更强大的开发外挂GitHub Copilot Extensions
再来，在AI调度与工具链层，微软本身就有套AI专用的资讯检索平台Azure AI Search、预览版的AI程式开发工具GitHub Copilot Workspace。今天，Satya进一步推出程式开发外挂GitHub Copilot Extensions，开发者可用透过自然语言和自己习惯的工具，来打造、部署云端应用，完全不必离开开发环境IDE或GitHub网站。第一波新添16个外挂，来自DataStax、Docker、LambdaTest、LaunchDarkly、Microsoft Azure和Teams、MongoDB等，建立更好的AI开发第三方生态系。
推出微软Copilot Connector，跨App、工作流程打造客制化智慧助理
工具层之上来到应用层，在这层，微软推出Microsoft Copilot Connector连结器，可让Copilot助理摒除障碍存取使用者资料、跨App和工作流程处理，来帮助使用者打造客制化模型。
不只如此，今年，微软继续延伸Copilot产品线，针对M365 Copilot推出协作助理Team Copilot，专门处理复杂的协作任务，比如可在协作工具Teams中管理会议、安排议程、管理时间和记录重点。同时，它还能管理Teams对话，摘要重要资讯、回复群组问题等。甚至能扮演PM角色，确保任务管理看板Planner中的每个专案顺利进行，同时也会在Loop应用中通知团队新消息、加强专案协作。这个Team Copilot预计今年晚些时候预览。
另一项Copilot产品线的延伸，则是在低程式码助理开发平台Microsoft Copilot Studio中，新添代理（Agent）的能力类别，让开发者用来打造能主动回应数据和事件的智慧助理，还能执行特定任务和功能。微软表示，用这个新能力打造的Copilot助理，可用学习到的知识和使用者回馈，来独立管理复杂、长期的业务流程，甚至能在遇到棘手问题时，寻求使用者帮助。