Azure AI Foundry 包括了各式各样的模型、工具、安全机制和监控解决方案,整并到单一平台中,以独立SDK和入口网站的形式,整合到主流开发工具中。(图片来源/微软)
「每一只App正逐渐变成AI化的App,」微软执行长Satya Nadella强调,未来每一只应用,都将是AI应用,但现在打造AI应用的技术架构,才刚起步,有待发展,还需要增加更多新功能
所以,微软将发展自家Copilot、Agent、Copilot Studio等应用背后的每一层技术打开,变成你我可用来打造AI应用的一套技术包,就是Copilot和AI技术架构。这套技术架构分为四层,最底层是基础架构,其次依序是资料层、AI App平台层,以及最上面的开发者工具和App服务层。随著生成式AI爆红之后,这两年,微软因应庞大AI需求,不断地强化每一层的能力。但其中,AI App平台层就是Satya所谓刚起步的技术层,这正是今年Ignite最大亮点发布,想要弥补的最弱一环。
先来看其他三层的强化,基础架构层指的是微软Azure基础架构,这两年为了因应AI庞大、昂贵的算力需求和安全考量,微软积极升级Azure基础架构,甚至自己打造各种专用晶片、AI加速晶片,目标是将Azure打造成一台世界电脑。讲究性价比的微软自制晶片Azure Cobalt 100今年正式开始提供,也正式推出自家研发的安全硬体装置Azure Integrated HSM,预计明年部署到Azure每一台伺服器来提高安全性。微软更发表了第一款自制的资料处理器DPU,可以让云端储存工作负载的用电减少三倍,但效能提升四倍。
而在资料层的亮点是,微软去年推出的通用分析性资料平台 Fabric已有超过16,000名企业用户,今年进一步将维运用的旗舰资料库产品SQL Server整合到Fabric中,成为原生资料库服务Fabric Databases,将维运资料和分析用资料集中到单一平台中,来因应AI庞大资料量的需求。Azure资料库服务也开始支援Bing搜寻所用的DiskANN向量索引,来提高AI搜寻的速度。而在开发者工具层,则在主流开发IDE中,持续增加更多AI辅助开发的能力和机制,从测试到部署,涵盖到整个开发生命周期,都提供了不同阶段的软体开发AI助手,甚至可以协助所用开发框架的升版。
打造AI时代的顶级应用平台
除了发展Copilot生态圈战略之外,今年Ignite还有另一项重要的新战略布局。「AI正在改变开发者设计、客制和管理App的方式,未来的应用,都是AI应用。」所以,Satya表示:「微软打造了一套AI时代的顶级应用平台,称为Azure AI Foundry(AI铸造厂)。」
他解释:「这个AI铸造厂,包括了微软所有的模型、工具、安全机制和监控解决方案,整并到单一平台中,以独立SDK和入口网站的形式,整合到主流开发工具中。」
Azure AI Foundry主要构成
这套Azure AI Foundry主要包括了一套Azure AI Foundry SDK和一个Azure AI Foundry入口网站(前身是云端AI开发服务Azure AI Studio )。前一代的AI应用开发平台Azure AI Studio主要用於单一模型,单一POC验证测试,也大多只能追踪单一点的ROI成效。但是,新一代是通用型的AI应用开发平台,专为多模型混用、流程自动化(或者说Agentic工作流程)和持续改善的设计。
在模型目录的支援广度上,企业为了兼顾成本,效能,延迟性,往往需要依据不同的使用情况来挑选适用的模型。所以,Azure AI铸造厂支援的模型多达1,800个,不只微软自家模型,还加入了各种第三方商用模型,甚至是开源模型。特别的是,增加了20多个产业特定用途的模型,来自拜耳、西门子、洛克威尔自动化、数位医疗公司Paige、监理科技公司Saifr、自驾车软体公司Cerence、制造分析软体 Sight Machine等。AI铸造厂还提供了一个模型实验功能,可以让企业以视觉化的方式,来比较不同模型的实测效果。
在Azure AI Foundry中,搭配了一套Azure AI Agent Service,开发者可以用同一套Agent API方式,来使用上述破千种的模型,大幅简化了企业混用和切换不同模型的复杂度,也能用相同的开发体验来使用不同的开发工具、模型监控机制。更支援知名的多代理(Multi-Agent)开发框架,包括了Magentic-One、AutoGen、Semantic kernel,还,可以用来开发各种用途的AI应用,而不只是AI代理而已。
不同于Low-Code开发工具Copilot Studio追求的一键快速完成开发,对开发者而言,更想要一款程式码优先的AI代理开发工具,可以整合各种自带资料、内部系统等。Azure AI Foundry提供了1,400多种资料连结器,更可以支援多种类型的资料来源,方便企业串接内外部系统上的资料来源。其他重要元件,像是Azure OpenAI服务、Azure AI内容安全性、Azure AI搜寻元件和多项可观察性功能等。
Azure AI Foundry SDK套件是通用型AI开发工具链
Azure AI Foundry SDK套件是一个针对AI应用开发的通用型AI开发工具链,也可以用来整合不同主流开发工具,建立一套统一的开发者体验,从AI专案的建立,统一各种服务与资料的串接,提供一个通用AI推论API来使用不同的模型,可用Azure AI搜寻功能将自家资料作为基础参考来源,也提供了部署到Azure环境的预建置参考范本,可以快速建立一个AI应用专案需要的环境。
Azure AI Foundry SDK是微软Azure AI工具链中的共同关键基础建设,可以让使用不同微软AI开发工具、Azure AI服务或是处于不同AI应用阶段的开发者,都有一套共同的开发者体验。图片来源/微软
较早推出的微软Azure OpenAI SDK,只是针对单一语言的OpenAI用户端串接程式,包括了Python、.NET、JavaScript、Java和Go语言,而不是通用型开发SDK。
过去几年盛行的MLOps开发模式,主要开发者是资料科学家和机器学习工程师,主要用途是机器学习模型的研发,开发团队共用资源包括了各种模型、资料、环境配置、特征资料等,成效评估重点是准确性和敏感性,也经常从头开始训练模型。
瞄准新一代GenAIOps开发典范的需求
但是,新一代的GenAIOps开发典范截然不同,开发主角是AI工程师和App开发者,开发团队需要共用LLM、各种AI代理、外挂、提示工程内容、API等,成效评估更需考虑到品质、偏差、正确性、成本、延迟等更多面向,大多不会从头开始训练模型,而更倾向于使用预训练好的模型,进行微调或直接呼叫现成的各种云端模型服务。
微软新发表的Azure AI Foundry,正是瞄准新一代GenAIOps开发典范而打造的AI应用开发平台。