Nvidia推出生成式AI微服务

Nvidia周一（3/18）宣布于Nvidia AI Enterprise 5.0平台新增数十款生成式AI微服务（Microservice），目前它们分为NIM及CUDA-X 两大类别，前者主要提供最佳化的推论微服务以大规模部署AI模型，后者则著重于打造资料处理、AI与高效能运算的各种应用。

微服务是一种架构模式，其服务规模较小，且可独立部署，Nvidia先前便曾单独发表生成式AI微服务。Nvidia说明，该公司是在其全栈运算平台上增添一个微服务层，此层以标准化路径连结了模型开发者、平台供应商与企业的AI生态体系，以于云端、资料中心、工作站或PC上执行针对Nvidia CUDA最佳化的客制AI模型。

其中，NIM是个容器化的推论微服务，内含预建的容器、产业的标准API、特定领域的程式码与最佳化的推论引擎等，意在缩小企业环境中营运需求及AI部署之间的差距，将模型部署时间从几周缩短至几分钟，以让企业的应用程式开发人员得以对公司的AI转型做出10~100倍的贡献。

此外，NIM专为可携与可控所设计，让模型可部署在不同的基础设施上，涵盖工作站、云端到本地资料中心。

至于CUDA-X则是提供端对端的建置组块，以支援资料准备、客制化及训练，加速不同产业生产AI的开发。例如提供客制化语音与翻译AI的Nvidia Riva，最佳化路径的Nvidia cuOpt，或是高解析度的天气模拟Nvidia Earth-2等。

企业可在不同的基础设施上部署Nvidia AI Enterprise 5.0内的各种微服务，如AWS、Google Cloud、Azure或Oracle Cloud Infrastructure。