AWS推出Bedrock资料自动化功能预览版，可自动从非结构化的多模态资料中抽取内容，来转换、生成结构化资料。
摄影／王若朴
在今年度re:Invent技术年会中，AWS资料与人工智慧资深副总裁Swami Sivasubramanian揭露AI服务重大更新，不论是机器学习平台SageMaker还是生成式AI平台Bedrock，都聚焦生成式AI（即GAI）带来的更大算力和资料检索需求，推出相应新功能。
SageMaker瞄准生程式AI更大的算力需求，新添算力支援和任务管理
比如，他们在专为GAI推出的快速扩展服务Amazon SageMaker Hyperpod中，正式新添了能自动化弹性支援模型训练的计划功能（Amazon SageMaker Hyperpod Flexible Training Plans），能自动设置模型训练所需的基础设施和运算丛集，而且还符合使用者预期的训练时间和成本。Sivasubramanian说，这个新功能可提高训练效率，省下好几周的模型训练时间。
再来，「有效管理训练资源，也是很复杂的任务，」Sivasubramanian表示，对Amazon自己来说也是如此。于是他们开发一套功能，提高超过90%的加速运算运用率。「当我们与不同产业的资讯长、执行长们分享这个成功经验，他们都表示这是他们需要的。」
于是，AWS今日正式推出Amazon SageMaker Hyperpod Task Governance任务治理功能，使用者能定义自己的优先任务，来最大化运用加速器运算资源，降低模型训练、微调和推论的成本。甚至，使用者还能即时监控模型任务的执行洞察，来减少等待时间。
另一方面，为顾及使用者希望操作第三方AI应用程式、管理模型的需求，Sivasubramanian也揭露另一款更新，只要是AWS合作伙伴的AI Apps，都能在SageMaker中使用了。
Bedrcok也有模型市集了，还有提示管理新功能
不只如此，AWS还针对Amazon Bedrcok平台，也就是优化GAI应用程式建置和扩展的服务，正式推出Amazon Bedrock Marketplacae市集，提供100多个模型，来让使用者测试、使用。
再来，为了更有效管理提示所衍生的成本，AWS分别推出2项预览版功能，首先是Bedrcok提示快取（Prompt caching）支援功能，可以针对跨API呼叫的重复性提示进行快取，来避免不断重复的提示产生的Token成本。「这是降低延迟和节省成本的关键，你可以降低85%延迟、节省90%成本。」
另一项功能是智慧提示分配（Bedrock Intelligent Prompt Routing），也就是能根据提示内容，自动分配给最适合的模型来处理、回答问题。Sivasubramanian说，有了这个功能，开发者不必再花大把时间测试哪个模型最适合回答哪些问题，可节省3成开发成本。
针对RAG痛点，推出更好的资料来源配对功能和Bedrock结构化资料检索功能
RAG是透过搜寻外接资料库知识，来避免大型语言模型（LLM）幻觉的重要手段。AWS先前就推出Bedrock Knowledge Bases知识库来简化RAG工作流程的管理，同时，为了让使用者更容易在企业或组织中找到正确资料，AWS之前也推出Amazon Kendra服务，能透过机器学习支援来快速找到最相关的资料。
这次，AWS推出了Kendra GAI Index预览版，使用者能连结40多个资料来源、对其索引，来让企业更有效率打造数位助理和智慧搜寻体验。这个功能，还能与Bedrock Knowlege Bases和其他工具整合，来开发RAG支援的AI助理，或是与Amazon Q Business整合使用，打造全托管的数位助理。
接著，AWS也针对RAG所需的资料类型，正式推出了Bedrock Knowledge Bases结构化资料检索功能，Sivasubramanian还揭露其他资料处理新功能，像是Amazon Bedrock Data Automation预览版，能自动从非结构化的多模态资料中抽取内容，来转换、生成结构化资料；以及Bedrock Knowledge Bases支援GraphRAG的预览版功能，使用者可以打造使用知识图谱的GAI应用程式了。