国研院院长蔡宏营指出,2029年公部门算力将达到480PF,再加上民间算力,预估可超过1,200PF。
重点新闻(0131~0206)
国科会 算力 AI开发云端服务平台
加速建置AI算力,政府预计2029年公共算力达480PF
2月6日,国研院院长蔡宏营在行政院会后记者会中揭露国家AI算力计划,其中,国网中心去年建置的16PF算力超级电脑,预计今年5月开放使用。再加上目前进行中的晶创台湾计划(2024年至2028年)、将建置280PF算力,以及大南方新矽谷推动方案(2026年至2029年)、将建置200PF算力,国科会预计,2029年公部门算力将达到480PF,届时加上民间算力,预估可超过1,200PF。
至于开放时程,指出,南科云端资料中心预计今年底开放使用,沙仑AI运算资料中心则预计2029年开放使用。这些大型云端资料中心,不只是AI算力机房,也能作为国家关键资料基地,储存量可达60PB。除了AI基础建设,政府未来也会强化算力资源的管理、能源的运用效率,并发展多元算力应用。
算力之余,蔡宏营表示,政府也将推动产学桥接,来发展多元AI应用服务,并计划对中小企业或新创产业,提供AI技术辅助和优惠。此外,国科会计划建立一站式的AI开发云端服务平台,来介接资服业者服务、技术,将云端服务扩大到各行各业、带动公私部门投资。 s1-32B 史丹佛大学 推理模型
史丹佛大学开源低成本推理模型s1-32B
日前,史丹佛大学团队发布一款新模型s1-32B,以极低成本和少量资料训练而成,但其数学表现比OpenAI的o1-preview模型还要好,在MATH和AIME24的数学标竿测试中高出了27%。该模型已在 Hugging Face 多模态模型 SmolVLM
号称业界最小多模态语言模型来了
AI资源平台Hugging Face最近发布两款新多模态模型SmolVLM-256M和SmolVLM-500M,前者号称是全球最小的多模态及影片语言模型(VLM)。进一步来说,256M和500M模型都使用SigLIP作为图片编码器,以SmolLM2为文字编码器,来共同运作。
其中,SmolVLM能胜任多种多模态任务,包括生成图片描述或短影片字幕、PDF或扫瞄文件问答,以及回答图表问题。这种模型架构轻巧,适合用于行动装置应用,同时维持强大效能。其中,256M是最小型的VLM多模态模型,它能接受任何序列的图片和文字,生成文字输出,能以不到1GB的GPU RAM对单一图片推论。若要更高效能,则可选择SmolVLM-500M模型,在单一图片上推论仅需1.23GB的GPU RAM。二款模型微调后表现更好。 OpenAI o3-mini ChatGPT
OpenAI推理能力模型o3-mini正式推出
OpenAI最近揭露,小型推理模型OpenAI o3-mini已部署到ChatGPT和API,供付费方案用户及开发人员使用。这款o3-mini保有OpenAI o1-mini的低成本和低延迟特性,但进一步加强小模型的效能和速度,具备优异的STEM(科学、数学和程式撰写)能力,在AIME 2024数学标竿测试中,o3-mini-high推理能力等级模型得到87.3,优于o1-preview的56.7、o1-mini的63.6。
对开发者而言,o3-mini和o1-mini一样,也支援串流,而且有低、中、高三种推理能力可选择,用于不同场景。OpenAI指出,o3-mini能整合搜寻功能,可提供即时网页答案及连结。不过,目前o3不支援视觉功能,需要的用户还是得继续使用o1-mini。o3-mini已部署到ChatGPT和API,包括API使用层级3到5特定开发人员的Chat Completions API、Assistants API及Batch API。 LLM DeepMind 复杂任务
不必转化为数学模型,LLM也能良好解决复杂问题
日前,DeepMind发表Mind Evolution技术,结合了大型语言模型(LLM)和演化式搜寻方法,解决传统方法在自然语言规画与推理任务中的效率和准确性瓶颈。这个研究的特别之处在于,语言模型可直接用来处理复杂问题,且解决能力非常好,不必先将问题转化为数学模型。
团队表示,LLM在处理复杂自然语言规画和推理任务仍有限制,比如旅行规画或行程安排等情境,传统方法容易受限于局部搜寻,或难以将问题转换为明确的数学模型,影响了解题效果。于是,DeepMind设计一套演化式搜寻策略,结合随机探索和深度最佳化,可生成、重组、改进候选解方。这个方法能在短时间内,大幅提高解题准确性,还能应对自然语言描述中,隐含的约束和需求。而且,这个方法还不需要一一检查每个中间推理步骤,大幅降低运算成本。
DeepMind还以旅行规画、行程安排及隐写术生成(Steganography)等高难度的自然语言任务,来测试Mind Evolution。结果显示,Mind Evolution在TravelPlanner与Natural Plan基准测试的成功率在95%至100%间,远远超过传统的最佳解搜寻与逐步修正策略。