国科会
重点新闻(0315～0321)
人才 国科会 TAIDE
国科会揭半导体AI人才策略、TAIDE进展和气象AI规画
3月20日，国科会召开第10次委员会议，揭露半导体AI人才和净零策略，以及国产大语言模型TAIDE进展和气象AI的运用计划。就人才策略来说，国科会联手国发会、经济部、数位部、环境部、教育部、金管会等部会，根据2023年行政院科技顾问会议结论定出策略，目标是要延揽国际人才、培育国内人才，尤其是AI实作人才，实际作法则是要以奖励制度提高技职体系育才、促进大学与产业合作，并推动AI全产业应用。此外，政府也将完善AI法制、资料基础和运算环境。同时，他们还要利用AI和ICT优势，来发展净零科技，前阵子提出的晶创台湾方案和净零科技方案，就是这些策略的具体措施。
再来，国科会TAIDE团队一方面盘点公、私部门资料，并个别洽谈授权，整理了89.4GB的优质繁体中文资料，另一方面在去年12月，将超级电脑台湾杉二号整合新购入的H100 GPU运算资源，并正式提供运算服务。而可商用的TAIDE-7B版本和限学研用的TAIDE-13B版本，已具备多轮对话和阻绝产生不恰当回应的能力，另也透过产学研合作打造不少应用，如智慧客服、行政常见问题回应、农业知识问答和中小学台语教学等，接下来将重点支援公部门导入TAIDE，并预计4月中旬开源释出TAIDE-7B。
另一方面，交通部气象署也要运用AI，来提高气象测报和防灾预警能力。他们已规画AI发展蓝图，要先打造良好的GPU运算环境，以利于AI应用和研发。同时，他们也要导入新技术，来提供乡镇尺度灾害天气特报资讯，还要建置金马雷达，来扩大气象雷达网拼图，目标是要在剧烈天气发生前的3至6小时提供预警。最后，他们也要扩大气象大数据资料集，作为气象科技、AI应用的发展基础。 苹果 大语言模型 MM1
苹果发表多模态大型语言模型MM1
继去年底发表的多模态大型语言模型（MLLM）Ferret后，苹果最近再发表另一个多模态系列模型MM1，最大型的版本具备300亿参数。在开发这套模型前，苹果团队先是研究了各种多模态模型架构和资料选择，比如图像编辑器、视觉语言连接器和各种预训练资料等，他们因此归纳出几个重要发现。 举例来说，要让多模态预训练模型在多种基准测试中，达到少样本SOTA等级的表现，就得采用谨慎设计的训练资料集，包括图像搭配图说、穿插搭配文字的图像、纯文字资料。而且，图像编辑器加上影像解析度与图像Token数量，也对模型表现有重大影响，视觉语言连接器的影响力反而可忽略不计。
于是，他们以这些发现为基础，扩展后打造出MM1系列模型，包含密集模型和混合专家（MoE）架构变体，两种都在预训练指标中达到SOTA水准，且经过监督式微调后，还在多个基准测试中达到不错的表现。受益于大规模预训练，MM1具有更好的脉络学习能力、多图像推理能力，也能处理少量的思维链指令。 皮肤 资料集 Google
Google公开皮肤病状图片资料集
有鉴于当前皮肤科影像资料集的不足，Google联手史丹佛大学医学院，收集各种肤色、身体部位皮肤病状的照片，然后发表皮肤病状图像网路（SCIN）资料集。这个资料集的出现，补足了临床皮肤疾病资料集的不足，还能提高AI模型通用性。
进一步来说，SCIN资料集经仔细设计，透过新型群众外包方式，收集各种条件的照片、详细的贡献者资讯，以及专业皮肤科医师的标注。SCIN资料集收录超过1万张皮肤、指甲和头发状况的图像，这些图像由本人自愿贡献，提供特写和较远距离的版本。这些照片还由一到三位皮肤科医生标注，给出最多5个皮肤病状，并附上每个标签的信赖分数。Google表示，资料集包含单独的标签，以及衍生的聚合和加权差异诊断，可用于模型测试和训练。 GPU Nvidia Blackwell
新一代高效能GPU来了，Nvidia发表Blackwell
Nvidia在今年度GTC开发者大会上，发表新一代专为生成式AI设计的处理器Blackwell，各大科技巨头如AWS、微软、Meta、OpenAI、Dell、Google、甲骨文、Tesla和xAI等都计划采用。
由于生成式AI和多模态AI模型训练需求越来越高，对运算的需求也日益增温，Blackwell就是为解决这一挑战而诞生。它是新一代GPU架构，是两年前推出的Hopper架构的继任者。Blackwell GPU是由2,080亿个电晶体组成，采客制化的台积电4NP制程，所有Blackwell产品都配备2个具光罩限制的晶粒，藉每秒10TB的晶片互连技术，产生一个强大的GPU。此外，Blackwell支援第二代Transformer引擎，可加速大型语言模型和专家混合模型（MoE）的推论与训练，并提高精度和准确度。而且，Blackwell在训练上的FP8效能是Hopper的2.5倍，推论的FP4效能是Hopper的5倍，采用第5代NVLink技术则可达到Hopper的两倍快。图片来源／苹果、Stability AI、Google、Nvidia
AI近期新闻
1. Google发表UI与资讯图表理解模型ScreenAI
2. Amazon SageMaker整合Nvidia NIM推论微服务
资料来源：iThome整理，2024年3月