即时物件侦测模型YOLOv9采用从头训练方式，表现比其他用大型资料集预训练的SOTA模型要好。
中研院资讯所
重点新闻(0223～0229)
YOLOv9 中研院 物件侦测
YOLOv9来了！2大巧思克服深度学习资讯损失难题
中研院资讯所团队最近 Google 视觉理解 VideoPrism
Google揭露最新通用视觉模型
Google开发一套基础视觉编码器VideoPrism，单一套模型就能进行分类、定位（Localization）、检索、字幕和问答等影片理解任务，还在30个基准测试中达到最佳表现。
Google表示，这套模型是通用影片理解单一模型，该模型所使用的预训练资料集，是目前最大、最多样的影片训练语料库，有3,600万个附高品质字幕的精选影片和5.82亿个含杂讯文字的影片片段。至于模型训练，则采用了标准视觉Transformer（ViT）的分解设计，包括两阶段，一是用高品质的影片文字资料和带有杂讯文字的影片，以对比学习，教导模型将影片和文字描述配对。第二是透过遮罩影片建模框架，来训练模型预测影片中缺失的部分。
此时，团队还会随机打乱预测出来的Token，以防止模型学到捷径，如可能依据固定顺序或模式做出预测，而随机方式可迫使模型深入理解影片内容，不只是依赖表面特征。Google认为，VideoPrism与大型语言模型结合，可在影片文字检索、字幕生成和影片问答任务中，展现更强大的能力。 生成式AI 红队工具 微软
微软开源红队工具PyRIT，可测试生成式AI韧性
微软最近在GitHub上开源PyRIT工具包，能让安全人员和机器学习工程师自动化用来辨识大型语言模型（LLM）风险，如辨识生成恶意程式、越狱或资料窃盗等滥用行为。进一步来说，PyRIT由5个元件所组成，包括用来测试的目标、提示资料集、自我评估或既有分类器的评分引擎、单轮或多轮的攻击策略，以及存放输入和输出等互动资料的记忆体。
PyRIT可先传送恶意提示到特定的生成式AI系统，收到回应后，再将它传至评分引擎，根据评分引擎传回的结果再产生新提示，再传送至生成式AI系统，不断循环、直至实现所设定的目标。根据微软测试，用PyRIT对Copilot进行红队演练时，可先选择一个有害类别、生成数千个恶意提示，再以PyRIT的评分引擎来评估Copilot系统的输出结果。这么做，让原本需要几周的测试，在几小时内就能完成。微软表示，PyRIT并非要取代红队测试，而是用来揭露可能的风险，再由专家深入探索。 LLM Mistral AI 微软
Mistral AI发表新模型Mistral Large
2023年4月才成立的Mistral AI，最近发表一款大型语言模型Mistral Large和聊天机器人Le Chat预览版，其中Mistral Large不管是在MMLU、HellaSwag、Wino Grande或Arc Challenge（25-shot）等基准测试，都与GPT 4相差无几，是备受外界瞩目的后起之秀。
Mistral Large是继Mistral-tiny、Mistral-small和Mistral-medium后的最大、最进阶模型，可支援3.2万个Token的文章脉络，也懂英文、法文、西班牙文、德文和义大利文。Mistral Large也具精确的指令遵循，让开发者得以设计其审核策略，也可直接呼叫函数。该模型也能处理复杂且多语言的推论任务，如文字理解、转换和程式码生成。
就在同一天，微软也宣布与Mistral AI建立多年合作伙伴关系，包括Mistral AI可运用Azure AI基础设施来加速开发、部署新一代大型语言模型，而且微软Azure也将供应Mistral AI付费模型服务。迄今Azure上已代管了来自 Meta、Nvidia、Deci 与 Hugging Face等公司或组织的1,600多个开源及专有模型。 三星 智慧戒指 AI助理
三星亮相可量测生理数值的智慧戒指
继今年1月在消费电子大展CES上首次亮相后，三星在最近的世界通讯大会MWC上，正式展示可量测心率、活动量等生理数值的智慧戒指Galaxy Ring，预计今年稍晚上市。
Galaxy Ring是三星智慧健康系列的一环，它结合了Samsung Health数位健康平台，主打AI为基础的个人化健康管理。该戒指可搭配新的健康应用管理功能，如My Vitality Score服务，可提供睡眠、活动、心率量测和心率变异资讯，而搭配Booster Card则可追踪各项定义好的量测目标。三星表示，智慧戒指搜集的生理数据，将汇整入每月6,400万用户的Samsung Health全球资料集，作为三星AI健康管理服务的基础。他们的计划是，以数位健康管理平台和智慧手表、智慧戒指等装置，与第三方伙伴建立健康生态系，如上个月三星Galaxy Watch成为VR生理治疗平台XRHealth的心率监控装置，或三星Sleep Mode技术整合到合作伙伴的智慧床垫，调整床垫环境以帮助入睡。