OpenAI
重点新闻(0308~0314)
Transformer Debugger OpenAI 语言模型
OpenAI开源内部专用LLM分析工具Transformer Debugger
最近,OpenAI在GitHub上开源一款分析工具Transformer Debugger,是内部超对齐团队(Superalignment)专用的语言模型分析器,可用来理解Transformer内部结构和运作原理,提高透明度。这款工具含自动解释功能和稀疏自动编码器两种功能,可快速探索语言模型,使用者不必写程式,就能了解模型内部神经网路对模型输出的影响。
比如,这个工具可用来干预模型向前传递讯息,特别是神经元和注意力头部部分。使用者可删除特定神经元,来观察模型输出的变化,也可对Transformer Debugger提问,如「为何模型在该提示中输出Token A,而不是Token B?」等问题。OpenAI的机器学习和超对齐研究员 Google 生成式AI 人才培育
Google台湾揭露今年三大AI落地战略
Google日前在台湾春酒记者会中,揭露了三大AI战略方向,包括培植各领域人才、强化开发者社群和协助各产业等面向,来协助台湾掌握AI机会。进一步来说,AI是Google台湾今年的重要在地发展目标,在培植各领域人才上,进一步会细分成三个策略,AI普及、AI应用和AI创新。
就AI普及来说,Google将在台设立Gemini学院,来提升社会大众的AI识读能力,预计在2024年培育1,000名中小学老师接受训练,并提供3套线上训练,包括AI基本素养、安全负责任的使用AI、使用AI帮助教学。就AI专业人才的AI应用能力上,Google将继续透过数位人才探索计划,从今年第二季开始,在原本的两大课程「数位行销和网站分析」和「云端技术」新增AI基础介绍和新工具知识,如生成式AI、LLM、负责任AI等。最后一项人才培育则是要强化学研界的AI创新能力,将持续举办第七届的AI创新研究营。
另外,强化开发者社群是Google今年的第二大AI落地战略,会从工具、社群和技术三个层次展开。尤其在社群经营上,从今年1月展开,预计举办16场Build With AI活动,培训800位开发者投入生成式AI,并计划培育60位社群领袖成为AI工具的种子教师,以及4位生成式AI领域的Google开发者专家。最后一个AI落地面向是Google要用AI协助各产业创新,比如Google从去年12月陆续推出多项生成式AI技术产品和工具,并以Gemini为名来统一这个GenAI产品线,台湾也有企业开始试用这些产品,像是中附医去年底导入医疗专用生成式AI模型MedLM、PChome预计采用AI/ML来提供更精准的商品推荐、旅游网站KKday则要透过Vertex AI来运用生成式AI技术,将网站旅游行程商品翻译6国语言。 GPT Builder 微软 Copilot GPT
微软释出GPT Builder工具,可打造客制版GPT
微软最近宣布对付费的Copilot Pro方案用户,释出Copilot GPT Builder工具,来让使用者打造Copilot GPT客制版。Copilot GPT Builder和OpenAI去年底推出的GPT Builder开发工具很像,可让中小企业或个人用户以文字输入指令,打造具有专门用途的AI聊天机器人,像是在购物网站建一个根据用餐计划建议购物清单的Copilot GPT。
Copilot Pro则是今年1月微软公布给个人用户的Copilot方案,费用为每人每月20美元。Copilot Pro底层模型也将提升到GPT-4 Turbo。微软也提供Copilot Pro用户使用GPT Builder的指示,用户需安装Edge或Chrome浏览器,连到copilot.microsoft.com或chat.bing.com网站,再登入微软帐号操作即可。 DeepMind 通用AI AI代理
DeepMind开发通用AI,可接收指令玩游戏
几年来,DeepMind一直专攻AI代理人玩游戏研究,最近开发一套新AI代理Scalable Instructable Multiworld Agent(SIMA),是第一个能理解广泛游戏世界的AI代理,可像人类一样遵循自然语言指令、执行任务。
就技术架构来说,SIMA由两个模型组成,一个专门处理图像和语言映射的模型,另一个则是预测萤幕接下来会发生什么事件的模型。团队表示,SIMA不需存取游戏原始码,也不需要客制的API,只需两个输入值,即萤幕画面和用户所提供的简单自然语言指令,并使用键盘和滑鼠来控制游戏角色。
DeepMind与8个游戏工作室合作,在9款3D游戏中训练和测试SIMA。团队对SIMA进行了600项基本技能评估,涵盖导览、操作物件和使用选单等,目前SIMA可在10秒内完成简单任务,DeepMind希望SIMA之后能完成需要高阶策略规画,并由多个子任务组合才能完成的复杂任务。他们也发现,SIMA具备泛化能力,能将学习到的技能和策略,应用在没见过的环境中。 Google 社会学习 知识转移
Google用社会学习优化模型知识转移能力
Google最近发表一项大型语言模型创新研究,提出社会学习(Social Learning)框架,为模型间的知识传递,找出新方法。社会学习能让语言模型透过自然语言文字交流知识,而且,因为不需直接交换敏感资料或模型权重,还能保有资料隐私。社会学习的概念是,模仿人类在社交环境中,透过口头指示向其他人学习。在Google提出的社会学习框架中,学生大型语言模型会向多个特定任务解法的教师模型学习,团队也会评估学生模型在各种任务的表现,来衡量社会学习成效。
他们发现,即使语言模型只接收少数范例,一样能获得良好的任务解决能力。而这个方式的重要性在于,教师模型可依据实际资料集,合成出新的范例,与学生共享。特别是,合成资料集虽与原始资料不同,但具相同教育意义,因此,就算教师模型不直接共享真实原始资料,学生模型还是可以从合成资料中学习。实验结果显示,当合成范例足够多,例如只要达到16个,社会学习方法和直接共享原始资料方法的模型解决问题能力就没有显著统计上的差异。