OpenAI周二(8/20)发表了新一代大型语言模型(LLM)GPT-4o的微调服务,透过该服务,开发人员将能以客制化的资料集来调整GPT-4o,以取得更适合特定应用的成果。
今年5月上线的GPT-4o为GPT-4 Omni的简写,是OpenAI最新的旗舰版模型,它是个多模态LLM,可接受文字、音讯、图像及影片之任何组合的输入,并输出任何组合的文字、音讯与图像。它不管是在MMLU、GPQA、MATH、HumanEval或MGSM等基准测试上都胜过GPT-4-Turbo,但在阅读理解与推论能力的DROP测试上则明显落后。
OpenAI表示,微调服务将让模型得以客制化回应的结构及语气,或者是遵循特定领域的复杂指令,从撰写程式码到创意写作,微调将替不同领域的模型性能带来重大影响,且OpenAI未来也将继续投资以扩充模型的客制化选项。
所有付费的开发者都可使用GPT-4o的微调服务,每100万个Token的微调训练成本为25美元,在推论上,每100万个Token的输入成本为3.75美元,100万个输出Token为15美元。
其实OpenAI不仅开放GPT-4o的微调服务,也开放GPT-4o mini的微调服务,两者在9月23日以前,将分别免费提供每日100万个及200万个训练Token。
致力于让AI精确模仿人类执行任务的Cosine,即利用GPT-4o模型来微调旗下的AI软体工程助理Genie,根据真实软体工程师的工作案例进行训练,让模型能以特定方式作出回应,或是输出特定格式,像是可直接提交到程式码库的修补程式。
而AI解决方案供应商Distyl在微调GPT-4o之后,在评估从自然语言查询转换至SQL查询的BIRD-SQL基准测试中,准确率达到71.83%,虽然仍远不及人类的92.96%,但高于RECAP+Gemini的69.03%、ByteBrain的68.87%,以及IBM ExSL+granite-20b-code的67.86%,在AI排行榜上名列第一。
此外,OpenAI也持续强调客户的隐私权,指出微调模型完全由用户所控制,包括所有的输入与输出,以确保用户资料不会被共享或用来训练其它模型。