OpenAI发表支援128K脉络的GPT-4 Turbo,调降模型费用

OpenAI周一(11/6)发表了支援128K脉络(Context Window)的GPT-4 Turbo预览版,推出新的Assistants API,以及API的多种新功能,同时宣布降价,不管是新的GPT-4 Turbo,或是既有的GPT-3.5 Turbo与Fine-tuned GPT-3.5 Turbo 4K都比过去更便宜。

继于今年7月全面释出GPT-4 API之后,OpenAI本周开始预览更强大的GPT-4 Turbo。GPT-4 Turbo预览版所使用的训练资料最新日期为2023年4月,所支援的脉络长度为12.8万(128K)个Token,最大的输出Token数量为4,096个。相较之下,GPT-4训练资料的最新日期依旧是2021年9月,所支援的最长脉络是32,768个Token。

Token为GPT等基于Transformer架构之语言模型的基本概念,指的是模型可处理的文字单位,根据OpenAI的说明,一个Token大约等于4个英文字母;至于脉络(Context Window)长度指的则是GPT在生成答案时,所参考的历史资料范围,包括使用者曾经输入的文字或是GPT曾产生的答案,此一功能令GPT得以根据使用者询问的脉络持续给出相关的答案,支援12.8万个Token代表GPT-4 Turbo最多可容纳或考虑逾300页的文字。

此外,GPT-4 Turbo改善了函数呼叫功能,可於单一讯息中呼叫多个函数,并提高了函数呼叫的准确性;强化对指令的遵循及对JSON模式的支援;新增seed参数来重制输出;并预计于未来几周释出一新功能,以回传GPT-4 Turbo及GPT-3.5 Turbo最有可能输出之Token的Log Probability。

所有付费开发者皆可于API请求中,加入gpt-4-1106-preview来预览GPT-4 Turbo,正式版可望于数周后出炉。

在释出GPT-4 Turbo的同时,OpenAI也更新了GPT-3.5 Turbo,新版GPT-3.5 Turbo预设即支援16K的脉络长度,亦改善指令遵循、对JSON模式的支援与并行函数呼叫。

全新的Assistants API将协助开发者于自己的应用中,打造类似代理人的体验,透过该API所打造的AI助理具备特定指令,利用额外的知识并可呼叫模型与工具来执行任务,包括Code Interpreter、Retrieval与函数呼叫等,所采用的技术与OpenAI同一天发表的GTPs产品一致。

Assistants API的一项重要变更是具备持续且无限长度的执行绪,允许开发者将执行绪的状态管理交给OpenAI,以克服脉络长度的限制。Assistants API现为测试版,即日起开放所有开发者试用。

OpenAI本周亦发表多种API的新用途,包括GPT-4 Turbo在Chat Completions API中可接受影像输入,以用来生成标题、分析真实世界的图像,或是阅读具备图形的档案;或是透过Images API直接将DALL·E整合至应用程式或产品中;以及利用Text To Speech(TTS)API来生成人类品质的语音,它内建了6种语音与2种模型,有一模型可供即时使用,另一模型则针对品质进行了最佳化。

OpenAI亦宣布调降GPT-4 Turbo、GPT-3.5 Turbo与Fine-tuned GPT-3.5 Turbo 4K的价格,现在GPT-4 Turbo每千个Token的输入为0.01美元,输出为0.03美元,价格分别是GPT-4的1/3及2/1;GPT-3.5 Turbo每千个Token的输入价格为0.001美元,输出为0.002美元,亦分别是先前16K模型的3/1与2/1;Fine-tuned GPT-3.5 Turbo 4K的最新价格是每千个Token的输入为0.003美元,输出为0.006美元,是之前的1/4及近1/3。