腾讯
中国腾讯上周发表推论模型Hunyuan-T1(浑元-T1),以与境内竞争对手DeepSeek所推出的DeepSeek R1竞争,双方在效能与价格上相当。根据南华早报的报导,Hunyuan-T1每输入100万个Token收费1元人民币,每百万个Token的输出则是4元人民币,至于DeepSeek R1则有区分白天与夜间的价格,白天每100万个Token的输入是1元,输出是16元,但夜间分别降至0.25元与4元。
Hunyuan-T1是以腾讯今年3月发表的大型模型TurboS(快思聪)为基础,再借由大规模的后训练,把96.7%的运算能力投入强化学习训练,专注于提升推理能力,以期更符合人类的偏好。
TurboS是个结合Transformer与Mamba架构的混合模型,并采用专家混合(MoE)技术。其中,Transformer架构擅长捕捉脉落之间的关系,适合处理复杂的语言架构;Mamba则是基于结构化的状态空间模型,可高效处理长序列资料,降低运算的复杂度;MoE则负责把资料分配给特定的专家模型,以提升推理速度并减少资源消耗。腾讯指出,Mamba优化了长序列的处理能力,在同样的部署条件下,其解码能力提升2倍。
腾讯比较了Hunyuan-T1、DeepSeek R1、GPT 4.5及o1在综合知识的记忆与理解能力MMLU-PRO、专注于专业领域知识及复杂科学推理的GPQA-diamond、测试程式码设计能力的LiveCodeBench、解决数学能力的MATH-500、指令遵循能力的ArenaHard,以及文化与创意等基本测试的表现,显示Hunyuan-T1与其它竞争对手的表现相当,亦或有超越。
此外,Hunyuan-T1在内部人类评估资料集的表现亦与DeepSeek R1相当。
图片来源/腾讯