小模型只要运算时间充裕,特定任务性能也能超越大模型

由于目前大型语言模型的效能,主要仰赖大量的训练运算资源,而正是这种昂贵的成本模式,驱使开发公司寻求替代方案。而Hugging Face的而Hugging Face的研究更聚焦于开放模型与资源的应用,并提出多样性验证树搜寻(Diverse Verifier Tree Search,DVTS)这种改进验证器搜寻方法的技术。DVTS有效解决了搜寻过程中的多样性不足问题,特别是在高运算资源配置下,其生成的解答在准确性和多样性上表现更佳。透过这些测试阶段运算扩展技术,Hugging Face展示小型模型在数学推理等特定任务中,足以挑战甚至超越大型模型,颠覆过去仰赖模型规模决定效能的传统观点。

简单来说,DeepMind的研究主要说明,透过动态分配测试阶段的运算资源,小型模型可以在多一点运算时间下,提升效能并表现得更好。Hugging Face的研究则进一步延伸,提出在某些特定任务中,给小型模型足够的运算时间,不仅能提升效能,甚至可以超越参数量更大的模型。

Hugging Face的DVTS针对搜寻策略中的多样性问题进行最佳化,借由分离多个搜寻树,提升生成答案的多样性并避免单一路径过度主导搜寻过程的现象。在数学基准测试中,小型模型如参数量仅为10亿的Llama模型,在应用DVTS策略后,解题表现不仅超越了自身基础能力,甚至在某些情境中超越了参数量高达70亿的大型模型。

不过目前这些技术的发展仍受限制,因为验证器的能力目前局限于数学和程式码等可验证领域,要将这些技术应用于需要主观判断,或是难以量化的任务,仍需要更多后续研究。不过从实务角度来看,测试阶段运算扩展的成功,对模型效能提升提供了更具成本效益的方法,让企业能以更少的资源部署更高效的语言模型,特别是在运算能力受限的环境下,如边缘运算或嵌入式系统等。