研究发现GPT-4的财报预测能力胜过人类分析师

背景图片取自

芝加哥大学布斯商学院(University of Chicago Booth School of Business)的几名研究人员最近发表了一篇报告,指出OpenAI所开发的大型语言模型(LLM)GPT-4就算在缺乏任何叙述或产业资讯的状态下,提供其财务报表之后,在预测组织获利变化的能力上优于人类金融分析师,此外,该模型的准确性也与其它经过专门训练的模型相当。

研究人员先将上市公司的财报进行标准化与匿名化的过程,包括省略公司名称,以标签替换了年份,统一不同公司的财务报表格式,再设计提示,要求GPT-4分析财报,并确定该组织未来的获利走向,另也开发一个思维链(Chain-of-Thought,CoT)提示,以有效地教导模型模仿金融分析师。

图片来源/芝加哥大学布斯商学院

人类金融分析师在预测公司未来1个月、3个月及6个月获利走向的准确率,分别是53%、56%及57%,而未使用CoT的GPT-4则是52%,但若加上CoT,那么GPT-4的表现则达到60%。此外,研究人员将GPT-4 CoT与其它两个经过训练的Stepwise Logistic Regression与ANN模型进行比较,发现其准确度超越Stepwise Logistic Regression,并与ANN相当。

图片来源/芝加哥大学布斯商学院

分析显示,GPT-4的杰出表现来自于,它会借由分析趋势具财务比例来获取有用的洞见,再利用其对理论的理解与经济进行推论,而且GPT-4所生成的财报分析叙述是非常有参考价值的。同时,研究人员也发现,大型语言模型在需要直觉及类似人类推论的任务中有出色的表现,此一跨领域的执行任务的能力透露了通用AI的现身,并突显出LLM在决策中的作用,可能比先前所以为的更为重要。

不过,该报告强调,此一结果显示GPT与人类分析师是互补的,而非替代的,在分析师可能会出现偏见或分歧时,GPT将略占优势,然而,当GPT无法获得额外的重要脉络时,分析师便更具价值。

宾州大学沃顿商学院专门研究AI的副教授Ethan Mollick则说,这是一篇很多人都在等的论文:「是的,GPT-4可以协助人们挑选股票,击败人类和其它专为金融而训练的机器学习模型。」