AI 研究机构 Epoch AI 发布《推理模型能扩展多远(How far can reasoning models scale?)》报告,其中对推理模型的现状和未来作出了分析总结。
Epoch AI 通过各家开源的技术报告,来分析了目前推理模型的训练成本,同时也进一步总结,目前前沿的推理模型其推理训练规模仍未见顶,还能持续扩展(scalable),并且推理模型还有潜力在短期内快速实现能力拓展。
Epoch AI 的分析表明,人工智能行业可能无法在更长的时间内从推理人工智能模型中获得巨大的性能提升。根据该报告的研究结果,推理模型的进展最快可能在一年内放缓。
近几个月来,OpenAI 的 o3 等推理模型在人工智能基准测试中取得了大幅提升,尤其是在衡量数学和编程技能的基准测试中。这些模型可以对问题进行更多计算,从而提高性能,但缺点是它们完成任务的时间比传统模型更长。
Epoch AI 提到,如果推理阶段的算力需求见顶,那么其带来的增长率将收敛,大概是每年增长 4 倍,不会像 o1 到 o3 那样拥有「跳跃式增长」——几个月增长 10 倍的态势。
基于上述情况,Epoch AI 表示,如果推理模型的训练阶段只比前沿推理模型低几个(比如说不到三个)数量级,这种增长率可能在一年内减缓。