阿里巴巴旗下Qwen团队宣布推出全新偏好建模模型系列——WorldPM(World Preference Modeling),包括WorldPM-72B及其衍生版本WorldPM-72B-HelpSteer2、WorldPM-72B-RLHFLow和WorldPM-72B-UltraFeedback。
根据官方介绍,该模型通过对1500万条偏好数据的超大规模训练,验证了偏好建模遵循与语言建模相似的规模化定律(scaling laws)。这一发现意味着,随着数据和模型规模的扩展,偏好模型能够学习到统一的偏好表示,从而显著提升模型在监督学习中的表现。
WorldPM-72B系列基于72亿参数规模打造,专为评估和优化其他模型的输出而设计。官方表示,与从零开始训练相比,基于WorldPM进行微调能够显著提升性能,尤其在需要捕捉人类偏好的场景中表现优异。
值得注意的是,WorldPM并非通用的对话模型,而是专注于为其他模型提供偏好评分和优化指导。例如,开发者可以利用WorldPM-72B对生成式AI的回答进行打分,从而提升模型在特定任务上的表现。