彭博 (Bloomberg) 发布了一篇研究报告，详细介绍了新型的大规模生成式 AI 模型 BloombergGPT 的开发。这种大型语言模型（LLM）专门针对各种金融数据进行了训练，以支持金融行业内多样化的自然语言处理（NLP）任务。
公告称，基于 LLM 的 AI 的最新进展已经在许多领域展示了令人兴奋的新应用，但金融领域的复杂性和独特术语需要一个特定领域的模型。“BloombergGPT 代表了为金融行业开发和应用这种新技术的第一步”。
该模型将协助彭博改进现有的金融 NLP 任务，如情感分析、命名实体识别、新闻分类和问答等。此外，BloombergGPT 将为彭博终端上的大量数据释放新的机会，将 AI 的全部潜力带入金融领域。
"Bloomberg 支持大量多样的 NLP 任务，这些任务将受益于新的金融感知语言模型。彭博研究人员开创了一种混合方法，将金融数据与通用数据集相结合，以训练一个在金融基准上取得优异成绩的模型，同时在通用 LLM 基准上保持有竞争力的表现。"
彭博的 ML 产品和研究小组与该公司的 AI 工程团队合作，利用其现有的数据创建、收集和管理资源，构建了迄今为止最大的特定领域数据集之一。作为一家金融数据公司，彭博的数据分析师在过去的四十年里一直在收集和维护金融语言文档。得益于此，该团队从这个广泛的金融数据档案中提取数据，创建了一个由英文金融文件组成的 3630 亿标记综合数据集。
根据介绍，该数据集与一个 3450 亿标记的公共数据集相结合，创建了一个超过 7000 亿标记的大型训练语料库。利用该训练语料库的一部分内容，团队训练了一个具有 500 亿参数的仅解码器的因果语言模型。由此生成的模型在现有的针对金融的 NLP 基准、一套彭博内部基准以及来自热门基准的通用 NLP 任务的广泛类别（如 BIG-bench Hard、知识评估、阅读理解和语言任务）上进行了验证。
彭博方面称，在金融任务上，BloombergGPT 模型在很大程度上优于类似规模的现有开放模型，同时在通用 NLP 基准上表现相当或更好。
彭博首席技术官 Shawn Edwards 表示：“出于各种原因，生成式 LLM 非常具有吸引力，譬如小样本学习、文本生成、对话系统等；我们看到了开发首个专注于金融领域的 LLM 的巨大价值。BloombergGPT 将使我们能够处理许多新型应用程序，同时它为每个应用程序提供比定制模型更高的开箱即用性能，并且上市时间更快。”
有关 BloombergGPT 开发的更多详细信息，可查看 arXiv 上的论文。