开源模型逆袭:Databricks TAO 技术微调 Llama 超越 GPT-4o


数据智能公司 Databricks 近日推出了一种全新的大语言模型微调方法 ——TAO(Test-time Adaptive Optimization)。通过运用无标注数据和强化学习,TAO 不仅在降低企业成本方面表现出色,更是在一系列基准测试中取得了令人瞩目的成绩。

根据科技媒体 NeoWin 的报道,TAO 微调后的 Llama3.370B 模型在金融文档问答和 SQL 生成等任务中,展现出了优于传统标注微调方法的性能,甚至逼近了 OpenAI 的顶级闭源模型。这一成果标志着开源模型在与商用 AI 产品竞争中的又一次重大突破。

TAO 方法的核心在于其独特的 “测试时计算” 理念,能够自动探索任务的多样性,同时结合强化学习来优化模型,从而避免了传统微调所需的人工标注成本。在多项企业基准测试中,TAO 微调的 Llama 模型成绩斐然:

  • 在 FinanceBench 基准测试中,该模型在7200道 SEC 文档问答中取得了85.1的高分,超过了传统标注微调(81.1)和 OpenAI 的 o3-mini(82.2)的成绩。
  • 在 BIRD-SQL 测试中,TAO 微调的 Llama 模型得分为56.1,接近 GPT-4o 的58.1,远超传统标注微调(54.9)。
  • 在 DB Enterprise Arena 中,TAO 模型得分为47.2,虽然略低于 GPT-4o 的53.8,但仍然显示了强劲的竞争力。

 


相關推薦

2024-08-10

阿里通义团队开源新一代数学模型Qwen2-Math,包含1.5B、7B、72B三个参数的基础模型和指令微调模型。 Qwen2-Math基于通义千问开源大语言模型Qwen2研发,旗舰模型 Qwen2-Math-72B-Instruct在权威测评集MATH上的得分超越GPT-4o、Claude-3.5-Sonnet、

2024-07-26

在 Meta 推出开源 Llama 3.1 模型之后不久,OpenAI 宣布对其 GPT-4o Mini 模型提供免费微调,允许用户免费使用额外数据训练模型,以便在特定用例中获得更高的性能。 GPT-4o mini 微调适用于 OpenAI 的 Tier 4 和 5 使用层级的开发人员,这

2024-07-11

,OpenAI的GPT-4o以81分高居榜首,Claude-3.5-Sonnet与通义千问开源模型Qwen2-72B-Instruct并列第二,得分均为77。 通义千问(Qwen2-72B)既是排名最高的中国大模型,也是全球最强的开源大模型,性能超越文心一言4.0、讯飞星火V4.0、Llama-3-70B

2025-04-03

frames-benchmark 上超过了 GPT-4o 的 Search 功能,成为最强的开源 AI 搜索框架。 这个框架结合语义搜索,并提供了快速和深度搜索两种模式,允许多跳搜索(即不断检索以得到理想答案),并且专门为 AI Agent 优化。  OpenDeepSear

2023-10-10

,贾佳亚团队联合MIT发布的新技术和新模型悄然登上各大开源网站的热榜:hugging face热榜第一、paperwithcode热度第一,Github全部python项目热度第五、github stars一周内破千,Twitter上的相关技术帖子浏览量近18万...... github stars已达1

2023-09-12

正在寻求在生成式 AI 领域与 OpenAI 展开竞争,将发布新的开源大模型,其性能或将与GPT-4 不相上下。 报道称,这款新模型比 Llama 2 强大数倍,将提供文本、图像生成以及分析等功能。目前该模型正处于开发之中,最终功能尚

2023-07-27

OpenBuddy-LLaMA2-13B 是一个基于 Llama 2 的全新跨语言对话模型。 Llama 2 是 Meta 最新发布的模型基座,它的数据比前一代模型更为充分,且对月活7亿以下的商用予以支持。这意味着,更多的公司和团队可以使用这个模型进行商业开发

2024-09-27

Meta 今天发布了 Llama 3.2 系列开源模型,其中包括小型和中型视觉 LLMs(11B 和 90B),以及适合边缘和移动设备的小型纯文本模型(1B 和 3B),包括预训练和指令调整版本。 LLaMA 3.2 支持同时处理文本、图像和视频,能够理解并生

2024-08-08

OpenAI 在其 API 中引入了结构化输出功能,这意味着模型的输出可以可靠地遵循开发人员提供的 JSON 模式。 对复杂 JSON 模式进行评估时,具有结构化输出的新模型 gpt-4o-2024-08-06 得分为 100%。相比之下,gpt-4-0613 得分不到 40%。 这

2024-08-01

对来自 OpenAI、Anthropic、Google 和 Meta 等品牌的 22 个(12 个开源 LLM 和 10 个专有 LLM)领先的生成式 AI 大语言模型性能进行了比较排名。 Hallucination Index 使用 Galileo 专有的评估指标“context adherence”对开源和闭源模型进行了测试。

2025-03-22

今天凌晨,OpenAI 上线了全新语音模型 API,具体包括: gpt-4o-transcribe (语音转文本):单词错误率 (WER) 显著降低,在多个基准测试中优于现有 Whisper 模型 gpt-4o-mini-transcribe (语音转文本):gpt-4o-transcribe 的精简版本,速度更快、

2024-07-18

法国人工智能初创公司 Mistral 以其强大的开源人工智能模型而闻名。今天,该公司在其不断壮大的大型语言模型 (LLM) 家族中推出了两个新产品:一个是基于数学的模型,另一个是面向程序员和开发人员的代码生成模型,

2024-08-07

利润和商业利益置于公众利益之上,还违背了免费共享或开源公司技术的承诺,选择向微软提供技术的独家许可。 马斯克主张的核心在于,他认为自己被 Altman 和现任 OpenAI 总裁 Greg Brockman“引诱和欺骗”,以非营利组织为由共

2024-09-30

模型具有推测解码功能,其训练代码、数据集和权重都是开源的,以便开发人员可以重现该模型并帮助训练其他 SLM 和 LLM。 “大语言模型通常使用自回归方法进行推理。然而,这种方法的一个主要限制是每次前向传递只能生