AI 军备竞赛,Meta 推出全新大型语言模型


ChatGPT 持续火热,大型科技公司争先恐后地涌入 AI 军备竞赛中,这也为 AI 领域又带来了一个新的模型与潜在竞争对手 —— LLaMA。

LLaMA 语言模型全称为 "Large Language Model Meta AI",是 Meta 近日公布的一个全新的大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为 70 亿、130 亿、330 亿和 650 亿参数不等)。

值得注意的是,其中 LaMA-13B(130 亿参数的模型)尽管模型参数相比 OpenAI 的 GPT-3(1750 亿参数) 要少了十几倍,但在性能上反而可以超过 GPT-3 模型。更小的模型也意味着开发者可以在 PC 甚至是智能手机等设备上本地运行类 ChatGPT 这样的 AI 助手,无需依赖数据中心这样的大规模设施。

项目成员 Guillaume Lample 表示:

与 Chinchilla、PaLM 或 GPT-3 不同,我们只使用公开的数据集,使我们的工作与开源兼容并可重现,而大多数现有模型依赖的数据要么不公开,要么没有记录。

目前 LLaMA 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。


相關推薦

2023-10-26

游戏、内容等领域广泛应用。🤖📱💼AI应用阿里国际站推出AI生意助手阿里巴巴国际站推出了全新的AI工具——生意助手Smart Assistant,旨在通过AI技术提高外贸商家的运营效率、提升转化率和寻找商机。【AiBase提要:】🤖 阿里巴

2023-10-28

智能模型 AudioCraft;语音生成人工智能模型 Voicebox。它还推出了 I-JEPA(一种可以像人类一样学习的计算机视觉模型)和 FACET(一种基准数据集,旨在帮助研究人员审核计算机视觉模型的偏差)。 延伸阅读 Meta AI 多语言阅读

2022-10-22

主流语言),因为有更多数据支持,使得挖掘数据和构建大型模型相对简单。 但像闽南语这样的方言,一是没有标准的书写系统,二是使用群体相比主流语言较小。这就使得构建一个庞大的数据模型变得非常困难。研究人员就

2023-08-26

令 它们具有开放式模型中领先的性能、填充能力、对大型输入上下文的支持以及用于编程任务的零指令跟随能力。所有模型都是基于 16k 标记序列进行训练,并在最多 100k 标记输入上显示出改进。 运行示例 根据自然语言

2023-10-21

为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。 Alluxio Enterprise AI 平台可综合优化企业 AI

2023-08-25

创会」北京站,聊聊 AI 大模型与底层技术 >>> Meta 宣布推出 SeamlessM4T,一种基础的多语言和多任务模型,可以无缝翻译和转录语音和文本。SeamlessM4T 支持: 自动语音识别近百种语言 近 100 种输入和输出语言的语音到文

2024-07-06

ace 上发布了使用这种方法完成代码的预训练模型。 “大型语言模型(例如 GPT 和 Llama)都是通过下一个标记预测损失进行训练。在这项工作中,我们认为训练语言模型同时预测多个未来标记会带来更高的样本效率......我们的

2024-04-10

根据 The Information 的报道,Meta 计划在下周推出两款小型的 Llama 3 模型,为即将在今年夏季发布的正式版 Llama 3 模型预热。 Meta 相信,这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4,

2023-09-05

Meta AI 宣布推出一款涵盖 122 种语言变体的多语言阅读理解数据集,名为 Belebele。“我们希望这项工作能够引发围绕 LLM 多语言性的新讨论”。 BELEBELE 是首个跨语言并行数据集,可以直接比较所有语言的模型性能。该数据集涵

2023-04-03

彭博 (Bloomberg) 发布了一篇研究报告,详细介绍了新型的大规模生成式 AI 模型 BloombergGPT 的开发。这种大型语言模型(LLM)专门针对各种金融数据进行了训练,以支持金融行业内多样化的自然语言处理(NLP)任务。 公告称,基于

2022-04-13

微软宣布推出一种可以提高大型语言模型性能的新工具 Jigsaw。“大型的预训练语言模型(如 GPT-3、Codex 等),可以被调整为从程序员意图的自然语言规范中生成代码。这种自动化模型有可能提高世界上每个程序员的生产力;但

2024-07-26

,法国 AI 初创公司 Mistral AI 也加入了竞争,今天发布了全新的旗舰开源模型 Mistral Large 2。 该模型拥有 1230 亿个参数,可在单个 H100 节点上以高吞吐量运行,在代码生成、数学、推理等方面与 OpenAI 和 Meta 的最新尖端模型不相

2022-07-16

这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。 除此之外,这类大型科技公司开发的语言模型在使用上也有一些限制条件,比如 OpenAI 开发的 GPT-3 并不开源;Meta 开发的 OPT-175B 虽然开源,但完

2023-08-24

IBM 宣布推出一款新的生成式 AI 辅助产品 watsonx Code Assistant for Z,有助于在 IBM Z 上更快地将 COBOL 转换为 Java ,并增强平台上的开发人员生产力。该产品预计将在今年 9 月份进行预览,第四季度实现全面上市,旨在帮助加速 COBOL