Meta 组建新实验室牵头开发新版 Llama 大语言模型

多元共进｜2023 Google 开发者大会精彩演讲回顾 根据 Siliconangle 的报道，Meta 正在寻求在生成式 AI 领域与 OpenAI 展开竞争，将发布新的开源大模型，其性能或将与GPT-4 不相上下。 报道称，这款新模型比 Llama 2 强大数倍

模型，据称性能超越 Llama 2、比肩 GPT-4，最终目标是加速开发下一代生成式人工智能模型，使其能够生成更多类似人类的表达。 长期以来，Meta 一直在采用开源方法公开其大模型产品，是业内众所周知的最大贡献者之一。仅今

AI 业务进行第四次重大重组。 Meta 新成立的「超级智能实验室」（Meta Superintelligence Labs）将被拆分为四个专业团队，其中包括一个暂时名为「TBD 实验室」的新部门，该实验室主要负责 Meta 旗舰大语言模型 Llama 最新版本的开发

PT核心研发人员赵晟佳（Shengjia Zhao）将担任公司超级智能实验室首席科学家一职。 扎克伯格强调：“赵晟佳是超级智能实验室的联合创始人，从一开始就是我们的首席科学家。”赵晟佳将直接向扎克伯格汇报，并将与Meta首席人

层技术 >>> Meta 刚刚开源了号称是编程领域“最先进的大语言模型”——Code Llama，可根据代码和自然语言提示生成代码和有关代码的自然语言，支持多种主流编程语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

这意味着，更多的公司和团队可以使用这个模型进行商业开发，推动各类应用的普及和创新。 然而，和之前的版本相同，Llama 2 仍具备一定的局限性：LLaMA模型基座以英语训练数据为主，未考虑跨语言场景应用。模型本身在英语

基础人工智能研究团队（FAIR）以外的生成人工智能团队开发。 理论上，Llama 3将拥有更强大的语义理解能力，能够准确辨别一个单词在不同上下文中的多重含义。例如，Llama 3可能会理解英文“kill a vehicle’s engine”（关闭机动车

直接偏好优化。 Meta 表示，Llama 3.1 系列在推理能力和多语言支持方面进行了改善，其上下文长度被提升至 128K，而模型参数也被提高到了 4050 亿规模，是近年来规模最大的大语言模型之一。该模型在通用常识、可引导性、数学

Hawley 近日致信马克·扎克伯格 (Mark Zuckerberg)，就 Meta 的大语言模型 LLaMA 泄露一事提出了质疑。 他们担忧该模型可能被滥用于垃圾邮件、欺诈、恶意软件、侵犯隐私、骚扰以及其他不法行为，从而造成伤害。因此在信中质询了 Me

型中，有三款来自 Meta，另外两款分别由微软和 EleutherAI 开发。 研究团队采用了 Books3这一流行的书籍数据库，作为训练这些大模型的素材，值得一提的是，这些书籍中许多依然受到版权保护。研究者们将36本书划分为多个重叠

。今年早些时候，Meta 面向研究人员和学者发布了自有大语言模型 LLaMA。其参数规模从 70 亿到 650 亿参数不等（包括 7B、13B、33B 和 65B 参数），该模型的一大优势是能运行在单张显卡上。 三位知情人士表示，新的商用版本将更

约时报》援引消息人士报道，Meta 公司新成立的超级智能实验室高层成员正在讨论一项重大战略转变，放弃公司强大的下一代开源人工智能模型 Behemoth，转而开发一个封闭模型。 据悉，Meta 已完成 Behemoth 模型的训练，但因内部

性优化了模型的多种能力，例如摘要、重写、指令遵循、语言推理和工具使用。

商用大模型项目，由 TOGETHER 联合蒙特利尔大学的 AAI CERC 实验室、EleutherAI 和 LAION 共同发起。目前包括一个基于 LLaMA 论文的 RedPajama 基础数据集（5 TB 大小），自 4 月份发布至今已被下载数千次，并被用来训练了 100 多个模型；以