Meta 正在构建新开源大模型,性能超越 Llama 2、比肩 GPT-4


多元共进|2023 Google 开发者大会精彩演讲回顾

根据 Siliconangle 的报道,Meta 正在寻求在生成式 AI 领域与 OpenAI 展开竞争,将发布新的开源大模型,其性能或将与GPT-4 不相上下。

报道称,这款新模型比 Llama 2 强大数倍,将提供文本、图像生成以及分析等功能。目前该模型正处于开发之中,最终功能尚不确定。

Meta 最终目标是加速开发下一代生成式人工智能模型,使其能够生成更多类似人类的表达。

长期以来,Meta 一直在采用开源方法公开其大模型产品,是业内众所周知的最大贡献者之一。仅今年它就向人工智能社区发布了大量人工智能模型和训练数据集。其中包括针对编程任务优化的 Code Llama 大语言模型; 可实现数百种语言通用按需翻译的 SeamlessM4T 模型; 用于创作音乐和声音的生成式人工智能模型 AudioCraft;语音生成人工智能模型 Voicebox。它还推出了 I-JEPA(一种可以像人类一样学习的计算机视觉模型)和 FACET(一种基准数据集,旨在帮助研究人员审核计算机视觉模型的偏差)。

但其模型性能一直在 ChatGPT 等产品之下,Meta 的新人工智能大模型能否赶上 OpenAI 还有待观察。因为它们的能力取决于训练的数据量。据了解,Meta 的 Llama 2 接受了 700 亿个训练数据参数的训练。 OpenAI 尚未公开透露 GPT-4 基于多少个参数,但其他人估计它可能比 Llama 大 20 倍,基于约 1.5 万亿个参数。


相關推薦

2023-10-28

级,并将相关人员转向从事AI工作。 上月曾报道过,Meta 正在构建新开源大模型,据称性能超越 Llama 2、比肩 GPT-4,最终目标是加速开发下一代生成式人工智能模型,使其能够生成更多类似人类的表达。 长期以来,Meta 一直在

2024-07-25

今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、70B 及 405B  参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面,该模型选择标准的仅解码器 transformer 模型架

2023-07-14

LLaMA 的商用版本,允许初创公司和企业在该技术的基础上构建定制软件。 此举将使 Meta 与微软支持的 OpenAI 和谷歌展开竞争。今年早些时候,Meta 面向研究人员和学者发布了自有大语言模型 LLaMA。其参数规模从 70 亿到 650 亿参

2024-04-10

Information 的报道,Meta 计划在下周推出两款小型的 Llama 3 模型,为即将在今年夏季发布的正式版 Llama 3 模型预热。 Meta 相信,这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4,后者能

2023-04-04

训练成本从 1000 美元左右削减至 300 美元。 Vicuna 团队构建了一个服务系统,该系统能够使用分布式 workers 为多个模型提供服务;它支持来自本地集群和云的 GPU worker 的灵活插件。通过利用 SkyPilot 中的容错控制器和 managed spot

2023-08-26

创会」北京站,聊聊 AI 大模型与底层技术 >>> Meta 刚刚开源了号称是编程领域“最先进的大语言模型”——Code Llama,可根据代码和自然语言提示生成代码和有关代码的自然语言,支持多种主流编程语言,包括 Python、C++、Java、PH

2023-06-09

诈、隐私侵犯和网络犯罪的真正风险。参议员 Hawley 和我正在写信给 Meta,讨论为评估和防止滥用 LLaMA 和其他 AI 模型而采取的步骤。” Meta 于 2 月份发布 LLaMA 供批准的研究人员下载,而没有选择集中和限制对底层数据、软件

2023-07-13

以不 Open,不是为了保护人类不被 AI 毁灭,而是因为他们构建的大模型是可复制的,未来中国和美国的互联网大厂(比如谷歌、Meta、腾讯、百度、字节跳动),以及 AI 头部初创企业,都会有能力构建出可以媲美 GPT-4 甚至超越 GP

2024-03-01

确,不过较小的模型可能在处理速度上更有优势。Llama 3正在由Meta旗下的独立基础人工智能研究团队(FAIR)以外的生成人工智能团队开发。 理论上,Llama 3将拥有更强大的语义理解能力,能够准确辨别一个单词在不同上下文中的

2024-07-25

我相信 AI 也会以类似的方式发展。如今,一些科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。” 扎克伯格认为,Llama 如今已经在开放性、可修改性和成本效益方面处于行业领先地位。并预计从明年开始,Llama

2023-09-27

IOS 版本恢复上架啦,看这里 喜大普奔,开源 AI 聊天、绘图软件 AIdea 终于在 Apple Store 恢复上架了。 大约在 4 周前,我发布了 花了小半年开发了一个 AI 套壳 APP,然而大势已过,直接开源了 这篇文章,将开发了近半年的 APP

2023-08-11

清华大学新闻与传播学院沈阳团队近日发布的《大语言模型综合性能评估报告》显示,百度文心一言在三大维度20项指标中综合评分国内第一,超越ChatGPT,其中中文语义理解排名第一,部分中文能力超越GPT-4。 据了解,报告本

2023-10-18

,但全球治理的进展仍较为缓慢,最大的人工智能实验室正在填补这一空白; 据预测,人工智能将影响一系列敏感领域,包括选举和就业,但我们还没有看到显著的影响。 4、安全问题 关于生存风险的讨论首次进入主

2023-06-28

执行官 Demis Hassabis 向《连线》杂志表示,他们的工程师正在使用 AlphaGo 技术来开发一个名为 Gemini 的人工智能系统,比 OpenAI ChatGPT 背后的系统更为强大。 Gemini 本质上与 GPT-4 类似,是一个可以处理文本的大语言模型;目前仍在