Meta 下周将发布两款小型的 Llama 3 模型


根据 The Information 的报道,Meta 计划在下周推出两款小型的 Llama 3 模型,为即将在今年夏季发布的正式版 Llama 3 模型预热。

Meta 相信,这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4,后者能根据用户上传到聊天机器人上的图片回答问题。正式版的Llama 3 将支持多模态,它将能够理解并生成文本和图像。相比之下,下周发布的两款小型机将不具备多模态功能。

一般而言,较小的模型成本更低,运行更快,尤其在运行大型模型成本高昂的当下,其价值尤为凸显。小型模型还便于开发者在移动设备上开发人工智能软件。

Meta 此前发布了三种 Llama 2 模型,其中最大的模型有 700 亿个参数,这些参数设置编码了模型在训练过程中的学习内容。另外两个模型分别有 130 亿个参数和 70 亿个参数。而最近几个月,Meta 公司的领导认为 Llama 2 在回答有争议的问题时过于保守,因此该公司生成 AI 部门的员工一直在努力让 Llama 3 更开放地回答有争议的问题。

据报道,Meta 或将会在今年7月之后发布正式版的Llama 3大模型,该版本的 Llama 3 可能拥有超过 1400 亿个参数。


相關推薦

2024-09-27

Meta 今天发布了 Llama 3.2 系列开源模型,其中包括小型和中型视觉 LLMs(11B 和 90B),以及适合边缘和移动设备的小型纯文本模型(1B 和 3B),包括预训练和指令调整版本。 LLaMA 3.2 支持同时处理文本、图像和视频,能够理解并生

2023-08-19

码的软件,名为 Code Llama。 据称 Code Llama 最早或在下周推出,这是一款开源软件,构建在 Llama 2 的基础之上。如果消息属实,Code Llama 将会对 OpenAI 等公司构成挑战。 目前尚不清楚 Code Llama 是否与 CodeCompose 有关。CodeCompose

2024-03-01

根据 The Information 的报道,Meta 计划在 7 月发布最新版本的大语言模型 —— Llama 3。 Meta 的一位员工透露,由于研究人员尚未开始对模型进行微调,因此公司尚未决定Llama 3是否是多模态的。Meta员工还说,Llama 3最高可能拥有超过1

2024-07-25

今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、70B 及 405B  参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面,该模型选择标准的仅解码器 transformer 模型架

2023-06-09

其他不法行为,从而造成伤害。因此在信中质询了 Meta 在发布 LLaMA 之前是如何评估的风险、采取了哪些措施来防止该模型被滥用,以及如何根据其不受限制的可用性更新政策和实践。 “Meta 发布了其高级 AI 模型 LLaMA,似乎没有

2023-09-12

道,Meta 正在寻求在生成式 AI 领域与 OpenAI 展开竞争,将发布新的开源大模型,其性能或将与GPT-4 不相上下。 报道称,这款新模型比 Llama 2 强大数倍,将提供文本、图像生成以及分析等功能。目前该模型正处于开发之中,最终

2023-07-14

根据英国《金融时报》的报道,Meta 准备发布其人工智能模型 LLaMA 的商用版本,允许初创公司和企业在该技术的基础上构建定制软件。 此举将使 Meta 与微软支持的 OpenAI 和谷歌展开竞争。今年早些时候,Meta 面向研究人员和学

2023-08-26

ode Llama 完全免费,可用于研究和商业用途,并已在 GitHub 发布:https://github.com/facebookresearch/codellama。 Code Llama 基于 Llama 2 大语言模型打造,提供了三种模型: Code Llama - 基础代码模型 Code Llama - Python - 专门针对 Python 进行优

2023-10-28

众所周知的最大贡献者之一。仅今年它就向人工智能社区发布了大量人工智能模型和训练数据集。其中包括针对编程任务优化的 Code Llama 大语言模型; 可实现数百种语言通用按需翻译的 SeamlessM4T 模型; 用于创作音乐和声音的生

2024-07-25

Meta 在今天凌晨正式发布新一代开源大模型 Llama 3.1 系列。与此同时,Meta 创始人兼首席执行官马克·扎克伯格也发布了一封名为“Open Source AI Is the Path Forward”的公开信,描绘了 AI 发展的未来愿景。 他以闭源版 Unix 和开源 Linux

2023-02-28

A 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。

2024-07-26

继 Meta 昨天发布最强开源大模型 Llama 3.1 后,法国 AI 初创公司 Mistral AI 也加入了竞争,今天发布了全新的旗舰开源模型 Mistral Large 2。 该模型拥有 1230 亿个参数,可在单个 H100 节点上以高吞吐量运行,在代码生成、数学

2023-07-27

基于 Llama 2 的全新跨语言对话模型。 Llama 2 是 Meta 最新发布的模型基座,它的数据比前一代模型更为充分,且对月活7亿以下的商用予以支持。这意味着,更多的公司和团队可以使用这个模型进行商业开发,推动各类应用的普及

2023-10-18

员工占比近70%,研发人员占比超80%。 目前,百川智能已发布 Baichuan-7B/13B,Baichuan2-7B/13B 四款开源可免费商用大模型及 Baichuan-53B、Baichuan2-53B 两款闭源大模型,平均每 28 天发布一款新的大模型。 公告称,Baichuan-7B/13B两款开源