Meta 下周将发布两款小型的 Llama 3 模型


根据 The Information 的报道,Meta 计划在下周推出两款小型的 Llama 3 模型,为即将在今年夏季发布的正式版 Llama 3 模型预热。

Meta 相信,这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4,后者能根据用户上传到聊天机器人上的图片回答问题。正式版的Llama 3 将支持多模态,它将能够理解并生成文本和图像。相比之下,下周发布的两款小型机将不具备多模态功能。

一般而言,较小的模型成本更低,运行更快,尤其在运行大型模型成本高昂的当下,其价值尤为凸显。小型模型还便于开发者在移动设备上开发人工智能软件。

Meta 此前发布了三种 Llama 2 模型,其中最大的模型有 700 亿个参数,这些参数设置编码了模型在训练过程中的学习内容。另外两个模型分别有 130 亿个参数和 70 亿个参数。而最近几个月,Meta 公司的领导认为 Llama 2 在回答有争议的问题时过于保守,因此该公司生成 AI 部门的员工一直在努力让 Llama 3 更开放地回答有争议的问题。

据报道,Meta 或将会在今年7月之后发布正式版的Llama 3大模型,该版本的 Llama 3 可能拥有超过 1400 亿个参数。


相關推薦

2023-08-19

码的软件,名为 Code Llama。 据称 Code Llama 最早或在下周推出,这是一款开源软件,构建在 Llama 2 的基础之上。如果消息属实,Code Llama 将会对 OpenAI 等公司构成挑战。 目前尚不清楚 Code Llama 是否与 CodeCompose 有关。CodeCompose

2024-03-01

根据 The Information 的报道,Meta 计划在 7 月发布最新版本的大语言模型 —— Llama 3。 Meta 的一位员工透露,由于研究人员尚未开始对模型进行微调,因此公司尚未决定Llama 3是否是多模态的。Meta员工还说,Llama 3最高可能拥有超过1

2023-06-09

其他不法行为,从而造成伤害。因此在信中质询了 Meta 在发布 LLaMA 之前是如何评估的风险、采取了哪些措施来防止该模型被滥用,以及如何根据其不受限制的可用性更新政策和实践。 “Meta 发布了其高级 AI 模型 LLaMA,似乎没有

2023-09-12

道,Meta 正在寻求在生成式 AI 领域与 OpenAI 展开竞争,将发布新的开源大模型,其性能或将与GPT-4 不相上下。 报道称,这款新模型比 Llama 2 强大数倍,将提供文本、图像生成以及分析等功能。目前该模型正处于开发之中,最终

2023-07-14

根据英国《金融时报》的报道,Meta 准备发布其人工智能模型 LLaMA 的商用版本,允许初创公司和企业在该技术的基础上构建定制软件。 此举将使 Meta 与微软支持的 OpenAI 和谷歌展开竞争。今年早些时候,Meta 面向研究人员和学

2023-08-26

ode Llama 完全免费,可用于研究和商业用途,并已在 GitHub 发布:https://github.com/facebookresearch/codellama。 Code Llama 基于 Llama 2 大语言模型打造,提供了三种模型: Code Llama - 基础代码模型 Code Llama - Python - 专门针对 Python 进行优

2023-10-28

众所周知的最大贡献者之一。仅今年它就向人工智能社区发布了大量人工智能模型和训练数据集。其中包括针对编程任务优化的 Code Llama 大语言模型; 可实现数百种语言通用按需翻译的 SeamlessM4T 模型; 用于创作音乐和声音的生

2023-02-28

A 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。

2023-07-27

基于 Llama 2 的全新跨语言对话模型。 Llama 2 是 Meta 最新发布的模型基座,它的数据比前一代模型更为充分,且对月活7亿以下的商用予以支持。这意味着,更多的公司和团队可以使用这个模型进行商业开发,推动各类应用的普及

2023-10-18

员工占比近70%,研发人员占比超80%。 目前,百川智能已发布 Baichuan-7B/13B,Baichuan2-7B/13B 四款开源可免费商用大模型及 Baichuan-53B、Baichuan2-53B 两款闭源大模型,平均每 28 天发布一款新的大模型。 公告称,Baichuan-7B/13B两款开源

2023-10-26

Language Model Evaluation Harness 当一个新的大语言模型(LLM)发布时,通常都会被进行评估,将该模型与 ChatGPT 在某个基准上进行比较,很多公司可能会使用 lm-eval-harness 来生成评估分数。lm-eval-harness 由分布式人工智能研究所 Eleuther

2023-12-02

今天,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。 地址:https://modelscope.cn/models/qwen/Qwen-72B/ 据介绍,Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70

2023-04-04

大型语言模型 (LLM) 的快速发展彻底改变了聊天机器人系统,从而实现了前所未有的智能水平,譬如 OpenAI 的 ChatGPT。但 ChatGPT 的训练和架构细节仍不清楚,阻碍了该领域的研究和开源创新。受 Meta LLaMA 和 Stanford Alpaca 项目的启发

2023-09-13

Meta 前工程师,他此前将 GitHub 上火热的纯 C 语言实现的llama2.c项目移植到了 Python ——llama2.py。 上周 Mojo 编程语言正式开放下载,并且声称比 Python 快 68000 倍。 于是 Aydyn Tairov 马不停蹄地就开始将llama2.py移植到 Mojo——