根据 The Information 的报道,Meta 计划在下周推出两款小型的 Llama 3 模型,为即将在今年夏季发布的正式版 Llama 3 模型预热。
Meta 相信,这两款小模型的发布有助于激发人们对于Llama 3 模型的兴趣。Meta希望Llama 3能赶上OpenAI的GPT-4,后者能根据用户上传到聊天机器人上的图片回答问题。正式版的Llama 3 将支持多模态,它将能够理解并生成文本和图像。相比之下,下周发布的两款小型机将不具备多模态功能。
一般而言,较小的模型成本更低,运行更快,尤其在运行大型模型成本高昂的当下,其价值尤为凸显。小型模型还便于开发者在移动设备上开发人工智能软件。
Meta 此前发布了三种 Llama 2 模型,其中最大的模型有 700 亿个参数,这些参数设置编码了模型在训练过程中的学习内容。另外两个模型分别有 130 亿个参数和 70 亿个参数。而最近几个月,Meta 公司的领导认为 Llama 2 在回答有争议的问题时过于保守,因此该公司生成 AI 部门的员工一直在努力让 Llama 3 更开放地回答有争议的问题。
据报道,Meta 或将会在今年7月之后发布正式版的Llama 3大模型,该版本的 Llama 3 可能拥有超过 1400 亿个参数。