ChatGPT 持续火热,大型科技公司争先恐后地涌入 AI 军备竞赛中,这也为 AI 领域又带来了一个新的模型与潜在竞争对手 —— LLaMA。
LLaMA 语言模型全称为 "Large Language Model Meta AI",是 Meta 近日公布的一个全新的大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为 70 亿、130 亿、330 亿和 650 亿参数不等)。
值得注意的是,其中 LaMA-13B(130 亿参数的模型)尽管模型参数相比 OpenAI 的 GPT-3(1750 亿参数) 要少了十几倍,但在性能上反而可以超过 GPT-3 模型。更小的模型也意味着开发者可以在 PC 甚至是智能手机等设备上本地运行类 ChatGPT 这样的 AI 助手,无需依赖数据中心这样的大规模设施。
项目成员 Guillaume Lample 表示:
与 Chinchilla、PaLM 或 GPT-3 不同,我们只使用公开的数据集,使我们的工作与开源兼容并可重现,而大多数现有模型依赖的数据要么不公开,要么没有记录。
目前 LLaMA 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。