Databricks 开源 LLM,训练只需三个小时、30 美元


大数据分析公司 Databricks Inc 近日也加入了生成式 AI 领域的竞争之中,发布了一个名为 Dolly 的开源大型语言模型,将模型命名为 Dolly 是为了向第一只克隆羊多莉致敬。

像 ChatGPT 和 Bard 这样的生成式 AI,它们使用的数据通常来自于在成千上万不同网站,使用的数据量十分惊人,而且想要使用这些数据训练 AI 还需要数以千计的强大 GPU 在背后提供支持。

Databricks 希望通过开源 Dolly 及其训练数据,让任何人都能开发出一个真正像人类的 AI,而无需投资数百万美元,也让这类 AI 不再是只有大型科技公司才能负担得起的东西,数以百万计的小公司也将能够从中受益。

除此之外,让各个小公司构建自己的模型,而不将数据通过 API 发送给专有模型背后的服务提供商,也可以保护小公司的敏感数据和专有的知识产权。此外,一些公司可能在模型质量、成本和期望行为方面有不同的权衡,这些公司也可以根据需求调整模型。

Databricks 首席执行官 Ali Ghodsi 表示,Dolly 只需要非常少的数据和非常短的时间就能完成训练。

只需 30 美元、一台服务器和三个小时,我们就能教 Dolly 开始进行人类级别的交互。

Databricks 没有从头开始创建自己的模型,而是基于 EleutherAI 在 2021 年开源的自然语言处理模型 —— GPT-J。GPT-J 是一个基于 GPT-3,由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练,并且能够与类似规模的 GPT-3 模型相媲美。

Databricks 说,尽管模型小得多,只有 60 亿个参数,以及较小的数据集和训练时间(ChatGPT 的参数是 1750 亿个),但 Dolly 仍然表现出了 ChatGPT 所展示的同样的 "神奇的人类互动能力"。

Databricks 目前已经在 GitHub 上开源了一个简单的 Databricks notebook,开发者可以使用它在 Databricks 上自己构建 Dolly。


相關推薦

2023-06-28

27 日早间,大数据巨头 Databricks 宣布已签署最终协议,将以 13 亿美元收购生成式 AI 创业公司 MosaicML。此笔交易是截至目前生成式 AI 领域内所公布的最大一笔收购案。 收购完成之后,MosaicML 将成为 Databricks Lakehouse 平台的一部分

2023-07-27

师、高级工程师、主管工程师以及首席工程师。 其中,Databricks 的初级工程师薪资最高,总薪酬中位数为 27.42 万美元;报告称,此举表明该公司从一开始就致力于吸引顶尖人才。其次分别为 Flexport 和 Snowflake,两者的总薪酬

2023-07-01

平台,总部位于旧金山;其联合创始人兼 CEO 杨超予曾是 Databricks 的早期软件工程师。BentoML 提供了一个高层次的 API,抽象出在云上运行 AI 模型所需的基础设施的细节,旨在使开发 AI 服务更加顺畅。具体来说,BentoML 的目标是训

2023-09-16

23 Google 开发者大会精彩演讲回顾 数据和人工智能公司 Databricks 宣布完成由 T. Rowe Price Associates 领投的第一轮融资。本轮融资共筹集了超过 5 亿美元的资金,使得公司估值达到 430 亿美元,每股定价为 73.50 美元。 本轮融资由 T

2023-01-04

pe,薪资为 26.6 万美元。Apache Spark 背后的商业化公司 Databricks 排在第 6 位,薪资水平为 22.1 万美元。 中级工程师职位方面,Databricks 最高,中位数薪资 44.3 万美元。其次是通用汽车旗下自动驾驶子公司 Cruise 

2023-07-08

好的服务。昇腾AI云服务单集群提供2000P Flops算力,千卡训练30天长稳率达到90%,为业界提供稳定可靠的AI算力,让大模型触手可及。 华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0 张平安表示:“盘古大模型要让每个

2023-10-10

,贾佳亚团队联合MIT发布的新技术和新模型悄然登上各大开源网站的热榜:hugging face热榜第一、paperwithcode热度第一,Github全部python项目热度第五、github stars一周内破千,Twitter上的相关技术帖子浏览量近18万...... github stars已达1

2023-06-25

更高质量的模型。 开发者可以从 Hugging Face 下载并使用开源的 MPT-30B 基础模型,开发者还可以在自己的硬件上用自己的数据对模型进行微调。

2023-04-04

atGPT 的训练和架构细节仍不清楚,阻碍了该领域的研究和开源创新。受 Meta LLaMA 和 Stanford Alpaca 项目的启发,来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的成员,共同推出了一个 Vicuna-13B 开源聊天机器人

2023-10-26

InfoWorld 公布了 2023 年最佳开源软件榜单,旨在表彰年度领先的软件开发、数据管理、分析、人工智能和机器学习开源工具。 InfoWorld 是致力于引领 IT 决策者走在科技前沿的国际科技媒体品牌,每年 InfoWorld 都会根据软件对开源

2022-10-19

able Diffusion 获得关注的同时,它也引发了不小的争议,其开源版本已被用于创建各种暴力、色情、deepfakes 等负面内容。由于 Stable Diffusion 也有潜在的知识产权纠纷,不少图片平台也开始禁止用户上传由 Stable Diffusion 等 AI 系统生

2023-10-18

【源创会预告】1024 程序员节(的前两天),相约开源PHP办公室,我们一起聊 AI!>>> stateof.ai 发布了 2023 年度人工智能现状报告 (State of AI Report 2023)。 这份报告由英国知名风投公司 Air Street Capital 的合伙人 Nathan Benaich 等作

2023-07-13

的 GPT-4 大模型进行了大揭秘,其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型 (Mixture of Experts, MoE) 等非常具体的参数和信息。 文章作者之一正是此前爆料谷歌内部文件《

2023-06-29

们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧! 重要更新 最新音频课程现已发布 近期,我们发布了一个音频