1000 多名研究人员参与,BigScience 开源迄今最大规模语言模型


BigScience 的研究人员近日发布了一个名为 Bloom 的自然语言处理模型,该模型具有 1760 亿个参数,一举超越市面上的所有竞争对手,成为目前规模最大的语言模型。

该项目始于去年,由人工智能初创公司 Hugging Face Inc.(最近融资了 1 亿美元)与法国研究机构 CNRS 和 GENCI 合作,他们共同成立了一个名为 BigScience 的研究小组来领导 Bloom 的开发。该项目汇集了 70 多个国家/地区、250 多个机构、1000 多名研究人员参与开发。

语言模型的开发成本历来很高,以现在知名度很高的 GPT-3 为例,其成本高达 2760 万美元。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。

除此之外,这类大型科技公司开发的语言模型在使用上也有一些限制条件,比如 OpenAI 开发的 GPT-3 并不开源;Meta 开发的 OPT-175B 虽然开源,但完整的模型只有在提出申请后才能获得,并且只能用于非商业用途。而 Bloom 就完全不同,并没有这些限制,任何个人或机构都可以免费获得 1760 亿个参数的完整模型。

Bloom 拥有 1760 亿个参数,一个人工智能系统包含的此类参数越多,它能够执行的任务就越高级。所以 Bloom 目前支持 46 种语言(包括中文)和 13 种编程语言,可以用来回答问题、翻译文本、从文件中提取信息片段,还能像 GitHub Copilot 一样用于生成代码。

BigScience 的研究人员使用巴黎附近的 Jean Zay 超级计算机对 Bloom 进行了训练。这台超级计算机配备了英伟达专为 AI 优化的显卡,其最高速度超过 28 petaflops,其中 1 petaflop 等于每秒 1 千万亿次的计算量。

在未来,该研究小组计划开发一个具有更先进功能的新版 Bloom。BigScience 还打算增加对更多语言的支持,优化人工智能,使其更容易在公司自己的基础设施上运行。除此之外,他么还会积极研究并消除这类模型对宗教、性别、种族和残障人士所怀有的偏见。

Bloom 项目的代码放在了 Hugging Face 的官网上(链接),并没有放在常见的 GitHub 等代码托管平台。


相关文章

2022-05-19

国桌面操作系统根社区正当其时。希望有更多的优秀企业参与开源,为我国网信事业发展贡献力量。”沈昌祥院士表示。 开放原子开源基金会秘书长孙文龙在致辞中表示,操作系统生态发展需要开放多元的社区环境、共享共建

2022-05-21

;2021 年 12 月至 2022 年 2 月期间对 166 个国家/地区的 20,000 多名开发者进行调查的数据。 报告指出,JavaScript 已经连续十次在该调查中占据最受欢迎的语言位置;社区持续增长,目前全球共有近 1750 万开发人员在使用。自两年前

2022-05-12

,该公司在去年实现了快速增长,其社区现已发展到 8 万多名开发者(大多来源于财富 500 强),他们在该服务上创建了超过 10 万个数据库,并且在过去 12 个月内增长了 1900% 。 通过这次 B 轮融资,Supabase 计划继续坚持不懈地

2022-09-08

美元,该轮融资由 PSG 牵头,当前投资者 Battery Ventures 也参与其中。在此轮融资后,还不清楚 Bitwarden 目前的估值。 我们曾在《开源观止》七月刊和 Awesome 软件板块中推荐过 Bitwarden 总部位于加州圣巴巴拉的 Bitwarden 成立于

2022-07-08

句子都由专业翻译和母语人士从英语翻译成目标语言。 研究人员通过他们的模型运行这些句子,并使用机器翻译中常见的 BLEU 基准将机器翻译与人类翻译的参考句子进行比较。测试表明,新的 NLLB-200 模型在支持的语言中获得了

2022-09-06

自研模型。在经过内部业务打磨之后,我们将EasyNLP 推向开源社区,希望能够服务更多的 NLP 算法开发者和研究者,也希望和社区一起推动 NLP 技术特别是中文 NLP 的快速发展和业务落地。 开源项目地址:https://github.com/alibaba/EasyN

2022-09-19

4 月 25 日至 5 月 14 日,基于来自 133 个国家和地区的 3493 参与者所提供的信息,人群涵盖学者、行业专业人士和学生。其中大约 16% 的受访者被认定为数据科学家。 数据显示,大约 33% 的接受调查的行业专业人士表示他们没有缩

2021-12-20

al Evans 甚至还提出一条非常“实际”的建议:如果你坚持参与一个会议两年,第三年你将可以提交演讲并成为演讲者。 PHP 在全球范围内的会议和社区数量都很多。最早一次全球性的 PHP 会议在日本举行,此后,国际性 PHP

2022-09-08

时我们十分欢迎和期待对开源社区建设感兴趣的同行一起参与共建。 自监督技术和Transformer结合,探索更高效的预训练模型 轻量化Transformer,基于训练推理的联合优化,推动Transformer在实际业务场景落地 基于多模态预训练

2022-05-24

您可以查看 DevLake 已支持数据的详细文档,同时非常欢迎参与贡献新的数据源插件! 标准化研发数据模型和开箱即用的效能指标 研发过程数据的标准化程度低,用户难以直接使用这些数据进一步分析;而效能指标定义与计算

2022-09-20

tes,要找到适合的则需要付出很多努力,或者说要很好地参与到社区中去。随着越来越多不是社区积极参与者用户的出现,以及 crate 数量的增加,这将成为一个更大的问题。 5、The async ecosystem 异步编程对于 Rust 目标的许多领

2022-04-12

DevOps 程序一样,Puppet 可以自动编写手动脚本。该程序有开源和开放核心的商业版本;有自己的同名语言,Puppet。这种语言是用 Ruby 编写的,你还可以将 Ruby 与 Puppet 一起使用。和 Windows PowerShell 或 Unix 和 Linux 的 Bash 不同的是,

2021-11-23

展的核心支柱,一直延续至今。开放协作,赋予了开发者参与开源项目最大程度上的自由。这种自由,在Linux 内核的开发上首次攀上了高峰。 一群极客的狂欢 Linux 内核第一次大规模吸引用户,是在 1992 年 1 月 0.12 版发布之

2022-04-01

高兴看到 Docker 凭借其新的资金重新成为这个市场的关键参与者,这只会增加那些构建平台以打造更强大的下一代应用程序之间的竞争,使开发人员和企业受益。”