阿拉伯语 AI 大模型 Jais 正式开源,参数达 130 亿


【直播预告】eBPF 到底是可观测领域的神器 or 鸡肋?

阿联酋研究团队近日宣布开源阿拉伯语大模型 Jais

Jais 是一个经过 130 亿个参数预训练的阿拉伯语和英语双语大型语言模型,在包含 720 亿个阿拉伯语词块和 2790 亿个英语/代码词块的数据集上进行训练。该模型由 Cerebras、阿联酋人工智能大学和 G42 旗下子公司 Inception 合作研发。

Jais 的命名来自阿联酋的最高峰,阿联酋人工智能大学教授 Timothy Baldwin 表示,由于没有足够的阿拉伯语数据来训练 Jais 大小的模型,因此英语数据中的计算机代码有助于训练模型的推理能力。

目前这款模型现已开源,用户可以从 HuggingFace 获取。

https://huggingface.co/inception-mbzuai/jais-13b


相關推薦

2023-07-22

术成果转化而来的公司,致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型 GLM-130B,并构建了高精度通用知识图谱,形成数据与知识双轮驱动的认知引擎,基于此模型打造了 ChatGLM(chatglm.cn)

2023-10-21

华兴担任独家财务顾问。公告称,上述融资将用于基座大模型的进一步研发,更好地支撑行业生态,与合作伙伴一同高速发展。 智谱 AI 成立于 2019 年,是由清华大学计算机系技术成果转化而来的公司,致力于打造新一代认知

2023-09-22

发 30 岁就要被干掉? 36氪从多名独立信源处获悉,大模型公司“智谱AI”于近日完成 B-4 轮融资。其中,腾讯战投、阿里巴巴战投等多家机构参与投资。该轮融资完成后,智谱AI的估值达到约10亿美金。 对此,智谱 AI 方不予置

2023-04-04

司 Cerebras 宣布在 Apache-2.0 协议下开源了一个包含七个 GPT 模型的 Cerebras-GPT,参数涵盖 1.11 亿、2.56 亿、5.9 亿、13 亿、27 亿、67 亿和 130 亿。开放出来的内容包括模型架构、训练算法和权重,供研究以及商业社区免费使用。 “今

2023-11-06

2023年11月3日,昆仑万维“天工”大模型宣布通过《生成式人工智能服务管理暂行办法》备案,面向全社会开放服务! 用户在应用商店下载“天工APP”或登陆“天工官网”(www.tiangong.cn)均可直接注册使用。 官方介绍称,「天

2023-02-28

地涌入 AI 军备竞赛中,这也为 AI 领域又带来了一个新的模型与潜在竞争对手 —— LLaMA。 LLaMA 语言模型全称为 "Large Language Model Meta AI",是 Meta 近日公布的一个全新的大型语言模型(LLM),这是一个模型系列,根据参数规模进

2023-06-17

昇思MindSpore开源社区理事会成立、上海昇思AI框架&大模型创新中心正式启动及首批22家单位入驻、全模态大模型“紫东·太初2.0”正式发布等。 本次峰会以“一起昇思 无尽创新”为主题,全面聚焦人工智能框架生态发展,推

2023-09-22

30 岁就要被干掉? 360 公司官方今日宣布,360 智脑大模型全面接入 360 全家桶,正式面向公众开放。 360智脑大模型全景 用户可通过 ai.360.com 一站式登录体验 360 智脑 App、360 搜索、360 安全浏览器、LoRA360、AI 数字

2023-09-08

下紫东太初、百川智能、智谱华章等 8 家企业 / 机构的大模型产品已经首批通过《生成式人工智能服务管理暂行办法》备案,可正式上线面向公众提供服务。 具体包括: 五家北京企业机构:百度(文心一言)、抖音(云雀

2023-03-02

,文图表征预训练大模型(多语言)、EVA-CLIP(英文),阿拉伯语大模型ALM,百亿语言基础模型CPM3等。 目前,FlagAI 已经加入 Linux 基金会,吸引全球科研力量对大模型技术共同创新、共同贡献。 项目地址:https://gith

2023-07-08

演讲中,华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0和昇腾AI云服务。其中,盘古大模型3.0围绕“行业重塑”“技术扎根”“开放同飞”三大创新方向,持续打造核心竞争力,为行业客户、伙伴及开发者提供更好的服

2023-09-16

Databricks 还一直在为企业培训自己基于开放科学的大语言模型,其中最著名的是 3 月份发布的 Dolly 和 4 月份发布的 Dolly 2.0。Ghodsi 认为,B2B 生成式 AI 应用的爆发时机已经成熟。"我认为今年下半年你会看到很多这样的应用。"

2023-06-10

Apache 2.0 许可下全部开源。 RedPajama 是一个开源可商用大模型项目,由 TOGETHER 联合蒙特利尔大学的 AAI CERC 实验室、EleutherAI 和 LAION 共同发起。目前包括一个基于 LLaMA 论文的 RedPajama 基础数据集(5 TB 大小),自 4 月份发布至今

2023-09-30

国人工智能初创公司 Mistral AI 宣布推出其首款大语言模型 Mistral 7B 是一个,号称是迄今为止同规模产品中最强大的语言模型;在 Apache-2.0 许可下开源,可完全免费使用,不受任何限制。 Mistral AI 是一个成立仅六个月的初创公