阿里云开源通义千问 720 亿参数模型 Qwen-72B


今天,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。

地址:https://modelscope.cn/models/qwen/Qwen-72B/

据介绍,Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。

通义千问-72B (Qwen-72B) 主要特性:

  1. 大规模高质量训练语料:使用超过3万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。
  2. 强大的性能:Qwen-72B在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的开源模型。具体评测结果请详见下文。
  3. 覆盖更全面的词表:相比目前以中英词表为主的开源模型,

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。

来源:https://mp.weixin.qq.com/s/lFeZToVywbkDUvKhsrKY7A


相關推薦

2023-11-01

Android 版本),用户开始可以下载相关APP进行体验。 阿里云CTO周靖人宣布,将在11月开源通义千问720亿参数模型,继续支持全球开发者开展模型和应用创新。 阿里云是国内最早开源自研大模型的头部科技企业,已先后开源

2023-09-26

阿里云宣布开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。据阿里云CTO周靖人介绍,Qwen-14B在多个权威评测中超越同等规模模型,部分指标甚至接近Llama2-70B。 Qwen-14B是一款支持多种语言的高性能开源模

2023-08-26

26 日「源创会」北京站,聊聊 AI 大模型与底层技术 >>> 阿里云推出大规模视觉语言模型Qwen-VL,并宣布直接开源。 开源地址 ModelScope魔搭社区: Qwen-VL:https://modelscope.cn/models/qwen/Qwen-VL/summary Qwen-VL-Chat:https://modelscope.cn/m

2023-09-14

多元共进|2023 Google 开发者大会精彩演讲回顾 阿里云9月13日宣布,通义千问大模型已首批通过备案,正式向公众开放。 用户可登录通义千问官网 (https://qianwen.aliyun.com) 体验,企业用户可以通过阿里云调用通义千问 API (https:/

2023-09-27

OpenAI 的 GPT-3.5 ,GPT-4 Anthropic 的 Claude instant, Claude 2.0 阿里的通义千问 百度的文心一言 科大讯飞的讯飞星火 商汤日日新 腾讯混元大模型 开源大模型 Llama2 70B 开源大模型 Llama2 7B 中文版 开源大模型 ChatGLM2 6B 开源

2023-08-31

可观测领域的神器 or 鸡肋? 阿联酋研究团队近日宣布开源阿拉伯语大模型 Jais。 Jais 是一个经过 130 亿个参数预训练的阿拉伯语和英语双语大型语言模型,在包含 720 亿个阿拉伯语词块和 2790 亿个英语/代码词块的数据集上进

2023-09-22

司“智谱AI”于近日完成 B-4 轮融资。其中,腾讯战投、阿里巴巴战投等多家机构参与投资。该轮融资完成后,智谱AI的估值达到约10亿美金。 对此,智谱 AI 方不予置评,腾讯集团和阿里云智能集团则回复称已参与投资。在此之

2023-10-18

> 百川智能宣布已完成A1轮战略融资,融资金额3亿美元,阿里、腾讯、小米等科技巨头及多家顶级投资机构均参与了本轮融资。加上天使轮的5000万美元,百川智能的融资金额已达3.5亿美元。 百川智能成立于2023年4月10日,由前

2022-09-06

户带来高效的从训练到落地的完整体验。 EasyNLP 已经在阿里巴巴内部支持 10 多个 BU 的业务,同时在阿里云上提供了 NLP 解决方案和 ModelHub 模型帮助用户解决业务问题,也提供用户自定义模型服务方便用户打造自研模型。在经过

2023-10-21

自主创新基金(君联资本为基金管理人)、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构及包括君联资本在内的部分老股东跟投,华兴担任独家财务顾问。公告称,上述融资将用于基

2023-06-25

更高质量的模型。 开发者可以从 Hugging Face 下载并使用开源的 MPT-30B 基础模型,开发者还可以在自己的硬件上用自己的数据对模型进行微调。

2023-09-06

言模型以及绘图模型的 APP, 采用 Flutter 开发,代码完全开源,支持以下功能: 支持 GPT-3.5/4 问答聊天 支持国产模型:通义千问,文心一言 支持文生图、图生图、超分辨率、黑白图片上色等功能,集成 Stable Diffusion 模型,

2023-06-10

其 RedPajama 7B 已完成所有训练,并在 Apache 2.0 许可下全部开源。 RedPajama 是一个开源可商用大模型项目,由 TOGETHER 联合蒙特利尔大学的 AAI CERC 实验室、EleutherAI 和 LAION 共同发起。目前包括一个基于 LLaMA 论文的 RedPajama 基础数据

2023-11-08

于 POE,它是一款集成了主流大语言模型以及绘图模型的开源 APP。如果你还不知道它,那么可以简单看看这篇文章 花了小半年开发了一个 AI 套壳 APP,然而大势已过,直接开源了。 AIdea 项目前后端所有代码均采用 MIT 协议开源。