智谱 AI 官宣:ChatGLM2-6B 可免费商用


中英双语大模型 ChatGLM2-6B 开发团队——智谱AI&清华KEG昨晚宣布即日起 ChatGLM-6B 和 ChatGLM2-6B 权重对学术研究完全开放,并且在完成企业登记获得授权后,允许免费商业使用

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了如下新特性:

  • 更强大的性能:基于 ChatGLM 初代模型的开发经验,全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。
  • 更长的上下文:基于 FlashAttention 技术,项目团队将基座模型的上下文长度(Context Length)由 ChatGLM-6B 的 2K 扩展到了 32K,并在对话阶段使用 8K 的上下文长度训练,允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限,我们会在后续迭代升级中着重进行优化。
  • 更高效的推理:基于 Multi-Query Attention 技术,ChatGLM2-6B 有更高效的推理速度和更低的显存占用:在官方的模型实现下,推理速度相比初代提升了 42%,INT4 量化下,6G 显存支持的对话长度由 1K 提升到了 8K。

示例对比

相比于初代模型,ChatGLM2-6B 多个维度的能力都取得了提升,以下是一些对比示例。

数理逻辑

知识推理

长文档理解


相關推薦

2023-07-22

作智谱 AI,共研千亿级大语言模型 360GLM 智谱 AI 官宣:ChatGLM2-6B 可免费商用

2023-06-29

即刻体验百川-7B 模型: https://hf.co/spaces/ysharma/baichuan-7B ChatGLM2-6B 重磅发布,荣登 Hugging Face 趋势榜单之首! ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特

2023-07-27

eGeeX2 是多语言代码生成模型 CodeGeeX 的第二代模型,基于 ChatGLM2 架构注入代码实现。 我们希望每一位程序员,都能在自己机器上跑上一个自己的编程助手。为实现这一目标,我们现将「代码生成模型 CodeGeeX2-6B」开源。同时我

2023-09-27

汤日日新,腾讯混元大语言模型 开源大模型:Llama2 ,ChatGLM2 ,AquilaChat 7B ,Bloomz 7B 等,后续还将开放更多 文生图、图生图、超分辨率、黑白图片上色等功能,集成 Stable Diffusion 模型,支持 SDXL 1.0 今天最新版本的 1.0.5 发布

2023-09-01

介绍,该助手基于智谱 AI 自主研发的中英双语对话模型 ChatGLM2,经过万亿字符的文本与代码预训练,并采用有监督微调技术,以通用对话的形式为用户提供智能化服务。 「智谱清言」可作为用户的智能助手在工作、学习和日常

2024-10-15

基于大模型 LLM && RAG 的智能客服 支持Ollama 智谱AI AI助手 更适合团队使用,一人配置,多人使用。完美权限控制,即可私用,也可公用 在线客服:跟客户聊 支持多渠道: 平台渠道:Web/H5/React/Android/iOS/U

2024-09-26

解并充分利用其优势。” (开源PHPCTO刘冬)   在智谱AI算法工程师张昱轩主题分享环节,他对智谱的开源生态进行了全面的介绍。 今年以来,智谱已陆续发布了多个开源模型和数据集,例如文本模型 GLM-4-9B 以及基于其训

2024-10-31

in 深度操作系统也迎来了革命性的升级。2023年9月,deepin 官宣正式接入大模型,发布 UOS AI,将 AI 的强大能力融入 deepin 深度操作系统中,多款自研应用迎智能化升级。 “UOS AI 实现了国内外主流大模型的能力接入,并封装成

2023-09-22

要被干掉? 36氪从多名独立信源处获悉,大模型公司“智谱AI”于近日完成 B-4 轮融资。其中,腾讯战投、阿里巴巴战投等多家机构参与投资。该轮融资完成后,智谱AI的估值达到约10亿美金。 对此,智谱 AI 方不予置评,腾讯

2023-10-21

前两天),相约开源PHP办公室,我们一起聊 AI!>>> 北京智谱华章科技有限公司(简称“智谱AI”)宣布,今年已累计获得超 25 亿人民币融资。 参与方主要包括社保基金中关村自主创新基金(君联资本为基金管理人)、美团、

2023-09-08

能。 该助手基于智谱 AI 自主研发的中英双语对话模型 ChatGLM2,经过万亿字符的文本与代码预训练,并采用有监督微调技术,以通用对话的形式为用户提供智能化服务。“智谱清言” 作为用户的智能助手,可在工作、学习和日

2023-09-22

能四世同堂,凭什么开发 30 岁就要被干掉? deepin 正式官宣已实现大模型能力接入,多款自研应用软件实现智能化升级。 统信软件高级副总经理、CTO张磊表示:“目前UOS AI实现了国内外主流大模型的能力接入,并封装成deepin

2024-08-22

;并且市场格局也主要还是由早期投入者如百度、商汤、智谱、百川等公司构成。 进入2024年,头部互联网公司加大对大模型的投入且发起价格战,为早期的大模型初创企业带来一定的竞争压力。预计未来 2-3 年,市场格局将发

2024-10-01

大模型价格战再起波澜。智谱AI宣布开启最大力度活动,最低 1 折调用开放平台bigmodel.cn所有模型,期间每位用户还将获赠 1 亿tokens 额度。 “国庆月,我们为 bigmodel.cn 新老用户准备了「百万用户每人赠送1亿token」+「1-5折API调