腾讯开源轻量级混元-A13B 模型


腾讯宣布开源混元大模型家族的新成员——混元-A13B模型。该模型采用基于专家混合(MoE)架构,总参数规模达800亿,激活参数为130亿。

公告称,该模型在保持顶尖开源模型效果的同时,大幅降低了推理延迟与计算开销。对个人开发者和中小企业来说,极端条件下仅需1张中低端GPU卡即可部署。

在性能表现上,混元-A13B模型在数学、科学和逻辑推理任务中展现出领先效果。例如,在数学推理测试中,模型能够准确完成小数比较并展现分步解析能力。对于时下热门的智能体(Agent)应用,模型可调用工具,高效生成出行攻略、数据文件分析等复杂指令响应。

根据介绍,预训练中,混元-A13B模型使用了20万亿高质量网络词元语料库,提升了模型推理能力的上限;完善了MoE 架构的 Scaling Law (即规模定律)理论体系,为 MoE 架构设计提供了可量化的工程化指导,提升了模型预训练效果。

用户可以按需选择思考模式,快思考模式提供简洁、高效的输出,适合追求速度和最小计算开销的简单任务;慢思考模式涉及更深、更全面的推理步骤。这优化了计算资源分配,兼顾效率和准确性。

此外,混元还开源了两个新数据集。其中,ArtifactsBench主要用于代码评估,构建了一个包含 1825个任务的新基准;C3-Bench针对Agent场景模型评估,设计了1024条测试数据,以发现模型能力的不足。


相關推薦

2023-08-05

根据多家媒体的报道,腾讯自研的“腾讯混元大模型”已经进入应用内测阶段。腾讯员工近期收到了内部邮件邀请,可以通过网页或者小程序体验混元大模型,腾讯内部多个业务也已经接入混元大模型进行测试。 腾讯表示,从

2025-04-19

腾讯混元宣布开源定制化图像生成插件 InstantCharacter,并实现了对开源文生图模型Flux的兼容。“通过这个插件,在大模型中,只需要一张图加一句话,你可以让任何角色以你想要的姿势出现在任何地方。” 示例: 输入原始图

2025-03-29

AIGC 社区。 本次开源的Turbo加速系列、多视图推理模块及轻量级mini模型,均基于Hunyuan 3D 2.0模型,组成了包含6大模型的Hunyuan 3D 2.0 家族。 轻量级模型 Hunyuan3D-2mini:通过模型剪枝大幅度减少模型参数,与 1 月份开源版本相比

2025-05-23

腾讯混元宣布模型矩阵全面升级: 旗舰快思考模型混元TurboS、深度思考模型混元T1升级,并基于TurboS基座,腾讯新推出视觉深度推理模型T1-Vision和端到端语音通话模型混元Voice 腾讯混元图像2.0、腾讯混元3D v2.5及混元游戏视

2024-05-18

5月17日上午,在腾讯生成式AI产业应用峰会上,腾讯副总裁、腾讯混元大模型负责人蒋杰透露称,将在今年三季度开源混元最核心的文生文模型。 蒋杰称,腾讯内部正在训练三种尺寸(S、M、L)的文生文模型供开源使用, S

2025-05-15

社交媒体上宣布,他与WizardLM团队已离开微软,并加入了腾讯混元(Tencent Hunyuan)团队。他们将继续致力于推动大型语言模型(LLM)的训练技术发展,并构建更优质的AI模型。 Can Xu提及,腾讯最新的Hunyuan-Turbos模型在lmarena.a

2025-05-16

微软的人工智能研究团队 WizardLM,近日被爆出已整体加入腾讯 AI 实验室旗下的“混元”团队。多位核心研究人员在社交平台 X(原推特)上宣布了这一动向。 在周二的帖子中,曾领导多个 WizardLM 项目的微软高级研究员 Can Xu 表

2025-05-10

腾讯混元宣布正式推出并开源全新的多模态定制化视频生成工具 HunyuanCustom。HunyuanCustom 融合了文本、图像、音频、视频等多模态输入生视频的能力,是一款具备高度控制力和生成质量的智能视频创作工具。 HunyuanCustom 整体架构

2023-09-07

微信今天宣布,现已上线「腾讯混元助手」小程序。小程序页面显示,腾讯混元助手目前仅向受邀用户开放。 可以看到,腾讯的 AI 大模型被命名为“腾讯混元大模型”,「腾讯混元助手」则是基于该大模型的多模态对话 Bot

2025-05-01

腾讯对其混元大模型研发体系进行了全面重构,围绕算力、算法和数据三大核心板块,刷新团队部署,加码研发投入。 调整后,腾讯成立两个新的部门:大语言模型部和多模态模型部,分别负责探索大语言模型和多模态大模

2025-05-17

腾讯混元图像2.0模型(Hunyuan Image2.0)已正式发布。该模型主要有两大特点:实时生图、超写实画质。目前已在腾讯混元官方网站上线(https://hunyuan.tencent.com/),并对外开放注册体验。 官方数据显示,在图像生成领域专门测试

2025-03-21

腾讯混元通过官方公众号宣布,全新的推理模型 T1 将于本周五(北京时间 3 月 21 日 23 时)正式发布。 与此同时,腾讯宣布,混元大模型首次登上 Chatbot Arena 榜单,跻身全球 Top 15。用户在该平台上以匿名方式与多个模型互动

2025-05-23

年初,腾讯混元 TurboS “快思考模型”正式发布,作为业界首款大规模混合 Mamba-MoE 模型,其在效果与性能上展现了出显著优势。这一突破得益于预训练阶段的 tokens 增训,以及后训练阶段引入长短思维链融合技术。 近日,腾

2025-03-20

3月19日,腾讯2024年第四季度及全年业绩新闻发布上,腾讯总裁刘炽平透露,从2月到3月,元宝的日活跃用户(DAU )增长了20倍,成为了中国DAU排名第三的AI原生移动应用。 另外,腾讯董事会主席兼首席执行官马化腾透露,腾讯