阿里通义 Qwen3 开源系列模型支持 100 万 token 超长上下文 


阿里通义Qwen团队宣布,Qwen3-30B-A3B-2507 和 Qwen3-235B-A22B-2507 系列模型现已支持高达100万token的超长上下文处理。

此次升级集成了两项关键技术:Dual Chunk Attention (DCA) 和 MInference。

DCA 是一种长度外推方法,能将长序列分割成可管理的小块同时保持全局连贯性;MInference 则是一种稀疏注意力机制,通过聚焦关键token交互来降低计算开销。这些技术结合,使得模型在处理接近100万token的序列时,推理速度相比标准注意力实现可提升高达3倍。用户可以通过更新模型仓库中的 config.json 文件为 config_1m.json 来启用此功能。

官方指出,要有效处理100万token的上下文,用户将需要大约1000GB的总GPU显存。新版本与 vLLM 和 SGLang 完全兼容,便于高效部署。在1M版本的 RULER 基准测试中,更新后的模型在不同长度的上下文处理上均表现出优异的性能。


https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507


相關推薦

2025-06-18

阿里通义千问团队宣布正式开源 Qwen3 全系列 32 款 MLX 量化模型。 MLX 是开源机器学习框架,专为苹果芯片深度适配。MLX 框架可高效地训练和部署 AI 大模型,被越来越多的 AI 开发者采用。   为更好服务开发者,通义团队推

2025-06-10

根据《科创板日报》的报道,阿里通义Qwen3大模型开源一个月全球累计下载量突破1250万。 在Hugging Face、魔搭社区和Ollama等主流AI开源平台上,Qwen3的0.6B、8B、30B和32B四种尺寸模型下载量均突破百万。Hugging Face数据还显示,千问系

2025-06-28

6月26日晚,阿里巴巴集团发布2025财年年报显示,2025财年阿里巴巴集团收入达9963.47亿元,净利润同比增长77%至1259.76亿元,展现出强劲的盈利能力。在AI需求的推动下,阿里云财年收入突破双位数增长,AI相关产品收入连续七个季

2025-08-05

国际知名大模型评测 Chatbot Arena 日前公布最新榜单,Qwen3-235B-A22B-Instruct-2507 斩获 1433分,超越顶尖闭源模型 Grok4、Claude4、GPT4.1,Qwen3 位列总榜「全球第三」。 据悉,Chatbot Arena 采用盲测评价机制,是 AI 大模型领域最具影响力

2025-07-31

Qwen3-30B-A3B 模型迎来了新版本:Qwen3-30B-A3B-Instruct-2507。 这是一个非思考模式(non-thinking mode)的新模型,仅激活3B参数,就能取得可媲美 Gemini 2.5-Flash(non-thinking)、GPT-4o等顶尖闭源模型的超强性能。 Qwen3-30B-A3B-Instruct-2507&nb

2025-08-02

学和模思智能打造的MOSS-TTSD (Text to Spoken Dialogue) 近日正式开源。 这款基于Qwen3-1.7B-base模型续训练的语音对话生成模型,以约100万小时单说话人语音数据和40万小时对话语音数据为基础,采用离散化语音序列建模方法,实现了中

2025-08-07

型在面对此类长文本、高复杂度的转换任务时,容易出现上下文丢失、逻辑错乱、语法错误等问题。 评测目的:检验模型在处理超长、包含多层嵌套查询、复杂 JOIN 和临时表的 SQL 脚本时的转换准确性和逻辑保持能力。 新增指

2025-05-15

复。 亮点更新 ■ MaxKB支持接入Qwen3 2025年4月29日,阿里巴巴开源新一代通义千问模型Qwen3。Qwen3系列模型包含2个混合专家(MoE)模型和6个稠密(Dense)模型,覆盖6亿、17亿、40亿、80亿、140亿、320亿、300亿、2350亿全尺寸参数

2025-07-15

到,部分开发者在使用 Qwen3-embedding 的 GGUF 模型时,未在上下文末尾附加特殊 token<|endoftext|>,这可能会严重影响模型精度。详细信息可查阅其 Hugging Face 模型卡。 团队表示,llama.cpp 在转换 GGUF 文件时已支持自动添加此 toke

2025-05-15

力; 长文本阶段(S3)在数千亿长文本数据上训练,将上下文长度从4096扩展到32768,并采用了ABF、YARN和DCA(Dual Chunk Attention)等技术,实现了推理时4倍序列长度的扩展。 Qwen3模型在多项基准测试中表现出色,包括自然语言理

2023-11-01

Android 版本),用户开始可以下载相关APP进行体验。 阿里云CTO周靖人宣布,将在11月开源通义千问720亿参数模型,继续支持全球开发者开展模型和应用创新。 阿里云是国内最早开源自研大模型的头部科技企业,已先后开源

2024-08-17

8月15日晚间,阿里巴巴集团发布最新季度业绩,AI推动阿里云重回增长,季度营收增长6%至265.49亿元,其中AI相关产品收入实现三位数增长,公共云业务实现两位数增长。同时,阿里云利润大涨,经调整EBITA利润同比增长155%,单季

2025-03-25

国内 AI 图像创作平台 LiblibAI 近日宣布接入阿里通义系列大模型。 此次接入后,基于万相最新开源模型,LiblibAI推出了文生视频和图生视频功能。用户只需输入文本提示词,或者上传图片,就能快速生成10秒短视频。这一功能的

2025-04-26

,高级版本为 199 美元。 3 月 11 日,Manus 官方宣布将与阿里通义千问团队达成战略合作。双方将基于阿里通义千问系列开源模型,在国产模型和算力平台上实现 Manus 的功能。 公开资料显示,Manus 曾于 2024 年 11 月完成 A 轮融