我国科学家发明混合并行新算法,让 AI 训练速度翻倍


近日,西北农林科技大学信息工程学院智能计算与农业信息系统团队刘斌教授携其课题组在国际计算机体系结构领域权威期刊《IEEE Transactions on Computers》(TC,CCF A类期刊)上发表研究论文。

该论文由西北农林科技大学携手美国纽约州立大学和云南大学联合发表。西北农林科技大学信息工程学院教授刘斌担任第一作者,纪泽宇老师与云南大学副教授何臻力共同担任通讯作者,纽约州立大学教授李克勤(欧洲科学院院士,并行与分布式计算领域公认的顶尖学者,国家特聘教授)作为重要合作者,使本次研究成果更具国际影响力。

论文针对当前大规模深度卷积神经网络(DCNN)大模型训练中负载不均衡和高通信开销的难题,提出了一种创新的混合并行训练方法——GroPipe。该方法首次将流水线模型并行与数据并行相融合,构建“组内流水线+组间数据并行”的分层训练架构,并通过自动模型划分算法(AMPA)实现计算负载的动态均衡调度,大幅提升GPU资源利用率。

GroPipe方法整体框架图。西北农林科技大学供图

为了进一步降低数据并行同步通信代价,GroPipe在反向传播阶段引入“基于分组的延迟异步通信”策略,延迟梯度同步操作,有效减轻全局通信带宽压力,显著提升训练吞吐量。

实验证明,在ImageNet数据集上,GroPipe方法相较于主流方案(如DP、Torchgpipe、DAPPLE和DeepSpeed)表现出卓越优势:ResNet系列平均加速比达42.2%,VGG系列达79.2%;在BERT-base模型训练中,性能提升最高可达51%。该成果展示了GroPipe在图像与文本领域的广泛适用性。

这一成果的发表标志着西北农林科技大学在计算机体系结构领域的A类国际顶级学术期刊——《IEEE Transactions on Computers》(创刊于1952年)上实现了历史性突破。

相关论文信息:https://doi.org/10.1109/TC.2025.3566869

转载自:https://news.sciencenet.cn/htmlnews/2025/5/544895.shtm
作者:李媛 来源:中国科学报


相關推薦

2024-08-02

美融合动态图的灵活性与静态图的高效性,并支持模型的混合并行训练;再到近日,为大模型时代而锤炼的3.0版本的正式出炉!飞桨正式开启了新一代框架技术创新之路! 设计思想 深度学习框架的设计对于推动人工智能技术

2023-07-08

以获得更精确的预测结果。 华为云人工智能领域首席科学家田奇介绍如何从基础大模型炼成行业大模型 在金融领域,盘古金融大模型可以对银行的各种操作、政策、案例文档进行预训练,能根据客户的问题,为柜台工作人员

2023-08-01

30倍。 在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,百度研发团队创新了多类型

2023-10-26

适用于广告依赖型公司。《时代》杂志评选出2023年最佳发明,GPT-4、Dall-E3等入选《时代》杂志发布了2023年最佳发明榜单,包括200项突破性发明,涵盖了人工智能等领域,其中包括Adobe Photoshop的AI扩展、OpenAI的GPT-4聊天机器人以及

2023-06-14

要作用,引领人工智能框架的创新与发展。昇思首创多维混合并行技术,并具备全场景协同和全流程极简的特点,可实现一次开发云边端全场景部署、原生支持大模型训练、支持科学智能等关键特性。同时,昇思作为开源项目,

2023-05-18

加速 大规模集群并行计算 长期以来,国外为了控制我国高科技领域的发展,限制高性能的计算软件向中国用户提供。高性能数学计算库推动着科学研究的进步,也制约工程应用的效率。以下以几个典型的领域,介绍高性能

2023-10-26

行,支持 Python、Scala 和 Java。该库可帮助开发人员和数据科学家尝试使用大型语言模型,包括来自 Google、Meta、OpenAI 等的 Transformer 模型。 Spark NLP 的模型中心有 2 万多个模型和管道可供下载,用于语言翻译、命名实体识别、文

2025-05-09

查询性能。 其他改进包括通过文本/语义搜索集成改进混合搜索性能、增强引擎内性能监控等。 使用 protobuf 和 gRPC 提升数据传输性能 OpenSearch 3.0 在客户端和服务器之间实现了更高性能的数据传输,实验性支持通过 gRPC 传输

2025-03-30

在人工智能快速发展的今天,我们使用的AI助手如何「思考」一直是个谜。近日,AI公司Anthropic发布了两篇重磅论文,首次深入揭示了大语言模型Claude的内部思维过程,这一突破性研究被形象地称为「AI显微镜」技术。 打造「AI

2023-07-07

OpenAI 宣布正在组建一个由其联合创始人兼首席科学家 Ilya Sutskever 和 Alignment 负责人 Jan Leike 共同领导的新团队,以开发引导和控制超智能人工智能(Superintelligent AI)系统的方法。“我们需要科学和技术突破来引导和控制比我们

2025-03-28

东神舞科技有限公司,正在招募高级嵌入式工程师、神经科学家、算法工程师等。“招聘人数没有上限,待遇从优,比如算法工程师,可提供两室一厅免费住房外加40万至70万元年薪。”公司创始人郑辉说。 慕尼黑工业大学的刘

2023-03-02

FlagAI集成全球各种主流大模型算法技术,以及多种大模型并行处理和训练加速技术,支持高效训练和微调。 FlagAI涵盖多个领域明星模型,如语言大模型OPT、T5,视觉大模型ViT、Swin Transformer,多模态大模型CLIP等。 坚持开源开放

2025-04-30

供包括模型框架,大模型,大模型生命周期工具链,模型训练和调优的软件和服务,在企业自己或第三方的数据中心部署,支持企业客户构建和训练自己的企业或行业大模型以及行业应用。 展望 2024-2029 年,该市场将以 6

2025-04-25

发布会。国家知识产权局局长申长雨在会上介绍,目前,我国人工智能领域呈现良好的发展势头。世界知识产权组织报告显示,中国已经成为全球人工智能专利的最大拥有国,在全球的占比达到60%。 近年来,国家知识产权局