国产开源推理引擎“赤兔”发布 v0.4 版本


国产开源推理引擎“赤兔”发布了 v0.4 版本,大幅提升了一体机推理部署场景的性能和稳定性,适配昇腾、英伟达、沐曦、海光,支持 DeepSeek、Qwen、GLM、Kimi 等模型

Chitu(赤兔)是由清华系 AI Infra 明星创企——清程极智联合清华大学团队发布的开源项目。赤兔定位于「生产级大模型推理引擎」,充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求,专注于提供以下重要特性:

  • 多元算力适配:不仅支持 NVIDIA 最新旗舰到旧款的多系列产品,也为国产芯片提供优化支持。
  • 全场景可伸缩:从纯 CPU 部署、单 GPU 部署到大规模集群部署,赤兔引擎提供可扩展的解决方案。
  • 长期稳定运行:可应用于实际生产环境,稳定性足以承载并发业务流量。

在今年三月首个版本发布时,赤兔通过底层算子优化(如 GeMM、MoE 的指令级重构)和编译技术创新,首次实现在无 FP8 硬件单元的算力芯片上原生运行 FP8 高精度模型,赋能众多存量算力芯片推理 DeepSeek-R1 满血版大模型。


相關推薦

2023-05-05

StreamPark 社区以及广大开源社区的朋友们大家好: 关于近日 "赤兔" 实时计算平台违规使用 Apache  StreamPark (Incubating) 代码一事[1], 赤兔开发团队已经重新按照 Apache 的合规要求, 更新了相关代码, 并且公开在官网[

2023-04-28

部署、运维、实时数仓等。2021 年 4月 以 StreamX 为名进行开源,于 2022 年 8 月更名为 StreamPark,随后通过投票于 9 月 正式成为 Apache 开源软件基金会的孵化项目。 被抄袭侵权 前几天,有开发者跟我们反馈,有项目 copy StreamPark

2024-10-24

,企业版包含社区全部功能,并提供高可用、可观测性、国产卡支持。详细请联系 📞 @李鹏 🆕 主要更新内容 1. 🎥 支持 minicpm base64 格式视频解析 2. 🚀 默认开启 SGLANG 引擎 3. 🔧 暴露删除运行实例的接口,便于处理数据不一

2025-04-22

讯飞星火 X1 全新升级,号称是“当前业界唯一的基于全国产算力训练的深度推理大模型”, 本次升级有这些关键信息⬇️ ✨实现了数学、代码、逻辑推理、文本生成、语言理解、知识问答等通用任务效果显著提升,在模型参

2025-06-21

同时,开源PHP自 2020 年起开始深耕 DevOps 全生命周期产品国产替代方案,在满足开发者需求的同时,打造出一个自主创新、安全可信的本土开源软件工具与生态,减少开发者对海外开源软件的过度依赖,构建安全可控的中国信息

2024-07-17

🔥🔥🔥飞龙工作流 FlowLong 🐉 真正的国产工作流引擎、json 格式实例模型、仿飞书钉钉审批流程设计器 🚩为中国特色审批匠心打造❗简单易懂的核心设计,优美易用的可视化管理界面,纯国产信创工作流首选。 开源地址

2024-08-03

🔥🔥🔥纯血国产自研工作流引擎,自主可控,类似钉钉和飞书的低代码工作流引擎,更强大的表单设计器,模型设计器。 🚩为中国特色审批匠心打造❗简单易懂的核心设计,优美易用的可视化管理界面,纯正中国心,信创首

2024-04-18

。 TeleAI通过更彻底地开源推动大模型技术进步和大模型国产化进程。此次开源提供基础模型以及基于相应版本的对话模型、不仅支持传统的全量参数更新还支持 LoRA 等只更新部分参数的高效微调方法、支持Deepspeed微调、支持int8

2025-04-15

DeepSeek 在其 GitHub 仓库发布预告称,即将开源推理引擎 DeepSeek Inference Engine。 考虑到代码分支和维护资源等问题,他们选择了直接和 vLLM 等现有开源项目合作的方式进行开源。 下面是官方公告: 几周前,在开源周期间,

2024-07-09

🔥🔥🔥飞龙工作流 FlowLong 🐉 真正的国产工作流引擎、json 格式实例模型、仿飞书钉钉审批流程设计器 🚩为中国特色审批匠心打造❗简单易懂的核心设计,优美易用的可视化管理界面,纯国产信创工作流首选。 开源地址

2025-04-02

获得 Moark 官方认证的「AI 诈骗大师」称号 适配超多国产算力 此外,天数智芯、沐曦、昇腾、曙光智算、无问芯穹五家国产算力厂商通过与模力方舟团队连夜的通力合作,挖掘出了国产芯片的超强潜力,将这个史诗级模型

2025-07-26

绍,这是阶跃星辰首个全尺寸、原生多模态推理模型。在国产芯片32K上下文推理效率最高可达DeepSeek R1的300%,在英伟达H800芯片将推理效率提升了70%以上。该模型将于7月31日向全球开源。 此外,阶跃星辰宣布与上海国有资本投

2022-09-17

,不仅获得了5000万美金融资,还成为首个支持任天堂的国产3D引擎,在刚结束的2022 Google开发者大会上,还成为了唯一获得推荐的Web端游戏开发工具,未来Cocos还会给行业带来什么改变,值得拭目以待。  

2025-04-23

开源地址:https://gitee.com/aizuda/flowlong 开源地址:https://github.com/aizuda/flowlong 官网文档:https://flowlong.aizuda.com 支持全流程操作监听,仅 8 张表实现整个流程引擎(更符合中国人的思维模式设计),截至当前近 300 家