深度求索近日正式对外发布 DeepSeek-V3.1,官方提到 DeepSeek-V3.1 使用了 UE8M0 FP8 Scale 的参数精度。
在 DeepSeek 官方公众号文章页面,DeepSeek 进一步解释称:UE8M0 FP8 是针对即将发布的下一代国产芯片设计。
FP 英文全称为 Floating Point,是 IEEE 定义的标准浮点数类型。UE8M0 FP8 在 AI 模型领域代表一种模型精度。
人工智能领域的企业家与技术专家、清华大学计算机系人工智能所博士梁斌表示,UE8M0 FP8 和英伟达的 FP8 是两个东西,两套标准。
DeepSeek 这次为什么非要强调 UE8M0 FP8 呢?这个和英伟达的 FP8 是两个东西,两套标准,正式决裂。
显存的发展是有限的,而模型的发展是快速的,对每个参数的表达必须通过量化进行压缩,FP36 就是 36 位表达一个参数,FP8 就是 8 位表达一个参数,在可接受的范围内,肯定是越低的表达,在显存里面能装下更多的参数。而就是 FP8 有英伟达的 E4M3 / E5M2 方案和 DS 的这个 UE8M0 方案,主要区别就是前者有 3-2 位的小数表达,后者没有小数表达。
前者精度好,后者功耗低,运算快,对芯片要求低。
现在 DeepSeek 这么搞,加上国产芯片都向这个标准靠拢,这是彻底和英伟达决裂了,以后其他推理模型,要么选择 DS 这套体系,要么选择英伟达体系,国内芯片公司也积极向这套体系靠拢。
现在华为他们那边真是为了适配这个标准,真是玩命干,干成了就是名垂千古,多大诱惑,而且我发现 DeepSeek 还真是有胆量,真是把国产大模型的发展推到了一个牛逼的高度上去,太了不起了。
来源:https://weibo.com/1497035431/Q1sKDAvWF