“5 月,1200 亿。
“7 月,5000 亿。
“9 月,13000 亿。”
短短四个月,豆包大模型日均 tokens 使用量就从千亿级跨越到了万亿级,呈现爆发式增长。
9 月 24 日,在深圳举行的 2024 火山引擎 AI 创新巡展上,火山引擎总裁谭待公布,豆包大模型日均 tokens 使用量超过 1.3 万亿,日均生成图片 5000 万张,日均处理语音 85 万小时。
豆包大模型原名“云雀”,是国内通过算法备案的大模型之一。字节跳动基于豆包大模型打造了 AI 对话助手“豆包”、AI应用开发平台“扣子”、互动娱乐应用“猫箱”,以及星绘、即梦等 AI 创作工具,并把大模型接入抖音、番茄小说、飞书、巨量引擎等 50 余个业务,用以提升效率和优化产品体验。
此次活动还发布了视频生成模型、音乐模型、同声传译模型。在谭待的展示下,视频生成模型生成的多主体多动作交互镜头,人物表情流露真实,动作流畅自然。对于同一个场景,模型能在 10 秒钟内,生成多个不同视角的镜头,并且能保持主体人物动作逻辑的连贯性,故事表达完整,极具电影质感。谭待认为,豆包视频生成大模型未来将在电商营销、动画教育、城市文旅、音乐 MV、微电影、短剧等领域大展身手。
当前,豆包大模型家族庞大,主要包括通用模型 pro、通用模型 lite、语音识别模型、语音合成模型、文生图模型等十三款模型。
字节跳动对豆包通用模型 pro 进行了升级,数学能力提升了 36%,专业知识能力提升了 35%,上下文窗口 token 数由128k 增加到了256K。对于大型语言模型,上下文窗口的大小是一个重要的参数,它决定了模型能够处理的长序列的能力。上下文窗口越大,模型能够理解的长文本信息就越多,但也意味着模型的计算复杂度和内存需求会更高。
谭待表示,尽管豆包通用模型 pro 升级了,但是价格并没有上涨。在今年 5 月豆包大模型发布之时,豆包 Pro 128k 定价是 0.005 元/千 Tokens,比起行业价格降低了 95.8%;豆包 Pro 32k 是 0.0008 元/千 Tokens,更是降了 99.3%。
“豆包大模型已经是‘地板价’,但仍然有盈利空间,并没有业内所传言的‘负利润’。”谭待透露。
豆包大模型的低价,引领国内大模型开启降价潮。谭待认为,大模型价格已不再是阻碍创新的门槛,随着企业大规模应用,大模型支持更大的并发流量正在成为行业发展的关键因素。
据谭待介绍,业内多家大模型目前最高仅支持 300K 甚至 100K 的 TPM(每分钟 token 数),难以承载企业生产环境流量。例如某科研机构的文献翻译场景,TPM 峰值为 360K,某汽车智能座舱的 TPM 峰值为 420K,某 Al 教育公司的TPM峰值更是达到 630K,为此,豆包大模型默认支持 80OK 的初始 TPM,远超行业平均水平,客户还可根据需求灵活扩容。
"在我们努力下,大模型的应用成本已经得到很好解决。大模型要从卷价格走向卷性能,卷更好的模型能力和服务。”谭待表示。