火山引擎总裁谭待:豆包大模型“地板价”,仍有盈利空间


 “5 月,1200 亿。

“7 月,5000 亿。

“9 月,13000 亿。”

短短四个月,豆包大模型日均 tokens 使用量就从千亿级跨越到了万亿级,呈现爆发式增长。

9 月 24 日,在深圳举行的 2024 火山引擎 AI 创新巡展上,火山引擎总裁谭待公布,豆包大模型日均 tokens 使用量超过 1.3 万亿,日均生成图片 5000 万张,日均处理语音 85 万小时。

豆包大模型原名“云雀”,是国内通过算法备案的大模型之一。字节跳动基于豆包大模型打造了 AI 对话助手“豆包”、AI应用开发平台“扣子”、互动娱乐应用“猫箱”,以及星绘、即梦等 AI 创作工具,并把大模型接入抖音、番茄小说、飞书、巨量引擎等 50 余个业务,用以提升效率和优化产品体验。

此次活动还发布了视频生成模型、音乐模型、同声传译模型。在谭待的展示下,视频生成模型生成的多主体多动作交互镜头,人物表情流露真实,动作流畅自然。对于同一个场景,模型能在 10 秒钟内,生成多个不同视角的镜头,并且能保持主体人物动作逻辑的连贯性,故事表达完整,极具电影质感。谭待认为,豆包视频生成大模型未来将在电商营销、动画教育、城市文旅、音乐 MV、微电影、短剧等领域大展身手。

当前,豆包大模型家族庞大,主要包括通用模型 pro、通用模型 lite、语音识别模型、语音合成模型、文生图模型等十三款模型。

字节跳动对豆包通用模型 pro 进行了升级,数学能力提升了 36%,专业知识能力提升了 35%,上下文窗口 token 数由128k 增加到了256K。对于大型语言模型,上下文窗口的大小是一个重要的参数,它决定了模型能够处理的长序列的能力。上下文窗口越大,模型能够理解的长文本信息就越多,但也意味着模型的计算复杂度和内存需求会更高。

谭待表示,尽管豆包通用模型 pro 升级了,但是价格并没有上涨。在今年 5 月豆包大模型发布之时,豆包 Pro 128k 定价是 0.005 元/千 Tokens,比起行业价格降低了 95.8%;豆包 Pro 32k 是 0.0008 元/千 Tokens,更是降了 99.3%。

“豆包大模型已经是‘地板价’,但仍然有盈利空间,并没有业内所传言的‘负利润’。”谭待透露。

豆包大模型的低价,引领国内大模型开启降价潮。谭待认为,大模型价格已不再是阻碍创新的门槛,随着企业大规模应用,大模型支持更大的并发流量正在成为行业发展的关键因素。

据谭待介绍,业内多家大模型目前最高仅支持 300K 甚至 100K 的 TPM(每分钟 token 数),难以承载企业生产环境流量。例如某科研机构的文献翻译场景,TPM 峰值为 360K,某汽车智能座舱的 TPM 峰值为 420K,某 Al 教育公司的TPM峰值更是达到 630K,为此,豆包大模型默认支持 80OK 的初始 TPM,远超行业平均水平,客户还可根据需求灵活扩容。

"在我们努力下,大模型的应用成本已经得到很好解决。大模型要从卷价格走向卷性能,卷更好的模型能力和服务。”谭待表示。 


相關推薦

2024-07-27

在 2024火山引擎 AI 创新巡展·成都站上,火山引擎方面透露,截至今年7月,豆包大模型日均 tokens 使用量超过5000亿。 火山引擎在今年5月发布豆包大模型,提供包含大语言模型、语音模型、视觉模型的豆包模型家族,以满足不同

2024-09-25

字节跳动今天在深圳举办2024火山引擎 AI 创新巡展,并发布豆包·视频生成模型以及豆包·音乐模型、豆包·同声传译模型等产品。 据悉,豆包·视频生成模型能遵从复杂 prompt,解锁时序性多拍动作指令与多个主体间的交互能力

2024-10-21

。 最新的字节跳动大模型信息披露发生在今年10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生

2024-06-26

群。 字节跳动近些年持续投入芯片领域,字节跳动旗下火山引擎总裁谭待此前在接受媒体采访时表示,算力在当下行业情况下,是一个异构算力系统,每个团队有不同的芯片选择,不同的芯片有不同的擅长领域。有的内存大,

2024-08-14

采访嘉宾 | 火山引擎云搜索团队 鲁蕴铖、李杰辉、余炜强 编辑 | Tina InfoQ   2023 年,大模型惊艳了世界。2024 年,RAG 技术如日中天。   RAG 使得大模型能够在不更新模型参数的情况下,获得必要的上下文信息,

2024-08-14

供帮助。 360AI搜索 智脑大模型与搜索结合,带来搜索引擎革命。这款搜索搜出来的不再是一条条的网页链接,而是通过自动选择、提炼、整合、重组信息,为用户直接呈现最终答案,大大提升搜索效率。同时还能根据答案生

2023-09-08

跳动旗下抖音的一款基于云雀大模型开发的 AI 机器人「豆包」开始小范围邀请测试。用户可通过手机号、抖音或者 Apple ID 登录。 「豆包」是此前字节内部代号为 “Grace” 的 AI 项目,目前拥有文生文、文生图的功能。进入默认

2024-09-30

Azure OpenAI、Gemini等); ■ 灵活编排:内置强大的工作流引擎和函数库,支持编排AI工作流,有效满足复杂业务场景下的应用需求; ■ 无缝嵌入:支持零编码快速嵌入至第三方业务系统,让已有系统快速拥有智能问答能力,提

2024-09-30

家之一 Jan Leike 也辞职。 2024年8月5日 OpenAI 联合创始人兼总裁 Greg Brockman 开始休假,直至年底。联合创始人兼备受尊敬的研究员 John Schulman 离职。 2024年9月25日 OpenAI 首席技术官 Mira Murati 辞职,她在 2023 年 Altman 被解职期间曾短

2022-09-03

名为 COBOL Colleague 的新型 AI 驱动工具。 Phase Change Software 总裁 Steve Brothers 称,COBOL 不会很快消失;并向外媒 VentureBeat 表示,COBOL 开发人员的欠缺并不是最根本的问题。“真正的潜在问题是了解应用程序的功能,因为要有效地修

2024-10-01

自定义设置函数的权限与状态;模型管理方面,支持对接豆包、讯飞星火、OpenAI供应商的语音识别、语音合成模型,支持对接阿里云百炼大模型、Xinference以及本地模型的重排模型。 X-Pack增强包方面,MaxKB v1.6专业版支持一键接

2024-07-09

备的产品能力、领先的技术水平及持续扩大的用户规模,火山引擎VeDI旗下的云原生数据库ByteHouse作为行业典型代表,入选分析型数据库、云原生数据库两个细分领域。   现如今,企业正加速走向数字化、智能化,

2024-09-21

庞大的开发人员群体引领着技术革新的浪潮。在中国创新引擎持续加速以及人工智能、云计算等前沿技术迅猛发展的前提下,企业和个人用户对于高效、智能开发工具的需求也在日益增长。早在2014年,JetBrains就开始积极发展中

2023-07-25

助用户快速寻找信息,实现基础推理,用对话交流和搜索引擎相结合的方式协助用户工作;交易分析工具“KDF绝未”,利用AI算法挖掘实时交易数据的特征,协助用户对实时和短期的价格趋势做出快速判断;此外,知未智能还为