字节跳动方面宣布,其火山引擎边缘大模型网关已全面支持豆包 1.5・深度思考模型。
即日起,用户可以在边缘大模型网关使用豆包全系列模型,并享受 200 万 tokens 免费额度,只要在网关访问密钥使用了本次新增的豆包大模型,还可以申请将免费额度提升至 500 万 tokens。
根据介绍,在边缘大模型网关,用户可通过两种方式调用豆包 1.5・深度思考模型:
- 一是通过平台预置模型,边缘大模型网关预置模型中,新增由火山方舟提供的豆包 1.5・深度思考模型,您可直接使用并对其创建网关访问密钥;
- 二是通过自有三方模型,您可以将您在第三方模型平台的密钥纳管至边缘大模型网关,通过边缘大模型网关签发的网关访问密钥,进行对应模型的访问与调用。
豆包 1.5・深度思考模型是该公司于日前全新发布的一个模型,采用 MoE 架构,总参数 200B,激活参数为 20B,低于业界同类模型参数规模的 50%,具备显著的推理成本优势。
据称在数学、代码、科学等专业领域推理任务中表现出色,已经达到或接近全球第一梯队水平;在创意写作等非推理任务中,模型也展示出优秀的泛化能力,能够胜任更广泛和复杂的使用场景。共包含两个版本,第一个主线版本是大语言模型 Doubao-1.5-thinking-pro,第二个是多模态版。前者推理能力更强,后者支持视觉推理。
火山引擎边缘大模型网关支持通过一个 API 接口访问多家大模型提供商的模型与智能体,在端侧基于遍布全球的边缘计算节点就近调用。