字节跳动商业化团队模型训练被“投毒”,内部人士称未影响豆包大模型


近日,有消息称字节跳动发生大模型训练被实习生“投毒”事件。

据悉,该事件发生在字节跳动商业化团队,因实习生田某某对团队资源分配不满,利用HF(huggingface)的漏洞,通过共享模型注入破坏代码,导致团队模型训练成果受损。消息称此次遭到入侵的代码已注入8000多张卡,损失或达千万美元。

字节跳动知情人士向记者透露称,近期公司确实发生过破坏模型训练一事,但传闻存在夸张和虚构的部分,该事件实际发生在今年6月底,田某某是在商业化技术团队实习,因为对团队资源分配不满,使用攻击代码破坏团队的模型训练任务,千万美元损失的数字也有所夸大。

另外,该人士称,受代码入侵影响的业务不是豆包大模型,而是商业化技术团队的模型训练任务,影响了广告部门的部分技术工作,实习生通过共享模型进行入侵的部分也不属于集团大模型。

此次事件暴露出字节跳动技术训练中存在的安全管理问题,包括权限隔离、共用代码的审计等。一位行业人士对记者表示,进行权限隔离与审计利于保护公司核心数据与知识产权,防止数据泄漏,提高数据与系统的安全性。比如实时监控权限使用情况,及时发现权限滥用和异常操作;定期审计权限,检查团队成员的权限是否符合授权策略,是否存在权限滥用的情况等。但这件事也有难度,包括跨部门合作成本、经常性维护与更新的资源投入等。

据知情人士向记者透露,目前该实习生已被辞退,公司也将相关情况同步给行业联盟与实习生学校。

最新的字节跳动大模型信息披露发生在今年10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

(本文来自第一财经)


相關推薦

2024-09-25

字节跳动今天在深圳举办2024火山引擎 AI 创新巡展,并发布豆包·视频生成模型以及豆包·音乐模型、豆包·同声传译模型等产品。 据悉,豆包·视频生成模型能遵从复杂 prompt,解锁时序性多拍动作指令与多个主体间的交互能力

2023-09-08

Google 开发者在线课程 开始学习 8 月 31 日,百度、字节、商汤、中科院旗下紫东太初、百川智能、智谱华章等 8 家企业 / 机构的大模型产品已经首批通过《生成式人工智能服务管理暂行办法》备案,可正式上线面向公众提供服

2024-09-26

模型原名“云雀”,是国内通过算法备案的大模型之一。字节跳动基于豆包大模型打造了 AI 对话助手“豆包”、AI应用开发平台“扣子”、互动娱乐应用“猫箱”,以及星绘、即梦等 AI 创作工具,并把大模型接入抖音、番茄小

2024-08-14

公,效率翻倍。 豆包 抖音旗下的人工智能产品,基于字节跳动推出的自研豆包大模型。豆包电脑版以“豆包”主智能体为核心,集合AI搜索、写作、阅读总结、图像生成功能于一体,能够在工作、学习等各种场景为你提供帮

2023-07-13

国和美国的互联网大厂(比如谷歌、Meta、腾讯、百度、字节跳动),以及 AI 头部初创企业,都会有能力构建出可以媲美 GPT-4 甚至超越 GPT-4 的大模型。 而 OpenAI 最持久的护城河,就在于他们拥有真实用户的使用反馈、业内最顶

2023-04-27

为 Primus 解决的问题。   日均作业百万核的字节跳动实践 经过字节跳动在不断实践中调整打磨的 Primus,拥有以下能力支撑业务需求: 自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的

2024-07-27

用量增长了22倍。 火山引擎副总裁张鑫在会上介绍,在字节内部,有50多个业务在使用豆包大模型,覆盖了协同办公、数据分析、文案创作、辅助编程、内容审核、客服、游戏NPC、角色对话、教育等各种场景,基于豆包大模型

2024-08-14

bsp; 而且,“ 遵守开源开放的标准,也让我们没有任何商业化和开源产品上的矛盾 , 也能帮助客户解决被某一家云厂商绑定的顾虑 。” 一套 RAG 系统,多种向量算法引擎 随着业务的增长,为了满足大规模内部业务和外部

2023-03-25

Katalyst 是字节跳动对多年大规模业务云原生化场景中资源管理能力的抽象和总结,我们期望通过 Katalyst 的开源直接或间接的帮助用户做好资源管理,实现降本增效。 当下互联网应用以天为单位,在线业务的资源使用情况往

2023-08-04

作,最新发布了 Top 10 for LLM 的 1.0 版本,专门针对大语言模型(LLM)应用相关风险。旨在为开发人员、数据科学家和安全专家提供实用、可操作和简明的安全指南,帮助他们驾驭复杂多变的 LLM 安全领域。 “急于利用 LLM 潜力的

2023-10-10

长文本处理能力。这个局面如今被打破。 近日,贾佳亚团队联合MIT发布的新技术和新模型悄然登上各大开源网站的热榜:hugging face热榜第一、paperwithcode热度第一,Github全部python项目热度第五、github stars一周内破千,Twitter上的

2024-09-30

家公司中同时保持以使命为核心的研究运作和快速发展的商业化进程,带来了越来越多的阵痛。 “同时做好这两件事是很难的——产品优先的文化与研究文化非常不同,”Cresta AI 初创公司现任首席技术官、OpenAI 的早期员工 Tim

2023-07-25

业信息和金融分析领域为用户提供卓越的SaaS应用。公司团队由科技,金融,咨询,法律等行业专家组成,拥有丰富的专业经验和深厚的技术积累,致力于提供敏捷、高效、智能的商业和金融信息分析工具,帮助客户在商业和金

2024-07-16

道,OpenAI 正在开发一项代号为「草莓」(Strawberry)的 AI 模型技术。 内部文件显示,这一项目旨在提升 AI 的高级推理能力,使其不仅能够生成查询答案,还能自主规划并开展复杂研究。 据知情人士透露,OpenAI 希望通过 Strawb