警惕 AI 数据投毒,0.01% 虚假训练文本可致有害内容增加 11.2%


国家安全部发布安全提示文章指出,当前,人工智能已深度融入经济社会发展的方方面面,在深刻改变人类生产生活方式的同时,也成为关乎高质量发展和高水平安全的关键领域。

然而,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

  • 提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。
  • 影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,则能提升模型应对实际复杂场景的能力。
  • 促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,则可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

  • 投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示,当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。
  • 造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。
  • 引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;在医疗健康领域,数据污染则可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

为了应对数据污染带来的威胁,国家安全部建议:

  • 加强源头监管,防止污染数据的产生。以《网络安全法》《数据安全法》《个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。
  • 强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。
  • 末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

相關推薦

2024-10-21

人士对记者表示,进行权限隔离与审计利于保护公司核心数据与知识产权,防止数据泄漏,提高数据与系统的安全性。比如实时监控权限使用情况,及时发现权限滥用和异常操作;定期审计权限,检查团队成员的权限是否符合授

2025-06-11

述中,我们详细介绍了我们设计的模型架构、用于训练的数据、所采用的训练配方、用于优化推理的技术,以及与同类模型相比的评估结果。在整个过程中,我们强调了如何在设备和私有云计算上实现速度和效率的提升,同时扩

2025-03-26

AI Labyrinth)的新工具,用以对付未经授权、到处抓取网页数据的爬虫机器人。这些爬虫通常抓取免费内容,以训练AI模型。 Cloudflare介绍称,当系统识别到异常爬虫行为时,「AI迷宫」就会启动,将这些机器人引向由AI自动生成

2023-07-14

法律、行政法规禁止的内容; (二)在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视; (三)尊重知识产权、商业道德,保

2024-07-25

能与社交媒体公司和执法部门合作,打击网上非法内容和虚假信息。

2023-10-26

能够更好地利用监督和测试中的弱点——例如,通过产生虚假但令人信服的输出; 鲁棒性:人工智能系统在新情况下(在分布转移或对抗性输入下)表现不可预测; 可解释性:人工智能决策是不透明的。到目前为止,我们只

2023-10-26

轻松将Astra DB或Apache Cassandra添加为LangChain框架内的新矢量数据源。🏭 该整合对初创企业和大型企业的开发者都具有重要意义,特别是在构建生成式AI应用程序时。👨‍💻💡🎯聚焦开发者DeepSparse:稀疏性技术加速神经网络推理De

2023-04-14

国际合作,鼓励优先采用安全可信的软件、工具、计算和数据资源;利用生成式人工智能产品向公众提供服务前,应当向国家网信部门申报安全评估,并履行算法备案和变更、注销备案手续。 生成式人工智能服务管理办法 (

2023-02-07

具体的ConfigMap或Secret 增加Pod annotation检测 增加供应链投毒检测 改进 更改了的rpm检测的方法 更改了containerd内核检测方法 upgrade命令更换为update vesta 收集了网上用量最多的包名字以及目前已知的恶意包名字,与容器

2025-06-24

布典型案例。 在加强训练语料管理方面,通义平台围绕数据生命周期建立安全管理体系,在数据采集、训练、使用等阶段加强训练语料管理。在强化安全管理措施方面,抖音建立“红蓝对抗”机制,模拟攻击案例,修复潜在安

2025-06-14

CVE暂未收录) 1. MinIO未授权访问漏洞致多部分上传元数据泄露 漏洞描述 该漏洞源于S3 API接口list-multipart-uploads缺失资源级权限校验机制,攻击者可构造恶意GET请求遍历检索全实例范围内所有活跃分片上传会话记录。由于无

2022-03-16

vue-cli 的依赖项 node-ipc 包正在以反战为名进行供应链投毒,该包在 npm 每周有上百万下载量。 知名技术网站 V2ex 的一条爆出了这个问题,用户  在使用 npm 构建前端项目时,启动项目后桌面自动创建了一个《 WITH-LOVE-FROM-AMERICA.t

2023-04-02

已在意大利区域禁用 ChatGPT,停止处理属于意大利用户的数据。 意大利数据保护机构指责 OpenAI ,认为其在没有法律依据的情况下使用收集到的数据来训练 ChatGPT 的算法。OpenAI 现在面临监管质询,必须在 20 天内证明其为遵守欧

2025-07-29

思维逻辑以及人与AI的关系。 在对AI前景方面,辛顿感到警惕。他直言,我们正创造比自己更聪明的AI,这就像在家里养一头老虎当宠物,指望“消除它”是不现实的。 以下是辛顿的核心观点: AI发展有两种范式,一是逻辑