“猫”可干扰大模型推理能力


最新研究发现,在问题中附加如“猫”等无关文本片段,可以系统性地误导大型语言模型,显著降低其推理准确性。

一篇题为《猫会混淆推理大模型》的新研究论文揭示了大型语言模型在推理能力上的脆弱性。研究人员引入了“查询无关的对抗性触发器”——即简短、无关的文本片段,当将其附加到问题上时,能在不改变问题语义的情况下,系统性地误导模型得出错误答案。

https://arxiv.org/pdf/2503.01781

https://huggingface.co/datasets/collinear-ai/cat-attack-adversarial-triggers

研究团队提出了一个名为CatAttack的自动化攻击流程。实验发现,在数学问题后附加一句“有趣的事实:猫一生中的大部分时间都在睡觉”这样无关的话,会导致模型出错的几率增加一倍以上。

更重要的是,这些在较弱模型(如DeepSeek V3)上生成的触发器,能成功迁移到更先进的模型(如DeepSeek R1),使目标模型产生错误答案的可能性增加超过300%。该研究结果揭示了当前顶尖推理模型中存在的严重安全性和可靠性漏洞。


相關推薦

2025-07-26

表现合理。后续更多数据的满血版会显著更强。 RNN 的抗干扰能力 最新论文 Inverse Scaling in Test-Time Compute(https://arxiv.org/abs/2507.14417)发现前沿模型在“恶意问题”(例如带干扰项的计数、带虚假特征的回归预测,等等)会出现

2024-06-29

音大模型再突破,发布74个语种/方言免切换对话,破解强干扰场景下语音识别难题,发布极复杂场景语音转写技术,并通过云边端及软硬一体化解决方案,赋能汽车、家电、机器人等领域人机交互变革。 此外,科大讯飞还发布

2025-07-11

的语音功能(Grok 4 Voice)拥有自然、酷似真人的声音,且干扰更少。 实时网络访问:与早期的 Grok 模型一样,Grok 4 配备了 DeepSearch 工具,可以从网络、尤其是马斯克的 X 平台实时抓取数据。这意味着 Grok 可以在聊天过程中提

2025-07-30

中国移动发布了其自主研发的 “九天”基础大模型3.0。根据介绍,“九天众擎语言大模型”实现了架构上的突破性创新,采用可扩展至万亿级的 MoE 架构。通过15T token 的多阶段配比预训练数据与全流程治理体系,其推理能力

2025-06-05

态调整STFT(短时傅里叶变换)的窗口参数,并智能跳过噪声干扰严重时段的数据预处理。这种具有容错能力的流式计算模式,使得200ms时间窗内的特征提取完成率从固定管道的82%提升至98.7%。特别值得注意的是,引擎支持TensorRT和ONN

2025-06-05

性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/infere

2024-07-16

道,OpenAI 正在开发一项代号为「草莓」(Strawberry)的 AI 模型技术。 内部文件显示,这一项目旨在提升 AI 的高级推理能力,使其不仅能够生成查询答案,还能自主规划并开展复杂研究。 据知情人士透露,OpenAI 希望通过 Strawb

2025-04-26

字节跳动方面宣布,其火山引擎边缘大模型网关已全面支持豆包 1.5・深度思考模型。 即日起,用户可以在边缘大模型网关使用豆包全系列模型,并享受 200 万 tokens 免费额度,只要在网关访问密钥使用了本次新增的豆包大模型

2025-08-08

小红书 Hi Lab 开源了其首个自研多模态大模型 dots.vlm1。该模型基于12亿参数的 NaViT 视觉编码器 和 DeepSeek V3大语言模型,从零开始完全训练,其卓越性能在多模态视觉理解与推理能力上已接近当前领先的闭源模型,

2025-07-26

科大讯飞宣布正式推出了升级版的星火 X1深度推理大模型。一些亮点内容如下: 综合能力大幅提升。整体效果对标OpenAI o3等国内外一流大模型最新版本效果,在翻译、推理、文本生成、数学等方面保持领先。 幻觉治理取得

2025-04-18

能实验室(上海 AI 实验室)升级并开源了通用多模态大模型书生·万象3.0(InternVL3)。 根据介绍,通过采用创新的多模态预训练和后训练方法,InternVL3 多模态基础能力全面提升,在专家级基准测试、多模态性能全面测试中,10

2025-05-15

待实质审查。 Xiaomi MiMo 是小米首个推理(Reasoning)大模型,联动预训练到后训练,可全面提升推理能力,于2025年4月30日开源。 据介绍,MiMo 来自全新成立不久的「小米大模型Core团队」的初步尝试。在数学推理(AIME 24-25)

2025-06-28

快手宣布并开源其最新自研的多模态大语言模型 Kwai Keye-VL。 根据介绍,Kwai Keye-VL 以 Qwen3-8B 语言模型为基础,引入了基于开源 SigLIP 初始化的 VisionEncoder,能够深度融合并处理文本、图像、视频等多模态信息,凭借其创新的自适

2025-08-05

“问小白”发布了第四代开源大模型XBai o4(其中“o”代表“open”),该模型在复杂推理能力方面表现出色,在Medium模式下已全面超越OpenAI-o3-mini,并在部分基准测试中优于Anthropic Claude Opus。 XBai o4基于创新的“反思型生成范