一项由非营利性 AI 研究机构 METR 完成的随机对照实验（RCT）发现，经验丰富的开源开发者在使用 AI 编程工具（如 Cursor Pro 或 Anthropic Claude）时，实际完成任务的时间比不使用 AI 工具时平均增长了 19%。
尽管开发者预期 AI 工具能节省 24% 的时间，甚至事后仍认为 AI 工具提高了 20% 的效率，但实际数据表明 AI 工具拖慢了开发速度。
研究追踪了 16 名资深开源开发者完成的 246 项任务，这些任务涉及大型、复杂且已有 10 年历史的代码库（平均代码量超过 100 万行）。AI 工具虽减少了编写代码、测试/调试及信息搜索时间，但增加了审查 AI 输出、提示 AI 系统、等待生成以及因任务中断导致的空闲时间。
开发者最终接受并无需修改的 AI 生成代码比例不到 44%，且约 9% 的任务时间用于审查和修改 AI 生成的代码。
研究指出，当前 AI 工具在高质量标准、复杂项目或隐含要求较多的环境中存在局限性，可能不适用于资深开发者熟悉的复杂代码库，但对初级开发者或不熟悉代码库的工程师影响可能较小。
研究人员认为，未来 AI 工具（如通过改进可靠性、降低延迟或增强上下文相关性）可能带来效率提升。