Cloudflare 全新的“AI爬取控制”(AI Crawl Control)功能已正式 GA,所有付费用户现可通过该功能对 AI 爬虫发送可自定义的 402 Payment Required 状态码,而非简单封禁。
过去,内容创作者只能二选一:彻底阻止爬虫,或放任其免费抓取。AI Crawl Control 在仪表板内提供“阻断并附带消息”选项,用户可填写如“如需内容,请邮件联系[email protected]或致电1-800-LICENSE”或“高级内容请访问api.yoursite.com/pricing”等文本。返回的 402 响应将包含该自定义信息,为潜在授权谈判开辟直接沟通渠道。
Cloudflare 披露,平台每天已为用户返回逾十亿次 402 状态码,显示市场对“先谈条件后抓取”模式的强烈需求。未来,团队计划进一步在 402 响应中嵌入内容价值、更新频率、授权条款等结构化数据,同时继续推进 Pay Per Crawl 功能,为内容方提供按次计费的自动化变现基础设施。