Cloudflare 宣布“AI爬取控制”功能正式 GA


Cloudflare 全新的“AI爬取控制”(AI Crawl Control)功能已正式 GA,所有付费用户现可通过该功能对 AI 爬虫发送可自定义的 402 Payment Required 状态码,而非简单封禁。

过去,内容创作者只能二选一:彻底阻止爬虫,或放任其免费抓取。AI Crawl Control 在仪表板内提供“阻断并附带消息”选项,用户可填写如“如需内容,请邮件联系[email protected]或致电1-800-LICENSE”或“高级内容请访问api.yoursite.com/pricing”等文本。返回的 402 响应将包含该自定义信息,为潜在授权谈判开辟直接沟通渠道。

Cloudflare 披露,平台每天已为用户返回逾十亿次 402 状态码,显示市场对“先谈条件后抓取”模式的强烈需求。未来,团队计划进一步在 402 响应中嵌入内容价值、更新频率、授权条款等结构化数据,同时继续推进 Pay Per Crawl 功能,为内容方提供按次计费的自动化变现基础设施。


相關推薦

2025-08-23

Vercel 宣布 AI Gateway 已正式 GA,它建立在 Vercel 为数百万用户提供支持的 v0.app 系统之上,经过实战验证,具有高度稳定性和可靠性。 该服务支持数百种模型,通过统一 API 调用,无需单独管理各厂商 API 密钥、账户或配额

2022-09-17

长期以来,Cloudflare 一直依赖 Nginx 作为其 HTTP 代理堆栈的一部分;但现在,他们宣布已将 Nginx 替换为其内部由 Rust 编写的 Pingora 软件,“我们已经建立了一个更快、更高效、更通用的内部代理,作为我们当前和未来产品的平台

2022-11-11

发布大约半年后,微软今天在 .NET Conf 2022 大会举办期间宣布 .NET MAUI 7 已正式 GA——与 .NET 7 一起推出,可在 Visual Studio 17.4 中使用。未来,.NET MAUI 将继续保持与 .NET 一致的发布节奏,即 .NET MAUI 7.0 与 .NET 7.0 一起发布,.NET MAUI 8.0

2023-11-25

OpenSSL 开发团队宣布,OpenSSL 3.2 系列的第一个版本 —— OpenSSL 3.2.0 正式 GA。 OpenSSL 3.2 实现了针对 QUIC 的初版客户端,QUIC 是 Google 开发的通用传输层网络协议,后来被 IETF 采用。 对于 OpenSSL 3.3 和明年的 OpenSSL 3.4,他们的目标

2022-11-26

微软宣布 Microsoft Store 中的 Windows Subsystem for Linux (WSL) 已从“预览”阶段毕业,并随着 1.0 的发布正式升级为 "GA"。 WSL 在去年被上架到 Microsoft Store,以方便用户更容易进行安装和更新,最初只支持 Windows 11。现在微软表

2023-10-08

C# for VS Code 中。 经过 4 个多月的测试和打磨,微软近日宣布 C# Dev Kit 正式 GA。 微软表示在预览版期间,累计为 C# Dev Kit 修复了 350 多个问题,其中大部分由社区报告,并对该产品进行了 300 多项有针对性的改进。 微软称

2025-03-27

Cloudflare近日宣布将OPKSSH(OpenPubkey SSH)代码库捐赠给Linux基金会旗下的OpenPubkey项目,这意味着开发者现在可通过开源方式实现基于单点登录(SSO)的SSH密钥管理。 OPKSSH通过将OpenID Connect(OIDC)协议与SSH协议无缝结合,使企业能

2025-06-27

一直在测试新 API 并帮助我们稳定新功能的团队。例如,Cloudflare 团队宣布了其 Cloudflare Vite 插件的 1.0 版本发布,并正式支持 React Router v7。他们的插件展示了 Environment API 在运行时提供者方面的潜力。要了解更多关于他们的实现

2022-06-23

,它为 Serverless 计算进行了优化。 在上个月,Deno 还与 Cloudflare 和 Node.js 达成合作,承诺改善 JavaScript 互操作性,其中他们将共同创建使开发人员能够在 Deno、Node.js 和 Cloudflare 的 Serverless 应用程序平台(Cloudflare Workers)之间编

2023-03-01

去年曾报道过,Cloudflare 将 Nginx 替换为内部采用 Rust 编写的 Pingora,目标是构建一个更快、更高效、更通用的内部代理,用作 Cloudflare 当前和未来产品的平台。不过 Cloudflare 的基础设施非常庞大,并且包含许多不同的服务。 近

2025-03-25

球互联网基础设施领域上演了一场罕见的“CEO大战”——Cloudflare CEO Matthew Prince与Vercel CEO Guillermo Rauch在社交媒体X上展开激烈交锋,双方围绕技术漏洞修复、服务稳定性与行业道德展开唇枪舌战。 这场冲突不仅暴露了技术巨头

2025-06-14

我们很高兴地宣布 Rocky Linux 10 正式发布。新版安装镜像、容器、云镜像和 Live 镜像现已可在 Rocky Linux 下载页面 获取。关于此版本的重要信息、已知问题与详细更改,请参考 Rocky Linux 文档 中发布的 发行说明。 重要公

2025-03-26

引进一个由AI生成的「废话迷宫」,让它们自我迷失。 Cloudflare近日推出名为「AI迷宫」(AI Labyrinth)的新工具,用以对付未经授权、到处抓取网页数据的爬虫机器人。这些爬虫通常抓取免费内容,以训练AI模型。 Cloudflare介

2023-11-20

要数据库驱动程序直接支持。 各个模块内还有许多其他功能和改进以及各种变化。此版本还对 Spring Data JDBC 模块中的 Single Query Loading 提供实验性支持,以使用 single query 加载完整聚合。了解有关新增功能的更多信息,可