Cloudflare 公布与 OpenAI 搜索试点成果，已协助索引数亿新网页

Cloudflare 公布了与 OpenAI 联合搜索试点的阶段成果，借助约 1% 的网络流量信号已协助 OpenAI 发现并索引了数亿个新网页。该机制通过识别死链、恶意重定向及重复内容来优化爬取效率，在降低站长服务器无效负载的同时减少爬虫资源浪费。试点仅使用网页元数据辅助搜索发现且不用于模型训练，站长仍可通过控制工具自主管理 AI 抓取权限。