全球机器人流量首超人工，Cloudflare9月15日起默认阻断AI训练爬虫，覆盖全球五分之一网站流量

面对法律诉讼与网络技术基础设施的双重围剿，海外AI行业加速走向合规。

近日，代理全球约五分之一网站流量的Cloudflare连续第二年发表“内容独立日”宣言，推出系列AI机器人流量管控功能。Cloudflare表示，传统“搜索换流量”契约被AI彻底撕毁，对网站所有者构成生存性威胁。

该公司已推出一键式“屏蔽AI机器人”选项，将于9月15日起全面默认阻断所有获取网页数据的AI训练爬虫，包括Googlebot、Applebot和BingBot等多功能爬虫。同时，Cloudflare为客户提供基于搜索、代理、训练三大场景的AI流量精细化管理选项，客户可按需调控AI机器人流量管理方式。此外，最新数据库BotBase上线，可跟踪所有已知机器人，涵盖已验证机器人与智能体。

这一举措背后，是互联网流量生态的质变。Cloudflare披露的数据显示，当前全球互联网流量中，机器人流量已首次超过人工流量，其中AI机器人占比正快速增长。

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。