Cloudflare的CEO马修·普林斯(Matthew Prince),在今年8月的第二季度财报电话会上说了一句挺重的话。他说,从今年第二季度开始,穿过Cloudflare这张网的所有流量里,超过一半已经不是人类产生的了。他原话大概是,人类历史上第一次,在他们网络里流转的流量,人类已经不是多数。
上周复盘后台数据的时候,我照例把曝光量、点击率这些数字一个个抠出来看。抠着抠着,脑子里突然冒出一个挺无聊的念头,这些数字里,到底有多少是真人拿手指头划过去的,又有多少压根就是别的什么东西在扫。
这个念头我本来没当回事,随手就翻篇了。直到前两天刷到一条消息,我当时就愣住了。
Cloudflare的CEO马修·普林斯(Matthew Prince),在今年8月的第二季度财报电话会上说了一句挺重的话。他说,从今年第二季度开始,穿过Cloudflare这张网的所有流量里,超过一半已经不是人类产生的了。他原话大概是,人类历史上第一次,在他们网络里流转的流量,人类已经不是多数。
Cloudflare是个什么体量的公司呢,全球大概五分之一的网站,流量都要过它这一道网关,防火墙、CDN、DNS,很多你天天在用的网站,背后都挂着它。它自己有个对外公开的数据看板叫Radar,上面专门有一栏叫机器与人类对比,最新的数字是,返回网页内容的HTTP请求里,机器人占了57.5%,人只剩42.5%。看实时曲线的话,机器人的比例有时候能冲到60%出头。
这个数字怎么判出来的,Cloudflare给每一个请求打一个分,叫Bot Score,1到29分,判定大概率是机器,30分往上,才算大概率是人。听起来有点粗暴,但架不住它家底子厚,样本量摆在那,这个口径至少能当一个方向性的信号来看。
这个数字到底靠不靠谱?
这个口径不是全网普查,只是Cloudflare自己网络里的观测,样本再大也是它自家门口那条街的车流。也有人挑刺,说这套算法本来就是拿来防机器人的,判定标准天然往严了打,说不定把一部分开了广告拦截插件、用了隐私模式的正常人也误判成了机器。这话我觉得有点道理,得说清楚。但退一步讲,就算打个折扣,从几年前个位数的机器流量占比,一路涨到今天冲上五成,这个方向本身,比这一个数字精不精确重要得多。
更好玩的是普林斯自己这一年多的心路历程。他去年年底还公开预测过,说人机流量的这个交叉点,得等到2027年底才会出现,后来觉得自己保守了,往前挪到2027年初。结果今年5月,他团队的人跑来跟他说,普林斯,这事已经发生了。他自己形容当时的反应是,整个人是懵的。一个天天盯着全网流量数据的人,被自己家的数据打了脸,这事儿听着就有点魔幻。我看到这条新闻的时候,心里也是。。。
......
这个交叉点为什么来得这么快,不是靠一个原因撑起来的。
最大头的一块,还是给大模型喂数据的训练型爬虫,占了AI流量的大概三分之二,不过它的份额其实在往下掉。真正涨得吓人的,是另外两类。
一类是实时抓取型爬虫,就是你搜个问题,AI助手现场跑去把相关网页抓一遍再回答你的那种,安全公司HUMAN Security今年的报告里给的数字,一年时间涨了597%,接近翻了7倍。这个涨幅已经不算小了。
结果这都还不是最猛的。另一类是那种能自己点链接、自己填表单、自己下单结账的AI agent,一年涨了7851%,差不多翻了80倍。我第一次看到这个数字,愣是核对了两遍,确认自己没有多加一个零。
这些抓取流量背后站着谁,同一份报告里也给了名字,不是含糊的某个AI公司。OpenAI占了将近七成,Meta一成六,Anthropic一成一。你平时用ChatGPT问个问题,它转头替你去抓了哪个网站,这事儿现在是有数据可查的,不是一句AI很智能就能糊弄过去的黑箱。
数字讲多了容易飘,我倒是在一篇报道下面看到一个具体的吐槽,一个开了几十年老论坛的站长说,自己那论坛本来就是个不赚钱的小社区,去年下半年开始,每天流量莫名其妙涨到几十个G,跟大公司的量级差不多。查了半天才搞明白,是各种AI爬虫在扫,扫得凶的时候,直接把他那台共享主机的连接数撑爆,论坛一宕机,那帮爬虫还以为自己被封了IP,立马换一批新IP接着扫,跟真的DDoS没什么两样。这操作,你敢信???他最后没辙,只能把整个论坛锁起来,只有注册用户才能看,他自己说的,这不是我愿意干的事,可我实在想不出别的办法。
看完这段我心里咯噔一下,这不就是我们这行天天在焦虑的事情的另一个版本吗。我们天天盯着曝光、盯着阅读、盯着涨粉,说到底都是在数有多少人看见了,可这个人字,现在已经开始打问号了。平台自己肯定有一套过滤机制,不会傻到把爬虫流量算进你的阅读量里,但整个互联网层面的信号已经摆在这儿了,往后内容的受众结构,恐怕不再是单纯人和人的连接,中间会插进来一层又一层的机器,替人看,替人问,替人总结。
......
这事儿真正让我坐不住的地方,其实不是流量数字本身,是它砸向的那块地基,广告。
过去差不多二十五年,整个互联网免费内容能跑得起来,靠的就是一套很朴素的交换逻辑,我给你看免费的东西,你把注意力留给我,我拿这份注意力去换广告主的钱。这套逻辑成立的前提,是屏幕另一头坐着一个活人,这个人会被一张图吸引,会因为一时冲动点进一个链接,会被种草,会掏钱。
机器不会这样。一个来抓取网页内容的爬虫,不会因为看到一条走心的文案就心动,一个替用户查机票的agent,也不会因为旁边插了一条广告banner就顺手买一张跟任务无关的票。你把广告糊到机器脸上,它连眼皮都不会眨一下,因为它压根没有眼皮。普林斯这些日子反复在讲的一个意思也是这个,撑起互联网跑了二十多年的那套广告模式,正在被换成别的东西,具体换成什么,他自己也还在摸索,但方向已经很清楚了,不会再是免费内容换广告曝光这一条路走到黑。
这事儿不只是我们做内容的要发愁。你要是做营销投放、做私域转化,感受可能更直接,花钱买的那波落地页流量,转化率一直不好看,以前大家习惯性归咎于文案不行、页面不行,往后大概得先问一句,这批点进来的,究竟有多少是真人。招聘那边估计也逃不掉类似的怀疑,一条岗位信息发出去阅读量不低,简历却没几份,会不会也有这个因素在里头。我自己没具体查过数据,说的是一个大概率会发生的方向,但这层怀疑,往后大概会变成不少行业做复盘时躲不开的一道前提题了。
那广告这条路走不通了,往后靠什么赚钱?
有意思的是,Cloudflare自己没打算干看着。它这一年多干的事,其实就是把自己从帮你挡机器人的安保公司,慢慢改造成帮你找机器人收钱的收费站。
先是2025年上线的Pay Per Crawl,让网站主可以直接对AI爬虫抓取内容这件事收费。翻译过来就是,以前是随便抓,往后想抓可以,先给钱。不愿意付钱硬闯的,Cloudflare光是应网站主的要求,就已经拦下了超过4160亿次机器人请求。
再往下,它现在在搭一整套叫Monetization Gateway、Wallets,外加一个叫cloudflare.pay的支付产品。说到底就是在给机器和机器之间自己谈生意、自己付钱这件事,先把水管和收费闸门都焊好。
它自己内部还有个更夸张的推演,如果这个增长趋势不变,五年之内,非人类流量可能会是人类流量的一千倍。
往远了想,互联网从一出生,骨子里就是给人设计的。网页排版是照着人眼的阅读习惯来的,验证码是专门拦机器人的,服务器扛不扛得住流量,算的都是同一时段能挤进来多少个真人。这套底层假设,稳稳站了三十年,稳到没人真的把它当一条假设去质疑。现在这条假设第一次开始晃了。
这么看下来,这次的变化跟以前那几次媒介切换还真不太一样。门户时代到搜索时代,广告位从banner变成竞价排名,PC到移动,广告位从banner变成信息流,每一次变的都是广告怎么投,没变的是屏幕那头始终坐着一个人。这一次不一样的地方在于,连读者是人这个最底层的假设,都开始松动了。普林斯把这次变化比作PC到移动那次平台转移,但他自己也承认,这次的速度比移动化快得多,快到他这个天天泡在数据里的人,预测一次错一次。
......
说实话,我看到这堆数字,第一反应是有点发毛的,毕竟我们这行吃的就是被人看见这碗饭。但冷静下来想想,这事儿也不全是坏消息。
那我们这些做内容的普通人,能干嘛呢?
如果机器真的会变成互联网上越来越大的一拨访客,那谁能先想明白怎么伺候好这拨新访客,反而可能先占住位置。这几年大家挂在嘴边的搜索引擎优化,往后可能得多加一门功课,专门给AI读的那份内容要怎么写才更容易被理解、被引用、被信任。这块我自己还没深入研究过,具体怎么做还说不准,但这个方向感觉是站得住的。伺候好机器读者,大概就是你的内容结构够清楚,观点站得住脚,经得起被反复核对,而不是靠一张吸睛的封面图和一个耸动的标题去骗一次点击。机器不吃这一套,它要的是准确和可用。
当然,这话说起来轻巧,真正靠广告和流量过日子的媒体和创作者,日子会难过一阵子,这个我不想回避,也不想假装轻松。我自己现在能做的,也就是把内容本身的质量看得更重一点,少纠结那个曝光数字里到底掺了多少水分。毕竟无论后面读它的是人还是机器,写得不扎实的东西,谁都不会替它买单。
互联网跑了三十年,靠的是人给人看。往后这些年,可能得学着伺候一屋子看不见的机器观众。