让AI代理付费才能读你的网页:一分钱一页的x402、Cloudflare钱包,和谷歌的AI贡献分成,独立站该怎么选


大家好,我是Neo。

9月中旬这一周,有三条看起来毫不相关的消息,其实说的是同一件事:“内容换流量”这个延续了25年的默认协议,第一次被摆到了谈判桌上。

  • 9月14日:Digiday 报道,谷歌正在 Search Console 里测试一个叫 “AI contribution pilot”(AI贡献试点) 的项目——当你的内容对 AI 生成的回答有“显著贡献”时,谷歌给你打钱。
  • 9月15日:Search Engine Journal 的作者 Suganthan Mohanadasan 公开了自己的实验——他的页面在 AI 代理读取之前先报价。当天早上有 5 笔付款完成,每笔都在区块链上有公开的交易哈希。
  • 7月14日:x402 Foundation 在 Linux Foundation 下正式运作,40 家企业加入,名单里有 Visa、Mastercard、Google、AWS、Stripe、Shopify、Coinbase、Cloudflare、American Express。

再往前一点:Cloudflare 在 8月4日开放了 Wallet handle 预约,7月1日发布了 Monetization Gateway。

我知道这些名字堆在一起很劝退。所以这篇我按“钱从哪来、你能看到什么、现在能不能用”三个维度,把三条路拆开讲清楚,最后给你一份独立站现在就能做的准备清单。

先把三条路摆在一张表里

路线 代表 钱从哪来 你能看到什么 现在能用吗
平台分成 谷歌 AI contribution pilot 谷歌按月打钱 一个月度总额,没有明细 仅限受邀站点,早期试点
按次收费(B2B) Cloudflare Pay Per Crawl → Pay Per Use 爬虫为访问付费 请求与付款记录 Pay Per Crawl 仍在闭测;Pay Per Use 在试点
自己写价签(开放协议) x402 协议自建 代理按 HTTP 请求付费 你自己服务器上的一切 已经可以自测(本文有示例)

还有第四条:直接屏蔽。成本最低,收益也是零——它换来的是控制权,不是收入。这个我们后面单独说。

第一条路:谷歌给钱,但你不参与定价

先看细节,因为细节决定了这条路的性质。

根据 Digiday 拿到的帮助文档截图和 Barry Schwartz 的整理,这个试点的规则是这样的:

  • **只有在“生成阶段”有显著贡献才算钱。**文档原话大意是:AI contribution 关注的是“回答被生成”的那个阶段;网页内容如果只是事后被引用、被链接,或者只是用来核对事实,不计入。
  • 覆盖三个产品:Gemini App、AI Overviews、AI Mode。注意这比 Search Console 的生成式 AI 报告多一个产品——后者只统计 AI Overviews 和 AI Mode 的展示。
  • 面板上只有一个数:月度收入 + 一部分历史。付款与收入是两套流程,实际到账可能因为税或当地支付门槛而不同。怎么算出来的,不展示。
  • 可以随时退出,在 Search Console 设置里操作。

一位了解该项目的高管对 Digiday 的说法是:“相当黑箱(quite black box)。” 还有出版方透露,早期收益相比广告收入是**“花生米级别的(peanuts)”**。

两个容易被忽略的点:

第一,进入门槛比你想的低。 谷歌过去给钱的合作都是和新闻出版方一对一谈的,这次是通过 Search Console 的面板,而且已经远远超出新闻站点的范围。Digiday 提到,中小站点比大出版方更积极。

第二,接受它会有代价。 一位出版业高管对 Digiday 说的这句话我觉得值得全文照抄给做独立站的朋友:接受这个试点,可能削弱你在争取更好条款时的谈判地位——因为谷歌可以说“我已经在付钱了”。

Neo的解读:这条路的本质不是“定价”,而是**“版权赔偿的替代方案”。它把一件本该由市场谈判决定的事,变成了平台单方面给你一个数,你还看不到账本。对于内容量不大、谈判筹码有限的独立站,这可能是唯一能拿到的现金;但你要清楚,你换来的不是收入,而是放弃了未来索价的权利**。

第二条路:Cloudflare 把价格写进请求里

Cloudflare 这条路更工程化,也更接近“市场”。

第一步:Pay Per Crawl(2025年7月1日)

Cloudflare 当时的出发点很朴素:内容方只有两个选择——大门全开,或者建墙。他们想做第三条路:收费。实现方式是把一个几乎被遗忘的 HTTP 状态码重新启用了:

HTTP 402 Payment Required。这个码 1997 年就写在 HTTP 规范里了,一直是“预留给未来使用”。二十多年后,它终于有了用途。

机制上,每个域名主可以给爬虫设三档:Allow(免费放行)/ Charge(收费)/ Block(拒绝,且不给付费机会)。有趣的是,Cloudflare 允许你对一个根本没和它有账单关系的爬虫选择“Charge”——效果等同于网络层封禁,但同时也告诉对方:未来可以有关系。

还有一个技术细节很关键:怎么防止有人冒充 GPTBot?答案是 Web Bot Auth——爬虫生成 Ed25519 密钥对,把公钥放在可访问的目录里,每个请求带上 HTTP Message Signature。签名比 User-Agent 可靠,因为 User-Agent 可以随便抄。

第二步:转向 Pay Per Use(2026年)

到 2026 年,Cloudflare 把默认思路从“按抓取付费”改成了**“按使用付费”**,试点方包括 Ceramic.ai 和 You.com。理由很直接:抓取一页,不能证明这页内容真的被用上了。

这个区分的分量,比看起来大。因为对网站主来说,“被下载”和“被使用”的证据强度完全不同——而被使用这件事,网站主自己根本无法独立观测。页面离开你的服务器之后,它有没有影响那个回答,你看不见。

所以 Pay Per Use 的代价是:你只能相信平台告诉你发生了什么、值多少钱。

第三步:Wallets(2026年8月4日)

Cloudflare 在 Agents Week 期间发布了 Wallets,设计上分成两类:

  • Account Wallets:属于人。可以充值、给代理分配额度、随时提现。
  • Virtual Wallets:属于代理。通过 API key 操作,额度上限由账户钱包的所有者设定,可以配每日额度、白名单、单笔上限。

他们解释这个设计的逻辑很有意思:额度看起来是限制,实际上是给代理更多自由。如果一个代理只对 10 美元负责,你就敢让它自己到处试服务;如果它手握 1000 美元,你只会盯着它。

但请注意现在的真实状态:到 9 月 15 日为止,预约 handle 只给你一个展示名字的页面和一条“上线后通知我”的提示。官方文档明确说,预留的 handle 目前不能收款、付款或持有资金。 Monetization Gateway 也还在 waitlist 阶段。

第三条路:x402,把价签挂在 HTTP 响应里

SEJ 那位作者做的实验,用的是开放协议 x402(也是 Cloudflare Monetization Gateway 要采用的那一套),所以他不依赖任何平台的审批就能自己跑起来。

x402 的完整交互只有四步:

  1. 代理请求页面 → 服务器返回 402 Payment Required,并附上 PAYMENT-REQUIRED 头,里面写明价格和支付要求;
  2. 代理签名授权转账相应金额的 USDC → 带上 PAYMENT-SIGNATURE 头重试请求;
  3. 支付服务商验证签名并在链上完成结算(他用的是 Coinbase 的 facilitator);
  4. 服务器返回内容 + PAYMENT-RESPONSE 头,里面是结算凭据。

服务器实际发出的报价长这样(从一次真实的 402 响应里解出来的):

{
  "x402Version": 2,
  "accepts": [{
    "scheme": "exact",
    "network": "eip155:84532",
    "amount": "10000",
    "asset": "0x036CbD53842c5426634e7929541eC2318f3dCF7e",
    "payTo": "0xEdF2444D0259BBB8aC5094216D0148938F8308ff",
    "maxTimeoutSeconds": 300,
    "extra": { "name": "USDC", "version": "2" }
  }]
}

翻译一下:要 1 美分(USDC 是六位小数,10000 = 0.01),付到指定钱包,300 秒内有效。一个兼容的客户端读得懂这份报价,不需要注册账号、不需要 API key,就能完成付款并拿到内容。

用 curl 访问受保护的地址,返回的就是这一行:

$ curl -i https://你的域名/受保护页面/
HTTP/2 402
payment-required: eyJ4ND...b3Ii...

他还做了两层“代理预算护栏”,这可能是整个实验里最值得抄的部分:

  • 单笔上限:$0.05;
  • 每日额度:$0.25,记在本地账本里。

超出任何一条,脚本就拒绝付款并打印原因:

[step 3] Spending guardrails
[refused] Price $0.0100 exceeds the per call cap of $0.0010.
This agent does not negotiate. Raise MAX_PER_CALL to override.

**为什么这段比报价本身重要?**因为他点出了一个几乎没人讨论的风险:如果代理对任何报价都照付,那“付费墙”就变成了“给爬虫的通行费”——价格是你标的,但对方根本不看。

他另外做了个未开启的模式:只对已知 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot 等)收费,人类访客免费。他用伪造的 User-Agent 测过,行为符合预期。但他也很坦白:User-Agent 可以伪造,这只能演示行为,不能证明身份——真正的身份验证要靠 Cloudflare 那套加密签名。

最重要的一句话:现在收费,等于放弃被引用

我必须把这句话单独拎出来,因为这是目前所有“收费”方案绕不过去的现实。

作者自己的总结是:GPTBot、ClaudeBot 和 Googlebot 现在都不会按你的价格付费。你现在就开收费,损失的是引用(citations)。

他也说清楚了测试的性质:所有付款都来自他自己的代理,没有任何搜索爬虫真的来付钱;用的还是测试网 USDC,没有真实价值。

这不是技术问题,是市场阶段问题:

  • 买方(爬虫/代理)还没有普及付款能力:Cloudflare 的付费侧需要 Web Bot Auth 验证、Stripe 开户、项目审批,个人代理根本进不去;
  • 卖方(网站)一旦收费,就自动退出 AI 回答的引用池——而引用池正是当下最稀缺的资源。

所以现在的正确姿势不是收钱,是准备。

独立站现在该做的五件事

1. 先量化你的“抓取-回馈比”

打开服务器日志(或 CDN 日志),按 User-Agent 分组,算两个数:

  • 每个 AI 爬虫每月抓了多少次;
  • 带回来的可识别流量有多少。

如果某个爬虫抓了你 10 万次、带来 12 次访问,这个数就是你未来谈判的起点。没有这个数,任何“该不该收费”的讨论都是情绪。

2. 别一刀切屏蔽,先分类

三类要区别对待:

类型 代表 处理思路
训练爬虫 各家的大规模语料抓取 可考虑限制:不带来引用,还占带宽
检索/引用爬虫 让 AI 能引用你的那类 不要屏蔽,这是曝光入口
用户触发的代理 用户让代理来读你的页面 相当于真实访客,只能按“人”对待

3. 做一次“定价资格审计”

x402 的价签谁都能挂,但能不能收得上钱,取决于你独一无二的程度。

值得问自己:这个页面上有没有别的地方看不到的东西?一手数据、原创实测、独家访谈、可核验的价格/规格表——这些才有议价权。反过来,泛泛而谈的科普稿,在 AI 眼里到处都是替代品。

结论很残酷但很有用:内容要有价格,先得有不可替代性。

4. 在“关开之前”把能力准备好

不需要今天上线收费,但可以先把管道留出来:

  • 你的 CDN/WAF 是否支持按 User-Agent 或签名区分爬虫并返回 402?
  • 是否支持 Web Bot Auth 的签名校验?
  • 收费页面是否有给人类看的价格说明页和免费预览?(两件都别偷懒,否则你会同时得罪爬虫和访客)
  • 代理预算护栏你打算设多少?单笔、日额度、白名单。

5. 盯三个上线时间点

  • Monetization Gateway 何时开放(决定你能不能“零开发”接入按次收费);
  • Cloudflare Wallets 何时真正能收付款(现在是注册了也不能用);
  • 谷歌 AI contribution pilot 是否扩面,以及它会不会公布计算口径。

Neo的解读:内容正在从“公开信号”变成“可交易的资源”

我的判断有三层。

**第一层,这是SEO的一个新KPI。**过去二十年,内容的回报只有一种度量方式:排名和流量。接下来会多一列:每千次抓取能换回多少钱(或者换成多少引用)。对内容型独立站,这一列迟早要进报表。

**第二层,独立站最该做的不是选边,而是分层。**把站点内容分成两类:

  • “AI必须来读”的资产型内容——原创数据、评测、对比表、术语定义。这类内容未来有定价权,现在要做的是让它是唯一来源(别到处分发副本);
  • “只有人类才需要”的转化型内容——产品页、价格页、退换货、客服、结账。这类内容的KPI是转化率,不是抓取量。

把这两类混在一起做,就会出现最糟糕的结果:你用独家数据吸引了AI,用带宽承担了成本,最后它把用户带去了别处,而你连一次转化都没接到。

**第三层,谷歌的分成试点,短期是现金,长期是筹码交换。**我理解中小站点很难拒绝一笔白来的钱,但请至少做一件事:**在接受前,把“你未来的谈判权”写进决策笔记里。**如果哪天你想和AI公司签许可协议,对方说“谷歌已经在按贡献付你钱了”,你拿什么回答?

最后

有个细节我特别喜欢:HTTP 402 这个状态码,1997 年就被写进了规范,一直空着。二十九年后的 2026 年,它终于被用来回答一个很古老的问题——“你凭什么免费拿走我写的东西?”

这个问题过去没有答案,因为技术上是开放的、经济上没得选。现在,技术上已经有了答案(402 + 签名 + 微支付),剩下的只是谁先按下那个开关。

我的建议是:现在别按,但要知道开关在哪。

因为等主流爬虫真的开始付钱的那天,能收到钱的,一定是那些早就在记账、早就在分层、早就把独家内容做成唯一来源的站点。