Cloudflare quer construir a camada econômica da web de IA

A IA mudou a web diante de nossos olhos. Com os Resumos de IA do Google fazendo o trabalho pesado, publicações que antes dominavam a primeira página dos resultados de busca estão sendo substituídas por resumos. Os leitores obtêm suas respostas sem nunca clicar. Grande parte do tráfego simplesmente parou.

A Cloudflare anunciou na quarta-feira uma série de atualizações para publicadores que estão enfrentando essa nova realidade. Desde novas classificações de rastreadores e painéis de análise até ferramentas de Otimização de Resposta e uma expansão de seu programa Pague Por Rastreamento, está claro que a empresa está tentando se tornar os tubos econômicos da web de IA.

A mudança de 'manter fora' para 'vamos fazer um acordo'

Um ano atrás, a proposta da Cloudflare era praticamente defensiva, afirmando que os proprietários de sites deveriam ser capazes de bloquear rastreadores de IA. E embora isso ainda seja verdade, a empresa mudou para discutir a construção de "trilhos" para uma "economia agente". E faz sentido. Se agentes de IA já estão navegando na web, coletando conteúdo e, em alguns casos, comprando coisas, alguém precisa lidar com a parte comercial de como os sites que visitam são compensados. A Cloudflare acha que esse alguém deve ser a Cloudflare.

Pagando por valor, não por visitas

Há aproximadamente um ano, a Cloudflare lançou Pague Por Rastreamento, que permitia que publicadores definissem um preço para as empresas de IA pagarem quando acessassem uma página. Agora a empresa está avançando para Pague Por Uso, o que significa que os publicadores são pagos quando seu conteúdo realmente aparece em uma resposta gerada por IA.

Para retroceder, sob o antigo modelo, um rastreador de IA paga para visitar seu site, independentemente de fazer algo útil com o que encontra. A Cloudflare diz que já está testando isso com Ceramic.ai e You.com, cada um executando versões ligeiramente diferentes do conceito.

Em vez de cobrar pelo acesso — que é basicamente uma cabine de pedágio — os publicadores estão cobrando pelo valor.

A economia aqui muda. Em vez de cobrar pelo acesso — que é basicamente uma cabine de pedágio — os publicadores estão cobrando pelo valor. Isso está mais próximo de como o marketing de afiliados ou acordos de licenciamento funcionam, e é um problema muito mais difícil de resolver. Isso requer saber qual conteúdo contribuiu para qual resposta, o que significa uma infraestrutura de atribuição que ainda não existe em grande escala.

Rastreador precisa de rótulos mais claros

Mas aqui é onde as coisas ficam mais técnicas — e um pouco políticas.

A Cloudflare quer que as empresas de IA parem de agrupar todos os seus rastreadores. Neste momento, um único bot de uma grande empresa de IA pode estar acessando páginas para indexação de busca, treinamento de modelo e tarefas de agente ao mesmo tempo. Isso torna impossível para os proprietários de sites dizerem sim a um uso e não a outro.

A partir de 15 de setembro, a Cloudflare planeja mudar os padrões para novos sites e sites de nível gratuito. O rastreamento de busca de IA permanece ativo, mas o acesso para treinamento e agentes será bloqueado em páginas suportadas por anúncios, a menos que o proprietário do site opte por participar. Rastreador de uso misto que se recusar a separar seu tráfego será bloqueado completamente.

A empresa está claramente fazendo uma crítica ao Google aqui, observando que a abordagem agrupada do Google lhe dá acesso a aproximadamente o dobro do conteúdo em comparação com concorrentes nativos de IA. Separar a intenção dos rastreadores se tornou um pré-requisito para qualquer tipo de mercado funcional entre publicadores e empresas de IA. Porque se os proprietários de sites não conseguem distinguir entre "indexar minha página para busca" e "treinar seu modelo com minha escrita", eles cada vez mais apenas bloquearão tudo.

Separar a intenção dos rastreadores se tornou um pré-requisito para qualquer tipo de mercado funcional entre publicadores e empresas de IA.

Otimização para respostas de IA

A Cloudflare também está lançando um painel projetado para equipes de negócios, chamado Insights de Atribuição Empresarial. Pense nisso como o equivalente de IA de conhecer seus números do Google Search Console, exceto que o "motor de busca" agora é o ChatGPT ou Perplexity ou qualquer que seja o agente que seu leitor tenha perguntado.

Além disso, a Cloudflare está introduzindo a Otimização de Resposta (AEO). A ideia é que ranquear no Google não é mais suficiente; para os publicadores terem sucesso, eles também precisam entender como e onde seu conteúdo é citado em respostas geradas por IA. Esse é um problema de otimização diferente do SEO, e atualmente quase ninguém tem boas ferramentas para isso.

Infraestrutura como vantagem competitiva

A Cloudflare já está entre sites e a internet. Ela vê o tráfego e sabe o que mudou em uma página e o que não mudou. Ela pode dizer a um rastreador para voltar mais tarde porque nada é novo, o que, a propósito, diz que eliminaria mais de 50% do tráfego atual de rastreamento de IA.

Isso coloca a Cloudflare em uma posição única. Ela já faz parte do caminho entre empresas de IA e a web. Agora ela quer se tornar a camada que gerencia acesso, atribuição e, eventualmente, pagamentos entre eles. Se agentes de IA se tornarem a principal maneira de as pessoas encontrarem informações online, a Cloudflare está apostando que a próxima batalha não será sobre quem constrói o modelo mais inteligente, mas sim sobre quem constrói a infraestrutura da qual todos os outros dependem.

Se os agentes de IA se tornarem a principal maneira de as pessoas encontrarem informações online, a Cloudflare está apostando que a próxima batalha...