Ahrefs analisou logs de 137.000 domínios e descobriu que 97% dos arquivos llms.txt não receberam solicitações. Nenhum bot, nenhum humano.
A análise usou dados do Ahrefs para identificar agentes de usuário que buscavam arquivos. Cerca de 28% dos 137.000 domínios publicam um arquivo llms.txt, mas como os clientes do Ahrefs são mais técnicos, a adoção real na web mais ampla provavelmente é menor.
De aproximadamente 38.000 domínios com arquivos válidos, apenas cerca de 1.100 receberam qualquer tráfego.
Dos arquivos com solicitações, 96% vieram de bots, principalmente não-AI. Bots de recuperação de AI vinculados ao ChatGPT e Perplexity representaram 1%.
Quem Busca Arquivos llms.txt
Ferramentas de auditoria de SEO tiveram 21% das solicitações, seguidas de bots não identificados (14%), crawlers da web como Googlebot (13%) e ferramentas de perfilamento técnico como BuiltWith (11%).
Bots de AI, em quatro categorias, representaram 19% das solicitações. A AI é o maior segmento, mas a divisão difere das expectativas da maioria dos defensores do llms.txt.
Agentes de codificação enviaram 10% das solicitações, crawlers de treinamento 5%, assistentes 2%. Claude-Code e GPTBot foram os principais bots individuais.
O Slackbot sozinho buscou arquivos llms.txt com mais frequência do que o PerplexityBot.
A Indústria Estudando a Si Mesma
O relatório encontrou 12% das solicitações de ferramentas que auditam, escaneiam ou estudam arquivos llms.txt em vez de usá-los.
Ferramentas de prontidão GEO e AEO enviaram 5% das solicitações; scanners e validadores dedicados enviaram 3%, mais do que bots de recuperação de AI e assistentes combinados. Bots de pesquisa enviaram 2%, com o maior crawler de pesquisa se identificando como uma pesquisa de injeção de prompt.
Um ecossistema se desenvolveu em torno da pontuação e catalogação de um formato de arquivo antes que um público significativo apareça.
Nenhum Bot de AI Procura Arquivos Que Não Existem
Solicitações para caminhos /llms.txt com erros 404 não atraíram tráfego de AI. Humanos acessando esses 404 parecem ser pessoas digitando a URL em navegadores, provavelmente verificando concorrentes.
A auditoria llms.txt do Chrome Lighthouse, que reacendeu o debate sobre llms.txt em maio, gerou cerca de 22 solicitações em todo o conjunto de dados, aproximadamente 1 em cada 1.000.
Por Que Isso Importa
Os dados se alinham com o que John Mueller do Google disse sobre llms.txt por mais de um ano. Lily Ray pressionou Mueller sobre a diferença entre o desprezo do Google Search e a auditoria do Chrome Lighthouse. Ele disse que llms.txt "não é feito para pesquisa" e chamou de "uma muleta temporária, talvez para economizar alguns tokens" para ferramentas de codificação de AI.
Os dados mostram que o público do arquivo são agentes de codificação e crawlers de treinamento, não bots de pesquisa e recuperação de AI que gerariam citações.
Nós reportamos sobre a divisão entre a pesquisa do Google e a documentação do Lighthouse em maio. A análise anterior da SE Ranking de 300.000 domínios mostrou nenhuma conexão entre ter llms.txt e a frequência de citações de AI. Os dados do Ahrefs apontam para uma possível razão: os bots mais diretamente ligados à recuperação de AI ao vivo mal solicitaram esses arquivos em maio.
Olhando Para Frente
A descoberta de injeção de prompt vale a pena acompanhar. Ahrefs encontrou um crawler estudando llms.txt como um risco de injeção de prompt, uma vez que os agentes confiam no conteúdo ingerido. Sites que geram automaticamente esses arquivos via CMS devem revisar seu conteúdo.
Cada figura neste relatório é um teto. Ahrefs mediu solicitações, não se os bots agiram com base no que buscaram.
Imagem em Destaque: sdecoret/Shutterstock
