Alguém no Reddit perguntou se alguém estava tendo sucesso em fornecer arquivos markdown para LLMs. John Mueller, do Google, compartilhou sua experiência pessoal testando arquivos markdown para consumo por LLM.
Arquivos Markdown para LLMs
Arquivos markdown são conteúdos legíveis por máquinas e humanos que contêm marcações que sinalizam se algo é um cabeçalho e assim por diante. É essencialmente apenas conteúdo com toda a interatividade removida, sem JavaScript ou CSS.
A ideia é que servir esses arquivos para LLMs permitirá que eles consumam o conteúdo sem ter que lidar com o HTML, JavaScript e tudo mais que está lá especificamente para interação humana.
A motivação para servir arquivos markdown para LLM é obter uma vantagem no ranking nas superfícies de busca de IA.
Alguém teve sucesso com arquivos markdown?
Uma pessoa no Reddit iniciou a discussão com esta pergunta:
“Eu já armazeno em cache minhas páginas web em html, então não é um grande trabalho convertê-las para markdown e armazená-las em cache novamente, e depois verificar os cabeçalhos para ver se um bot pede markdown. Eu li tudo que consegui encontrar online e o consenso parece ser que não vai ajudar a obter mais citações de IA, mas também não fará mal.
Estou me perguntando se ainda vale a pena fazer isso, apenas para impedir que bots de IA sobrecarreguem meu site. Tive que bloquear alguns no Cloudflare porque estavam enlouquecendo, mas se eles estão solicitando arquivos markdown menores, talvez valha a pena permitir que eles voltem (posso reduzir os arquivos para cerca de um terço do tamanho).
Suponho que minha pergunta seja, alguém já viu um dos principais bots de IA solicitar markdown?”
A experiência de John Mueller, do Google, foi que os únicos bots que acessaram seus arquivos markdown são de ferramentas de SEO.
Mueller compartilhou:
“Nos meus sites de teste, os únicos crawlers que afirmam aceitar markdown são ferramentas de SEO. Ymmv.
(Além disso, é irritante que as configurações do servidor que uso não registram o cabeçalho de aceitação, então você tem que configurar manualmente para registrar mesmo que você só queira ver se alguém aceitaria. Se você estiver curioso sobre seus sites, eu recomendaria descobrir como registrar isso e verificar as métricas primeiro.)”
Arquivos Markdown são como Meta Tags de Palavras-Chave
O problema com arquivos Markdown para LLMs é que todas as empresas de busca generativa e LLM dominaram completamente a indexação e rastreamento de arquivos HTML. Além disso, é do interesse delas baixar o que os usuários veem, não conteúdo especial feito apenas para LLMs.
A razão é que os proprietários de sites e SEOs não podem ser confiáveis com conteúdo que é apenas para LLMs. Esta é a razão pela qual as meta tags de palavras-chave falharam. Todos as rechearam com variações de palavras-chave, erros de ortografia e frases que não apareciam em seu conteúdo.
Não há vantagem para LLMs e agentes de IA em consumir arquivos markdown porque eles não são confiáveis e porque baixar e indexar conteúdo HTML é trivial, é um problema que foi resolvido há mais de trinta anos.
Markdown para Agentes de IA
O Cloudflare acredita que arquivos markdown são extremamente populares entre LLMs. Eles oferecem serviços que podem fornecer arquivos markdown para agentes de IA que essencialmente os solicitam.
Recentemente escreveram:
“Markdown rapidamente se tornou a língua franca para agentes e sistemas de IA como um todo. A estrutura explícita do formato o torna ideal para processamento de IA, resultando, em última análise, em melhores resultados enquanto minimiza o desperdício de tokens.
A rede do Cloudflare suporta conversão de conteúdo em tempo real na origem, para zonas habilitadas usando cabeçalhos de negociação de conteúdo ↗. Quando sistemas de IA solicitam páginas de qualquer site que usa Cloudflare e tem Markdown para Agentes habilitado, eles podem expressar a preferência por text/markdown na solicitação e nossa rede automaticamente e eficientemente converterá o HTML em Markdown, quando possível, em tempo real.”
Honestamente, isso não é a realidade. Se fosse, aquela discussão no Reddit estaria cheia de histórias de sucesso com arquivos markdown.
Instruções para Agentes de IA
OpenAI e Anthropic são mais realistas sobre arquivos markdown porque essa é a “língua franca” para habilidades, orientações e instruções de agentes de IA.
Uma página de suporte da OpenAI explica:
“Instruções personalizadas com AGENTS.md
Dê ao Codex instruções e contexto extras para seu projetoCodex lê arquivos AGENTS.md antes de fazer qualquer trabalho. Ao sobrepor orientações globais com substituições específicas do projeto, você pode começar cada tarefa com expectativas consistentes, não importa qual repositório você abra.”
Conclusões
- Não há evidências aqui de que servir versões Markdown de páginas da web melhora citações de IA ou visibilidade de busca de IA.
- John Mueller, do Google, diz que os únicos crawlers em seus sites de teste que se interessaram por seus arquivos markdown eram ferramentas de SEO.
- Aconselhamento de Mueller é configurar maneiras de rastrear se bots de IA estão realmente solicitando Markdown antes de se comprometer totalmente a gerá-los para bots.
- Todos os sistemas de IA já podem rastrear e indexar HTML. Não há necessidade, para eles, de uma versão Markdown separada de páginas HTML.
- O Cloudflare suporta conversão automática de HTML para Markdown quando sistemas de IA o solicitam. Mas sua descrição da demanda de agentes de IA por isso é excessivamente entusiástica.
- Markdown já é útil para instruções e contexto de agentes de IA, incluindo o uso do AGENTS.md pelo OpenAI Codex, bem como para o Claude da Anthropic.
- A utilidade do Markdown para agentes de IA não se estende a fornecer vantagens para rastreamento, indexação e classificação em mecanismos de busca de IA.
Imagem em destaque por Shutterstock/ezphoto
