Claude Tem dificuldades em Pesquisar sua Própria Memória

Eu tinha o que parecia ser um pedido simples: perguntar ao Claude Code sobre o trabalho que eu já havia feito com o Claude Code.

As respostas estavam todas em algum lugar no disco. O Claude Code armazena transcrições locais como arquivos JSONL, e eu tinha semanas delas: sessões de depuração, decisões de projeto, investigações pontuais, resumos de custos, mudanças de configuração e a trilha habitual de contextos de engenharia meio lembrados.

Em teoria, isso deveria ser fácil.

Dê ao agente acesso aos arquivos. Deixe-o pesquisar. Ele pode grep. Ele pode analisar JSON. Ele pode inspecionar timestamps. Ele pode raciocinar sobre longos contextos. Se algo deveria ser bom em responder perguntas a partir de um monte de texto, deveria ser um agente de codificação com ferramentas de shell.

Na prática, essa é exatamente o tipo de tarefa onde um agente capaz se torna lento, caro e estranhamente frágil.

O problema não é que Claude não pode pesquisar. O problema é que a pesquisa bruta é a abstração errada.

Eu já tinha outra abstração disponível. Eu havia construído claudescope: uma ferramenta local que indexa sessões de agentes de codificação e as expõe através de pesquisa, visualizações de sessão, análises e um servidor MCP.

A questão prática era se essa superfície MCP realmente valia a pena ser exposta ao Claude. Era significativamente melhor do que simplesmente dar ao agente arquivos de transcrição brutos e deixá-lo usar ferramentas normais de shell?

Então, eu fiz um pequeno benchmark em um caso de uso muito específico: responder perguntas sobre minha própria história de agente de codificação AI.

O resultado foi direto:

• A pesquisa em arquivos brutos funcionou, mas foi a pior opção.
• Uma interface de recuperação indexada foi cerca de 2,8x mais rápida na mediana.
• Foi cerca de 2,3x mais barata na mediana.
• Foi também mais precisa, especialmente quando a resposta exigia juntar várias sessões.

O benchmark não mostrou que Claude precisa de mais ferramentas de pesquisa.

Mostrou que Claude precisa de menos trabalho de pesquisa bruta.

O Caso de Uso

Eu uso agentes de codificação intensivamente. Com o tempo, as transcrições se tornam uma verdadeira base de conhecimento.

Elas contêm respostas para perguntas como:

• Por que tomamos essa decisão de projeto?
• Qual foi a causa raiz daquela falha estranha no mês passado?
• Qual sessão continha a correção?
• Quanto custou um projeto em uma determinada semana?
• O que concluímos após comparar várias ferramentas?
• Já investigamos esse bug?

Isso não é uma “memória” hipotética no sentido vago de chatbot. É memória operacional concreta: transcrições locais, timestamps, diretórios de trabalho, chamadas de ferramentas, custos e respostas finais.

A solução ingênua é óbvia: apontar Claude para os arquivos de transcrição e pedir que ele pesquise.

As transcrições do Claude Code vivem como JSONL. Um agente de codificação pode usar rg, jq, sed, Python, SQLite ou qualquer outra coisa que decidir. Para um desenvolvedor humano, isso soa como uma interface razoável. Os dados estão lá. As ferramentas são familiares.

Mas, da perspectiva do agente, cada pergunta agora inclui um imposto:

Isso é muito trabalho antes que o agente tenha até começado a responder a pergunta.

Eu queria saber quão ruim era esse imposto e se a interface MCP indexada do claudescope removia o suficiente dele para justificar ser uma superfície de ferramenta separada.

O Experimento

Eu construí um banco de perguntas a partir da minha verdadeira história do Claude Code: 41 perguntas com respostas de referência verificadas e evidências.

O corpus cobriu três semanas de sessões locais do Claude Code, de 15 de junho a 6 de julho de 2026. As perguntas eram intencionalmente práticas. Algumas eram simples consultas. Outras exigiam a leitura de uma sessão. Outras exigiam agregar custos ou uso de tokens ao longo dos dias. Outras exigiam lembrar decisões espalhadas por várias conversas.

Então, eu executei as mesmas perguntas através de diferentes configurações de ferramentas. A principal comparação foi o acesso a transcrições brutas versus o servidor MCP do claudescope; os braços híbrido e de habilidade estavam lá para responder perguntas de acompanhamento sobre a escolha do agente e mecânica da interface.

• Arquivos brutos O agente poderia usar ferramentas normais de arquivo e shell sobre transcrições locais.
• MCP O agente poderia usar claudescope, o sistema de recuperação indexada que eu já havia construído, exposto através de ferramentas MCP.
• Híbrido O agente tinha tanto ferramentas MCP quanto de arquivos brutos, então poderia escolher.
• Habilidade + CLI Um quarto braço posterior usou o mesmo índice do claudescope, mas através de uma habilidade que ensinou ao agente um fluxo de trabalho de CLI em vez de chamadas de ferramentas MCP.

Cada pergunta foi executada três vezes por braço. As respostas foram avaliadas de forma cega por um modelo juiz separado contra as respostas de referência.

No total: 492 execuções medidas e 492 julgamentos cegos.

O Resultado Principal

A abordagem bruta não foi um desastre. Claude frequentemente encontrava a resposta.

Mas foi consistentemente pior.

Comparado com o MCP, os arquivos brutos eram:

• cerca de 2,8x mais lentos na mediana
• cerca de 2,3x mais caros na mediana
• menos precisos no geral
• menos previsíveis, incluindo as únicas execuções que atingiram o limite de turnos

A última observação é importante. Médias não são toda a história. Quando um agente está pesquisando transcrições brutas, os piores casos se tornam feios: pesquisas amplas, conjuntos de resultados enormes, análise repetida,