Otimizando a Latência com Cache MCP

Recentemente, passei uma tarde frustrante depurando um bot de suporte construído sobre o LangGraph, onde o bot ocasionalmente levava um tempo excessivo para responder às consultas dos usuários. O fluxo de trabalho do bot envolvia múltiplas chamadas de ferramentas para serviços externos, como desambiguação de entidades e análise de sentimentos, que foram implementadas usando o Protocolo de Contexto do Modelo (MCP). Depois de analisar os logs, percebi que o bot estava gastando uma quantidade significativa de tempo esperando que essas chamadas de ferramentas fossem concluídas, mesmo quando os dados de entrada eram idênticos a solicitações anteriores. Isso estava causando um aumento na latência geral do bot, levando a uma experiência ruim para o usuário.

A causa raiz do problema era que o bot não estava aproveitando os mecanismos de cache do MCP para chamadas frequentes de ferramentas. Sempre que o bot precisava fazer uma chamada de ferramenta, ele criava uma nova solicitação e aguardava a resposta, mesmo que a mesma solicitação já tivesse sido feita antes. Isso não era apenas ineficiente, mas também desnecessário, já que os resultados dessas chamadas de ferramentas eram frequentemente determinísticos e não mudavam entre as solicitações.

Para resolver esse problema, comecei identificando as ferramentas mais frequentemente chamadas no fluxo de trabalho do bot e configurando o MCP para armazenar em cache seus resultados. Isso envolveu adicionar uma camada de cache sobre as chamadas de ferramentas, que armazenaria os resultados de solicitações anteriores e os retornaria imediatamente se a mesma solicitação fosse feita novamente. Usei a variável de ambiente MCP_CACHE para habilitar o cache para as ferramentas específicas que precisavam disso.

Veja um exemplo de como implementei o cache para uma ferramenta de análise de sentimentos usando os mecanismos de cache do MCP:

import os
import langgraph as lg
from langgraph.tools import MCPTool

# Habilitar cache para a ferramenta de análise de sentimentos
os.environ['MCP_CACHE'] = 'sentiment_analysis_tool'

# Definir a ferramenta de análise de sentimentos
class SentimentAnalysisTool(MCPTool):
    def __init__(self):
        super().__init__('sentiment_analysis_tool')

    def run(self, input_text):
        # Fazer a chamada da ferramenta e armazenar o resultado em cache
        cached_result = self.cache.get(input_text)
        if cached_result is not None:
            return cached_result

        # Se o resultado não estiver em cache, fazer a chamada da ferramenta e armazenar o resultado
        result = self.make_tool_call(input_text)
        self.cache.set(input_text, result)
        return result

# Criar um fluxo de trabalho do LangGraph que usa a ferramenta de análise de sentimentos
workflow = lg.StateGraph()
sentiment_tool = SentimentAnalysisTool()

# Adicionar um nó ao fluxo de trabalho que usa a ferramenta de análise de sentimentos
workflow.add_node('sentiment_analysis', sentiment_tool.run)

# Adicionar arestas condicionais ao fluxo de trabalho com base no resultado da análise de sentimentos
workflow.add_conditional_edges('sentiment_analysis', [
    (lambda x: x > 0.5, 'positive_sentiment'),
    (lambda x: x < -0.5, 'negative_sentiment')
])

# Executar o fluxo de trabalho e imprimir o resultado
result = workflow.run('Este é um ótimo produto!')
print(result)

Ao aproveitar os mecanismos de cache do MCP, consegui reduzir significativamente a latência do bot de suporte e melhorar a experiência geral do usuário. Um detalhe prático a ser observado ao implementar o cache é garantir que o cache seja devidamente invalidado quando os dados subjacentes mudam. Neste caso, certifiquei-me de invalidar o cache sempre que o modelo de análise de sentimentos fosse atualizado ou re-treinado.

À medida que continuamos a construir sistemas agenticos mais complexos, otimizar a latência e o desempenho se tornará cada vez mais importante. Amanhã, exploraremos outro aspecto crítico da construção de sistemas agenticos escaláveis e como aplicar as lições aprendidas nesta experiência para enfrentar problemas ainda mais desafiadores.