Servidor MCP Parte 2: SageMaker Studio, Manifesto Kubernetes, Load Balancer e Cliente MCP para Detecção de Fraudes

Olá a todos. Quero continuar escrevendo sobre o servidor MCP de detecção de fraudes. Neste tutorial de blog, quero criar um servidor MCP no Amazon Elastic Kubernetes Service (EKS) usando a imagem de detecção de fraudes do ECR que já foi criada anteriormente. Amazon EKS é um serviço Kubernetes totalmente gerenciado que constrói, executa e escala aplicações Kubernetes, como IA generativa, IA agente e IA física.

REQUISITOS :

1. Tutorial do blog do Servidor MCP Parte 1, você pode ver este link
2. Conta AWS, você pode se inscrever/entrar aqui
3. kubectl para aplicar o manifesto Kubernetes para o serviço vLLM e o balanceador de carga do servidor MCP, você pode ver este link
4. FastMCP para cliente MCP nativo, você pode ver este link
5. (Opcional) Adaptador MCP Langchain para cliente MCP, você pode ver este link

MANIFESTO KUBERNETES - vLLM :

Depois que todos os serviços AWS criados estiverem disponíveis, atualize o cluster Auto Mode do EKS executando este script shell.

cd ..

cd manifests

export AWS_ACCOUNT_ID=$(aws sts get-caller-identity \
  --query Account \
  --output text)

aws eks update-kubeconfig --region us-west-2 --name vllm-mcp-server

aws iam list-roles \
  --query "Roles[?contains(RoleName, 'SageMaker')].[RoleName,Arn]" \
  --output table

O script shell acima significa :

• export AWS_ACCOUNT_ID = especificar o ID da conta AWS (não escreva o ID da conta codificado).

• aws eks update-kubeconfig = configurar/autenticar kubectl para conectar ao cluster EKS.

• aws iam list-roles = exibir informações sobre a função IAM na conta AWS. Exemplo :
  
  

aws eks create-access-entry \
  --cluster-name vllm-mcp-server \
  --principal-arn arn:aws:iam::${AWS_ACCOUNT_ID}:role/service-role/AmazonSageMaker-ExecutionRole-xxxxx \
  --type STANDARD \
  --region us-west-2

aws eks associate-access-policy \
  --cluster-name vllm-mcp-server \
  --principal-arn arn:aws:iam::${AWS_ACCOUNT_ID}:role/service-role/AmazonSageMaker-ExecutionRole-xxxxx \
  --policy-arn arn:aws:eks::aws:cluster-access-policy/AmazonEKSClusterAdminPolicy \
  --access-scope type=cluster \
  --region us-west-2

O script shell acima significa :

• aws eks create-access-entry = permitir que o principal IAM (principal-arn) acesse o cluster EKS.

• aws eks associate-access-policy = associar a política de acesso à entrada de acesso.

Execute este manifesto Kubernetes do serviço vLLM.

cd vllm
kubectl apply -f ebs.yaml
kubectl apply -f pvc.yaml
kubectl apply -f nodepool.yaml
kubectl apply -f envsubst < deployment.yaml | kubectl apply -f -
kubectl apply -f service.yaml

O manifesto Kubernetes acima significa:

• ebs.yaml = criar Classe de Armazenamento usando o Amazon Elastic Block Store (EBS) que é provisionado automaticamente quando a aplicação solicita armazenamento persistente. Neste caso de uso, o EBS é usado para manter o modelo Gemma 4 e o cache do Hugging Face persistente.

• pvc.yaml = criar uma solicitação de volume persistente associada à classe de armazenamento que foi criada.

• nodepool.yaml = criar Pool de Nós usando o Karpenter para gerenciar recursos computacionais no cluster Kubernetes. Karpenter é um escalador automático de cluster Kubernetes de código aberto. Neste caso de uso, use a instância GPU EC2 g6.2xlarge disponível após solicitação ao Quota de Serviços da AWS.

• deployment.yaml = criar uma implantação Kubernetes gemma-4-vllm que implanta a imagem do servidor vLLM do Amazon ECR ${AWS_ACCOUNT_ID}.dkr.ecr.us-west-2.amazonaws.com/vllm-gemma-4-eks:0.25.0-eks, porta 8000, precisa de 1 GPU NVIDIA, serve Gemma 4 e depois baixa Gemma 4 para o PVC EBS.

• service.yaml = criar um serviço Kubernetes gemma-4-vllm para o servidor vLLM. Verifique o arquivo app.py na pasta mcp-server e veja esta linha. Este serviço Kubernetes é envolto com as conclusões de chat da OpenAI.
  

VLLM_URL = "http://gemma-4-vllm:8000/v1/chat/completions"

Para verificar se o servidor vLLM está em execução ou não, escreva kubectl get pods e veja os pods vLLM até que o status esteja em Execução.

MANIFESTO KUBERNETES - SERVIDOR MCP :

Antes de implantar o manifesto Kubernetes para o servidor MCP, crie e configure uma Identidade de Pod EKS para acesso ao Amazon DynamoDB.

cd