Deixe o Claude Desktop e Cursor assistirem vídeos

Meu agente de IA aprendeu a assistir vídeos esta semana. Aqui está a versão de 3 linhas de como dar a ele a mesma habilidade.

claude-real-video (MIT, 1.9k estrelas) extrai quadros-chave cientes da cena, deduplicados, além de uma transcrição com timestamp de qualquer URL de vídeo ou arquivo local — todo o processamento na sua máquina. Desde a versão 0.8.0, ele é enviado como um servidor MCP, para que os clientes MCP possam solicitar um vídeo diretamente.

Instalação

pip install 'claude-real-video[mcp]'

Código Claude:

claude mcp add crv -- crv-mcp

Claude Desktop — adicione ao claude_desktop_config.json:

{ "mcpServers": { "crv": { "command": "crv-mcp" } } }

Cursor e qualquer outro cliente MCP: mesmo comando stdio, crv-mcp.

O que você ganha

Duas ferramentas aparecem:

• watch_video(source, max_frames, language, transcribe) — baixa (URL) ou lê (arquivo local), extrai quadros-chave em mudanças de cena, descarta quase duplicatas, transcreve com Whisper e retorna a transcrição mais o primeiro lote de quadros como imagens diretamente na conversa.
• get_frames(source, start_index, count) — navega pelo restante dos quadros.

Análises são armazenadas em cache por fonte em ~/.cache/crv-mcp, então uma pergunta de acompanhamento sobre o mesmo vídeo é instantânea.

Por que ciente da cena em vez de 1 fps

A amostragem em intervalos fixos desperdiça contexto em quadros quase idênticos e ainda perde cortes rápidos. A detecção de cena mantém os quadros que realmente diferem: um clipe de teste de 58 segundos passa de 58 quadros amostrados para 26 que importam. Menos tokens, nada perdido. A pasta de benchmark no repositório tem a comparação completa, reprodutível.

Notas honestas

• Verificado de ponta a ponta no Código Claude (um modelo real descreveu corretamente os quadros de um vídeo de teste através da ferramenta). Claude Desktop e Cursor falam o mesmo protocolo MCP stdio — configuração acima; abra um problema se algo não funcionar corretamente.
• A transcrição precisa do Whisper (pip install 'claude-real-video[whisper]' ou [fast]); os quadros funcionam sem isso.
• O SDK do mcp foi enviado 2.0 em 28 de julho e moveu o FastMCP — 0.8.0 importa ambos os principais, testados separadamente em cada um. Se você construir seu próprio servidor MCP este mês, teste em um venv limpo.

Repositório: https://github.com/HUANGCHIHHUNGLeo/claude-real-video