Criando uma wiki mantida por IA com um modelo local gratuito

Eu estive construindo MindBase — o padrão de "wiki mantida por LLM" de Karpathy como um aplicativo. Você escreve notas e insere fontes; a IA mantém uma wiki persistente (escreve e atualiza páginas markdown reais, não RAG).

Quando eu lancei em julho, você precisava de um editor de IA e uma chave de API para usá-lo. As últimas três semanas foram sobre remover ambos. Aqui está o que aprendi ao fazer tudo funcionar em um modelo local gratuito, com uma interface de usuário real.

1. Modelos pequenos não conseguem encadear chamadas de ferramentas — então pare de pedir isso a eles

Meu primeiro pipeline do lado do servidor era agente: o modelo chamava a busca, lia páginas e, em seguida, escrevia. Com qwen3:14b no Ollama, isso falhou constantemente — ferramenta errada, argumentos malformados, loops que nunca terminavam.

A solução foi remover a agência. Cada operação da wiki — ingerir uma nota, reconstruir o contexto, verificação de saúde, pesquisa — agora é uma conclusão contra um esquema JSON estrito, com tudo o que o modelo precisa reunido no prompt anteriormente. Falhas de análise são tentadas uma vez com o erro anexado. Essa é toda a manipulação de erros.

Modelos locais se mostram muito confiáveis em preencher um esquema. Eles são instáveis em decidir o que fazer a seguir. Projete de acordo.

2. A tela em branco de 88 segundos: modelos em modo de pensamento

qwen3 e deepseek-r1 transmitem seu raciocínio para um campo oculto thinking. Minha interface de chat coletou content — que permaneceu vazia por 88 segundos enquanto o modelo raciocinava feliz em um campo que ninguém estava lendo.

Uma linha (think: false na API do Ollama) reduziu as respostas de 88,7s para 1,1s. Se a interface do seu modelo local mostrar "nada acontecendo por um minuto" — verifique isso primeiro.

3. A confiança vem de uma caixa de seleção

A maior reclamação sobre a v1 não era a qualidade — era que a ingestão parecia uma caixa preta. A IA leu sua nota e algo mudou em sua wiki.

A especificação original de Karpathy na verdade tem um passo que minha v1 pulou: o LLM discute as conclusões com você antes de escrever. Agora, cada ingestão retorna conclusões + um plano de atualizações propostas, cada uma com uma caixa de seleção. Nada é escrito até que você clique em Aplicar.

Mesmo modelo, mesma saída — mas mostrar o plano antes de escrever resolveu o problema de confiança quase completamente.

4. Torne as duas camadas visíveis

O padrão tem duas camadas: suas notas brutas (apenas para adicionar, suas) e a wiki (mantida pela IA). Na v1, isso existia apenas na estrutura de pastas, e novos usuários nunca entendiam.

Agora, cada nota carrega um chip de status: ✨ Adicionar à wiki enquanto a nota é mais nova que a última construção, ✓ Na wiki · 2 páginas após a digestão. Edite a nota e ela acende novamente.

O detalhe de implementação que eu gosto: o estado do chip é apenas "mtime do arquivo mais novo que context.md" — a regra exata que o pipeline de construção usa para encontrar fontes não digeridas. Sem novo estado, então a interface de usuário e o pipeline não podem discordar.

5. Detecção de hardware supera um dropdown de modelo

Pedir aos usuários que escolham um modelo do Ollama é pedir que eles já sejam especialistas. O assistente de configuração agora lê sua RAM/CPU e recomenda o que realmente se encaixa: 8GB → llama3.2:3b, 16GB → qwen3:8b, 32GB+ → qwen3:14b. Então ele instala, baixa com uma barra de progresso e verifica com uma geração real de um token (verificar se a API responde não é o mesmo que verificar se o modelo funciona — aprendi isso de uma maneira embaraçosa).

Onde estamos

Tudo é markdown no disco, licenciado sob MIT, funciona com Claude Code / Cursor / qualquer cliente MCP — e agora autônomo no navegador com zero assinaturas.

Repo: https://github.com/frankchu91/mindbase

Se você executa modelos locais: qual é o maior modelo que você dedicaria realisticamente ao trabalho de síntese em segundo plano? Tentando decidir até onde empurrar a tabela de recomendações.