42 Não é um Número Aleatório

Vá perguntar a qualquer modelo de fronteira por um número aleatório entre 1 e 100.

Você obteve 42? Talvez 73? Possivelmente 47?

Tente novamente. E novamente. Você notará algo: os números "aleatórios" não são aleatórios. Eles se agrupam em torno de um pequeno punhado de valores.

42 aparece em uma quantidade desproporcional. Assim como 47, 57, 37 e 73. A maior parte da faixa nunca aparece.

Melhor ainda, não pergunte nada ao modelo. Abra seu próprio código e procure por 42. Alguém tem escrito seus testes para você?

Isso provavelmente não te surpreende se você passou algum tempo pensando sobre como esses modelos funcionam. Mas surpreende um monte de pessoas. Eu vi colegas, engenheiros inteligentes que usam Claude e GPT todos os dias, acreditarem genuinamente que o modelo estava gerando números aleatórios. Não estava. Estava fazendo o que sempre faz: prevendo o próximo token mais provável com base em seus dados de treinamento.

E desde que Douglas Adams gravou 42 na consciência coletiva da internet como "A Resposta para a Pergunta Fundamental da Vida, do Universo e de Tudo", esse é o número que aparece quando você pede a um modelo de linguagem para escolher um aleatoriamente. Não é aleatório. É popular.

Estamos dezoito meses e quatro gerações de modelos além de quando as pessoas notaram isso pela primeira vez, e ainda acontece. Todo modelo de fronteira ao qual tenho acesso faz isso. Os lançamentos mais novos fazem isso. Tornamos os modelos extraordinariamente mais inteligentes e os dados ainda mostram 42.

A Ilusão de Competência

O problema do 42 não é um truque de festa peculiar. É um sintoma de algo que a escalabilidade nunca consertou e nunca consertará. LLMs são realmente bons em parecer que podem fazer coisas que não podem fazer. Eles são tão fluentes, tão confiantes, que esquecemos que são correspondentes de padrões operando em probabilidades de tokens. Eles não computam, medem ou observam. Eles preveem.

Na maior parte do tempo, a previsão é boa o suficiente para que não notemos a diferença. Quando você pede a um modelo para escrever uma função Python, ele não está "pensando" na lógica. Ele está gerando a sequência de tokens mais provável dada a situação, e para código isso funciona surpreendentemente bem porque há milhões de exemplos nos dados de treinamento.

Mas "bom o suficiente na maior parte do tempo" quebra rapidamente quando você precisa que as coisas sejam corretas o tempo todo. E a lacuna não se fecha à medida que os modelos ficam maiores, porque não é uma lacuna de conhecimento. É arquitetônica. Pesquisas continuam descobrindo a mesma coisa: até mesmo aritmética simples como 1 + 1 é recuperada como um padrão memorizado em vez de executada como um algoritmo. Faça os números maiores ou o formato não familiar e a aparente certeza evapora. Você não pode treinar seu caminho para fora do mecanismo errado.

Coisas que os LLMs Ainda Não Podem Fazer

Eu venho construindo com LLMs há alguns anos, e os mesmos modos de falha continuam pegando as pessoas de surpresa. Nenhum deles foi consertado pelas últimas quatro versões do modelo.

Matemática. Peça a um modelo para multiplicar 1.847 por 923 e ele provavelmente acertará. Provavelmente. Peça por 184.739 vezes 92.341 e você está jogando os dados, exceto que ele também não pode jogar dados. Não há calculadora ali. Ele está prevendo quais dígitos parecem certos, e para aritmética simples os padrões se mantêm. Além disso, você obtém uma resposta errada confiante.

Aleatoriedade. Já cobrimos isso. Sem dados, sem lançamentos de moedas, sem embaralhamentos. O modelo irá realizar aleatoriedade para você e parece convincente, mas é teatro.

Tempo. Que horas são? Qual é a data de hoje? O que é 14:05UTC em PST?

Codificação e hashing. Codifique esta string em Base64. Gere um MD5. Estes têm exatamente uma resposta correta, e os modelos produzem respostas erradas com confiança, porque estão prevendo como o texto codificado parece em vez de codificar qualquer coisa.

Conversões de unidade. Quilômetros para milhas, bytes para gigabytes, quantos segundos há em 47 dias e 3 horas. Ele vai acertar os comuns que viu mil vezes. Saia desse caminho e a precisão cai.

Contando caracteres. Os r's em "morango" são a versão meme, mas a tokenização é o verdadeiro limite. O modelo trabalha em pedaços de texto em vez de letras, então qualquer coisa que dependa de posições exatas de caracteres é um palpite.

Agentes Não Estão Chegando. Eles Estão Aqui.

Comportamento agente é o padrão agora, não uma característica. Execução de múltiplos passos de longa duração, uso de computador, sub-agentes paralelos. Modelos operam de forma autônoma por horas, e as tendências apontam para execuções de um dia inteiro.

Isso muda as apostas de tudo acima. Quando o modelo era um autocompletar em seu editor, essas limitações eram irritantes, mas contidas. Você pegaria a matemática errada na revisão de código. Você notaria a cor hexadecimal errada quando visualizasse a interface. Um humano estava entre cada erro e o mundo.

Agentes removem o humano do loop. Um agente que não pode fazer matemática de forma confiável não deve estar reconciliando faturas. Um que não sabe a hora atual não deve estar agendando nada. Um que não pode gerar verdadeira aleatoriedade não deve estar cunhando tokens de segurança. Mas entregue essas tarefas sem ferramentas e ele tentará de qualquer maneira, confiantemente, e porque as respostas parecem corretas, ninguém percebe até que algo a montante quebre.