Alucinações de IA Ainda Não Foram Resolvidas

Com cada lançamento de modelo importante vem a mesma nota tranquilizadora: as alucinações estão em baixa, a confiabilidade está em alta, o problema da fabricação está em grande parte para trás. E a cada lançamento, em poucos dias, alguém publica uma captura de tela do novo modelo inventando uma citação, uma citação, um caso, uma estatística ou uma pessoa com total e serena confiança. A taxa melhora. A categoria não desaparece. Vale a pena entender por que, porque a diferença entre "menos frequentemente" e "resolvido" é onde o verdadeiro dano acontece.

Não é um bug, o que é a parte desconfortável

Uma alucinação não é um erro da mesma forma que uma falha é um erro. Modelos de linguagem grandes geram texto prevendo continuações plausíveis, e uma continuação plausível não é a mesma coisa que uma verdadeira. O modelo não tem um armazenamento separado de fatos verificados que verifica; ele tem padrões, e uma citação fabricada no formato exato é, para o modelo, um excelente padrão. Ele está fazendo precisamente o que foi construído para fazer. A falsidade e a verdade são produzidas pelo mesmo processo idêntico, que é a razão pela qual o modelo está igualmente confiante em ambos.

O modelo não está mentindo, porque mentir requer conhecer a verdade. Ele está produzindo a resposta que parece mais provável, e o que parece provável é um alvo diferente de verdadeiro.

O modo de falha piora exatamente onde você pode verificar menos

A alucinação não é distribuída uniformemente, e sua distribuição é perversa. Os modelos fabricam mais facilmente nas situações em que você está menos equipado para pegá-las: tópicos obscuros, detalhes técnicos de nicho, figuras específicas, eventos recentes e qualquer coisa na borda do que foi bem representado no treinamento. Pergunte sobre algo popular e bem documentado e a resposta geralmente é sólida. Pergunte sobre algo raro — a exata coisa para a qual você recorreu à ferramenta porque você não sabia — e a taxa de fabricação sobe, enquanto sua capacidade de notar cai para zero. O modelo é mais confiante e menos confiável nos mesmos cantos escuros onde você não tem uma maneira independente de dizer.

Isso inverte a confiança que você colocaria em um especialista humano. Uma pessoa conhecedora se torna visivelmente hesitante na borda de sua competência — ela hesita, qualifica, diz "eu gostaria de verificar isso." O modelo faz o oposto: mantém fluência e confiança idênticas, esteja em terreno firme ou inventando por completo, oferecendo nenhum sinal no exato momento em que um sinal seria mais importante. A uniformidade de sua confiança não é um defeito cosmético. É a propriedade específica que torna as fabricações perigosas, porque remove a única pista que os humanos sempre usaram para calibrar quanto acreditar.

A confiança é o ingrediente perigoso

Se esses sistemas hesitassem — "eu acho, mas não tenho certeza" — a alucinação seria um incômodo gerenciável. O problema é que as fabricações chegam na mesma prosa fluente, assegurada e bem estruturada que as respostas corretas. Não há sinal. Um caso legal inventado cita um tribunal e ano plausíveis. Uma estatística inventada está em um número crível. A interface não oferece nenhuma maneira de distinguir os dois, porque o modelo em si não pode.

É por isso que a alucinação produziu danos genuínos e documentados, em vez de apenas capturas de tela engraçadas. Advogados foram sancionados por apresentar petições contendo citações de casos que nunca existiram, produzidas por um chatbot e não verificadas. Isso não é um hipotético; aconteceu em tribunais reais, mais de uma vez, porque as fabricações eram persuasivas o suficiente para sobreviver ao olhar de um profissional ocupado.

As correções ajudam, e nenhuma delas fecha a lacuna

As mitigação da indústria são reais e valem a pena serem usadas, mas cada uma tem um teto:

• Recuperação — fundamentar respostas em documentos reais buscados no momento da consulta — realmente reduz a fabricação, mas o modelo ainda pode ler mal, citar incorretamente ou extrapolar demais das próprias fontes que lhe foram entregues.
• Modelos de “Raciocínio” que trabalham através de problemas passo a passo pegam alguns erros e raciocinam com confiança para outros.
• Citações em motores de resposta são tão boas quanto a verificação que você faz delas, e uma citação fabricada, mas formatada, derrota o leitor que confia no formato.

Todas essas opções diminuem a taxa. Nenhuma delas muda o fato subjacente de que o trabalho do sistema é produzir texto plausível, e texto plausível é às vezes falso. Você não pode suprimir completamente um comportamento que é idêntico, mecanicamente, ao comportamento que você deseja.

A honestidade que devemos

A reclamação aqui não é que a tecnologia alucina — isso é inerente e compreendido. A reclamação é a lacuna de marketing. Quando um lançamento é vendido como "alucinações dramaticamente reduzidas", uma pessoa razoável ouve "agora posso confiar nisso." O que é realmente verdade é "ele fabricará um pouco menos frequentemente, ainda com total confiança, ainda indetectavelmente." Essas são mensagens muito diferentes, e a segunda é a que manteria o advogado sancionado fora de problemas.

Fluência está sendo confundida com competência

Parte do motivo pelo qual as alucinações causam tanto dano é um erro muito humano, não uma falha da máquina: estamos programados para ler uma linguagem fluente, confiante e bem organizada como um sinal de conhecimento. Ao longo da história, alguém que pudesse explicar uma coisa claramente e sem hesitação geralmente a entendia, porque produzir fluência experiente exigia realmente ter a experiência. Modelos de linguagem grandes rompem esse vínculo. Eles produzem a fluência sem a compreensão, e nosso instinto de confiar na fluência dispara de qualquer maneira. O modelo explora um atalho no julgamento humano que era confiável até que uma máquina aprendeu a falsificar a superfície.

É por isso que "apenas seja mais cuidadoso" é um conselho fraco. A falha não é preguiça; é que a única pista mais útil que os humanos têm para calibrar a confiança — fluência confiante — foi tornada sem sentido neste contexto, e nenhuma pista de substituição tomou seu lugar. Você não pode sentir seu caminho para saber se uma resposta é verdadeira, porque a sensação de verdade e a sensação de fabricação agora são idênticas. A única defesa é a verificação externa, que é lenta, trabalhosa e exatamente o trabalho que a ferramenta prometeu economizar.

A armadilha da complacência com a automação

Há uma tendência humana bem documentada que torna tudo isso pior ao longo do tempo: quanto mais confiável um sistema geralmente é, menos o examinamos. Isso é chamado de complacência com a automação, e é por isso que as pessoas dirigem para rios seguindo um satnav. Um modelo que está certo noventa e poucos por cento do tempo é, perversamente, mais perigoso do que um que está certo metade do tempo, porque a alta taxa base o embala. Você verifica as primeiras dez respostas, todas estão boas, você para de verificar — e a décima primeira, a fabricada, passa direto pela verificação que você abandonou silenciosamente.

Isso significa que quanto melhores esses sistemas ficam, mais os erros residuais importam, porque eles chegam dentro de uma parede de correção que treinou você a não olhar. Um mundo de IA em sua maioria correta não é um mundo onde as alucinações param de importar; é um mundo onde elas se tornam mais difíceis de pegar precisamente porque são mais raras. A melhoria no caso médio erode a vigilância que você precisaria para o caso ruim, que é a razão específica pela qual "agora quase nunca erra" é um conforto frio em vez de uma garantia.

“Eu não sei” é o recurso que ninguém entrega

A única mudança que faria mais para domar a alucinação é também a que os incentivos lutam mais: um modelo que diz de forma confiável "eu não sei" quando não sabe. Os humanos confiam em especialistas em parte porque os bons admitem a borda de seu conhecimento, e um sistema que pudesse fazer o mesmo — hesitando onde está incerto, recusando onde está adivinhando — permitiria que os usuários calibrassem.