Visões Gerais da IA do Google: 90% de precisão, mas milhões de erros permanecem

Os resumos de IA do Google responderam corretamente a um padrão de referência factual 91% das vezes em fevereiro, um aumento em relação a 85% em outubro, de acordo com uma análise do New York Times com a startup de IA Oumi.

No entanto, o Google lida com mais de 5 trilhões de buscas por ano, o que significa que dezenas de milhões de respostas a cada hora podem estar erradas.

Por que nos importamos. Temos observado o Google mudar de vincular a fontes para resumi-las por mais de dois anos. Este relatório sugere que os resumos de IA estão melhorando, mas ainda misturam respostas corretas, fontes fracas e erros claros de maneiras que podem enganar os buscadores e remodelar quais publicadores recebem visibilidade e cliques.

Os detalhes. A Oumi testou 4.326 buscas no Google usando o SimpleQA, um benchmark amplamente utilizado para medir a precisão factual em sistemas de IA, relatou o Times. Descobriu que os resumos de IA eram precisos 85% das vezes com o Gemini 2 e 91% após uma atualização para o Gemini 3.

• O problema maior pode ser a fonte. A Oumi descobriu que mais da metade das respostas corretas de fevereiro eram "sem base", o que significa que as fontes vinculadas não apoiavam totalmente a resposta.
• Isso torna a verificação mais difícil. A resposta pode estar certa, mas as páginas citadas podem não mostrar claramente o porquê.

O que mudou. A precisão melhorou entre outubro e fevereiro, mas a fundamentação piorou. Em outubro, 37% das respostas corretas eram sem base; em fevereiro, isso subiu para 56%.

Exemplos. O Times destacou várias falhas:

• Para uma consulta sobre quando a casa de Bob Marley se tornou um museu, o Google respondeu 1987; o ano correto era 1986, de acordo com o Times, e as fontes citadas não apoiavam a afirmação ou eram conflitantes.
• Para uma consulta sobre Yo-Yo Ma e o Hall da Fama da Música Clássica, o Google vinculou ao site da organização, mas ainda assim disse que não havia registro de sua indução.
• Em outro caso, o Google deu a idade correta na morte de Dick Drago, mas errou a data de sua morte.

Resposta do Google: O Google contestou a análise do Times, dizendo que o estudo usou um benchmark falho e não refletiu o que as pessoas realmente buscam. O porta-voz do Google, Ned Adriance, disse ao Times que o estudo tinha "buracos sérios".

• O Google também disse que os resumos de IA usam sistemas de classificação de busca e segurança para reduzir spam e há muito avisa que as respostas de IA podem conter erros.

O relatório. Quão precisos são os resumos de IA do Google? (assinatura necessária)