Teste de IA 'O Último Exame da Humanidade': A Inteligência Artificial Geral está Chegando?

Estados Unidos - Agência de Notícias Ekhbary

Teste de IA 'O Último Exame da Humanidade': A Inteligência Artificial Geral está Chegando?

Pesquisadores do Center for AI Safety e da Scale AI introduziram "O Último Exame da Humanidade" (Humanity's Last Exam, HLE), um rigoroso benchmark de nível de doutorado projetado para sondar os limites absolutos das capacidades de raciocínio da inteligência artificial. Esta avaliação abrangente, que compreende 2.500 perguntas em mais de 100 áreas temáticas, visa medir o quão perto os modelos de IA mais avançados se aproximam da expertise humana, particularmente em nível de doutorado. Embora esta iniciativa gere discussões sobre o progresso em direção à inteligência artificial geral (AGI), especialistas aconselham fortemente contra a interpretação das métricas de desempenho atuais como prova definitiva de alcançar este complexo marco.

O quadro de teste HLE foi lançado oficialmente em janeiro de 2025, com a metodologia subjacente e a justificativa do projeto detalhadas em um estudo publicado em 28 de janeiro. As perguntas foram selecionadas com a contribuição de mais de 1.000 especialistas em suas áreas, representando 500 instituições em 50 países, garantindo assim uma base de conhecimento ampla e profunda. O exame apresenta uma mistura de formatos de múltipla escolha e resposta curta. Crucialmente, cada pergunta é projetada com uma solução inequívoca e facilmente verificável que não pode ser rapidamente resolvida por meio de uma simples pesquisa na Internet, testando assim o raciocínio e a compreensão genuínos em vez do mero acesso a dados.

Os testes iniciais no lançamento do benchmark envolveram modelos de IA proeminentes, incluindo GPT-4o e o1 da OpenAI, Gemini 1.5 Pro do Google, Claude 3.5 Sonnet da Anthropic e DeepSeek R1. O modelo o1 da OpenAI alcançou a pontuação mais alta entre a coorte inicial, com apenas 8,3%. Refletindo sobre esse desempenho inicial, os pesquisadores observaram na época: "Dado o rápido ritmo do desenvolvimento da IA, é plausível que os modelos ultrapassem 50% de precisão no HLE até o final de 2025." Essa previsão destacou os rápidos avanços esperados nas capacidades da IA.

Em 12 de fevereiro de 2026, a pontuação mais alta registrada no HLE é 48,4%, alcançada pelo modelo Gemini 3 Deep Think do Google. Em forte contraste, especialistas humanos geralmente pontuam cerca de 90% no exame em seus respectivos campos. Essa lacuna significativa ressalta o formidável desafio que a IA enfrenta para igualar a amplitude e a profundidade da cognição e expertise humanas.

O design de "O Último Exame da Humanidade" foi deliberadamente concebido para extrema dificuldade. Durante o desenvolvimento, os pesquisadores emitiram um chamado global por perguntas de especialistas em várias disciplinas. Critérios rigorosos de submissão foram aplicados, exigindo perguntas precisas, inequívocas, solucionáveis e resistentes a simples pesquisas na web. O objetivo era impedir que os modelos de IA "trapaceassem" acessando respostas facilmente disponíveis online, o que inflaria as pontuações e deturparia a compreensão real. Cada pergunta submetida foi testada em modelos de IA, e qualquer pergunta que os modelos respondessem corretamente era automaticamente rejeitada. De mais de 70.000 submissões tentadas, aproximadamente 13.000 perguntas conseguiram confundir os grandes modelos de linguagem (LLMs). Elas foram então meticulosamente revisadas por especialistas, aprovadas pela equipe de pesquisa e abertas ao feedback da comunidade, antes que o corpus final de 2.500 perguntas fosse estabelecido, representando um desafio de nível de doutorado.

O escopo do exame é vasto e abrange diversos campos. Uma pergunta de trivia de exemplo pode ser: "Na mitologia grega, quem foi o bisavô materno de Jasão?". Uma pergunta de física pode envolver o cálculo de complexas dinâmicas de força para um bloco em um trilho horizontal sem atrito, conectado a uma haste rígida. Essa natureza ampla distingue o HLE de outras ferramentas de avaliação de IA.

Benchmarks existentes, como o conjunto de dados Massive Multitask Language Understanding (MMLU), geralmente se concentram em domínios mais estreitos, como codificação e matemática, e podem não capturar o espectro completo do raciocínio avançado. Mesmo benchmarks de ponta, como a suíte ARC-AGI de Francois Chollet, foram criticados por sua suscetibilidade a problemas de memorização e capacidade de busca, problemas que os criadores do HLE buscaram explicitamente abordar. Por exemplo, o Gemini Deep Think alcançou 84,6% no benchmark ARC-AGI-2, uma pontuação que contrasta acentuadamente com sua dificuldade em ultrapassar 50% no teste HLE apenas uma semana antes.

Embora "O Último Exame da Humanidade" represente um avanço significativo na avaliação das amplas capacidades dos modelos de IA modernos em relação a especialistas humanos, os autores do estudo são categóricos: alcançar uma pontuação alta no HLE não equivale ao advento da AGI. "Alta precisão no HLE demonstraria desempenho em nível de especialista em perguntas de final fechado e verificáveis e conhecimento científico de ponta, mas não sugeriria, por si só, capacidades de pesquisa autônomas ou inteligência artificial geral", afirmaram os cientistas em seu estudo. Manuel Schottdorf, neurocientista da Universidade de Delaware e um dos contribuidores do HLE, ecoou esse sentimento: "Ir bem no HLE é um critério necessário, mas não suficiente, para dizer que as máquinas alcançaram a verdadeira inteligência. Elas terão que ser boas o suficiente para resolver essas perguntas, mas esse fato por si só não nos permite concluir que as máquinas são verdadeiramente inteligentes."

Agência de Notícias Ekhbary