Estudo do Ai2 sugere que juízes baseados em LLM não são confiáveis para avaliar a novidade de pesquisas
Publicado
O Ai2 lançou um artigo, um benchmark, dados e código que testam com que consistência grandes modelos de linguagem avaliam a originalidade de ideias de pesquisa científica.
O Ai2 lançou Old Ideas, Novel Problems, um estudo sobre a confiabilidade com que juízes de novidade baseados em LLM avaliam ideias de pesquisa, anunciado em um post no blog da Hugging Face. O estudo vem acompanhado de benchmark, dados, código e um pipeline para criar novos conjuntos de teste.
As ideias escritas por pessoas foram escolhidas com base em comentários de revisores do ICLR 2026 sobre originalidade; depois, um dos conjuntos de teste as pareou com ideias de um gerador de IA simples. Nos seis juízes GPT e Claude, pequenas mudanças na configuração alteraram os veredictos, e um prompt mais simples derrubou a acurácia do GPT-5.4 nesses pares de 93,5% para 40,9%, abaixo do acaso.
Nesse conjunto, um prompt básico do Claude Opus 4.6 atingiu macro-F1 de 0,854 por US$ 2,59, superando dois avaliadores criados para a tarefa: o Idea Novelty Checker (0,642; US$ 30,66) e o avaliador do AI Scientist, da Sakana AI (0,772; US$ 82,05).
Por que importa
Segundo os autores, o problema continua em aberto: mais busca ou poder computacional não garante veredictos mais estáveis, e os resultados de um juiz em trabalhos escritos por pessoas podem não prever seu comportamento diante de propostas geradas por IA.
Afirmações e fontes
- c4
O Ai2 lançou o estudo Old Ideas, Novel Problems junto com um benchmark, dados e código, além de um pipeline automatizado para montar novos conjuntos de avaliação.
- c11
A equipe construiu um pipeline automatizado que vasculhou as revisões por pares do ICLR 2026 em busca de trechos em que os revisores tratavam explicitamente da originalidade.
- c14
O conjunto Human+Generated pareia as 154 ideias humanas validadas com 154 ideias de um gerador LLM básico; os autores trataram as ideias geradas como menos inovadoras e chamam esses rótulos de fracos.
- c8
Os autores relatam que, nos seis juízes LLM, pequenos ajustes na configuração da avaliação levaram a veredictos muito diferentes sobre as mesmas ideias.
- c19
Com um prompt mais simples, a acurácia do GPT-5.4 nos pares Human+Generated caiu de 93,5% para 40,9%, abaixo do acaso.
- c25
Um prompt simples do Claude Opus 4.6 alcançou macro-F1 de 0,854 por US$ 2,59, contra 0,642 por US$ 30,66 do Idea Novelty Checker e 0,772 por US$ 82,05 do avaliador do AI Scientist, da Sakana AI.
- c28
Os autores classificam a avaliação de novidade baseada em LLM como um problema não resolvido: o desempenho de um juiz em pesquisas escritas por pessoas pode não prever como ele lida com ideias geradas por IA, e mais busca ou computação não garante consistência.
Fontes originais
Sobre este resumo de IA
Resumo factual original gerado com inteligência artificial pelo AI Resum com base na fonte vinculada.
Não se alega que o editor da fonte tenha revisado, autorizado, licenciado ou endossado este resumo. O conteúdo da fonte e as marcas pertencem aos respectivos titulares.
Deslize para cima para próximo1 / 1