Une étude d'Ai2 suggère que les juges fondés sur des LLM évaluent la nouveauté des recherches de manière peu fiable
Publié
Ai2 a publié un article, un banc d'essai, des données et du code qui mesurent la constance avec laquelle les grands modèles de langage évaluent l'originalité d'idées de recherche scientifique.
Ai2 a publié Old Ideas, Novel Problems, une étude sur la fiabilité avec laquelle les juges de nouveauté fondés sur des LLM notent des idées de recherche, annoncée dans un billet du blog de Hugging Face. Elle s'accompagne d'un banc d'essai, de données, de code et d'un pipeline permettant de constituer de nouveaux jeux de test.
Les idées rédigées par des humains ont été retenues à partir des remarques des relecteurs d'ICLR 2026 sur l'originalité ; un jeu de test les a ensuite associées à des idées issues d'un générateur d'IA simple. Sur six juges GPT et Claude, de légères modifications du dispositif ont fait basculer les verdicts, et une consigne plus simple a fait chuter l'exactitude de GPT-5.4 sur ces paires de 93,5 % à 40,9 %, soit en deçà du hasard.
Sur ce jeu, une consigne de base pour Claude Opus 4.6 a atteint un macro-F1 de 0,854 pour 2,59 $, devant deux évaluateurs conçus à cet effet : Idea Novelty Checker (0,642 ; 30,66 $) et l'évaluateur d'AI Scientist de Sakana AI (0,772 ; 82,05 $).
Pourquoi cela compte
Selon les auteurs, le problème reste ouvert : davantage de recherche ou de calcul ne garantit pas des verdicts plus stables, et les résultats d'un juge sur des travaux rédigés par des humains ne permettent pas forcément de prévoir son comportement face à des propositions générées par l'IA.
Affirmations et sources
- c4
Ai2 a publié l'étude Old Ideas, Novel Problems avec un banc d'essai, des données et du code, ainsi qu'un pipeline automatisé pour assembler de nouveaux jeux d'évaluation.
- c11
L'équipe a conçu un pipeline automatisé qui a passé au crible les évaluations par les pairs d'ICLR 2026 pour repérer les passages où les relecteurs abordaient explicitement l'originalité.
- c14
Le jeu Human+Generated associe les 154 idées humaines validées à 154 idées issues d'un générateur LLM basique ; les auteurs ont considéré les idées générées comme moins novatrices et qualifient ces étiquettes de faibles.
- c8
Les auteurs indiquent que, pour six juges LLM, de légers ajustements de la configuration de l'évaluation ont conduit à des verdicts très différents sur des idées identiques.
- c19
Avec une consigne plus simple, l'exactitude de GPT-5.4 sur les paires Human+Generated est passée de 93,5 % à 40,9 %, soit en deçà du hasard.
- c25
Une consigne simple pour Claude Opus 4.6 a obtenu un macro-F1 de 0,854 pour 2,59 $, contre 0,642 pour 30,66 $ avec Idea Novelty Checker et 0,772 pour 82,05 $ avec l'évaluateur d'AI Scientist de Sakana AI.
- c28
Les auteurs jugent que l'évaluation de la nouveauté par des LLM reste un problème non résolu : les performances d'un juge sur des recherches rédigées par des humains ne permettent pas forcément de prévoir son traitement d'idées générées par l'IA, et un surcroît de recherche ou de calcul ne garantit pas la cohérence.
Sources originales
À propos de ce résumé IA
Résumé factuel original généré par AI Resum à l’aide de l’intelligence artificielle à partir de la source indiquée en lien.
Aucun examen, aucune autorisation, aucune licence ni aucune approbation de l’éditeur de la source ne sont revendiqués. Le contenu de la source et les marques restent la propriété de leurs titulaires respectifs.
Glisse vers le haut pour le suivant1 / 1