Un estudio de Ai2 sugiere que los jueces basados en LLM no son fiables al evaluar la novedad de la investigación
Publicado
Ai2 ha publicado un artículo, un banco de pruebas, datos y código que examinan con qué consistencia los grandes modelos de lenguaje califican la originalidad de ideas de investigación científica.
Ai2 ha publicado Old Ideas, Novel Problems, un estudio sobre la fiabilidad con la que los jueces de novedad basados en LLM califican ideas de investigación, anunciado en una entrada del blog de Hugging Face. Lo acompañan un banco de pruebas, datos, código y un flujo de trabajo para crear nuevos conjuntos de prueba.
Las ideas escritas por personas se seleccionaron a partir de los comentarios sobre originalidad de los revisores de ICLR 2026; después, un conjunto de prueba las emparejó con ideas de un generador de IA sencillo. En seis jueces de GPT y Claude, pequeños cambios de configuración alteraron los veredictos, y una instrucción más simple redujo la exactitud de GPT-5.4 en esos pares del 93,5 % al 40,9 %, por debajo del azar.
En ese conjunto, una instrucción básica de Claude Opus 4.6 alcanzó un macro-F1 de 0,854 por 2,59 dólares y superó a dos evaluadores diseñados para esta tarea: Idea Novelty Checker (0,642; 30,66 dólares) y el evaluador de AI Scientist, de Sakana AI (0,772; 82,05 dólares).
Por qué importa
Según los autores, el problema sigue abierto: más búsqueda o más cómputo no garantiza veredictos más estables, y los resultados de un juez con trabajos escritos por personas pueden no predecir cómo se comportará ante propuestas generadas por IA.
Afirmaciones y fuentes
- c4
Ai2 publicó el estudio Old Ideas, Novel Problems junto con un banco de pruebas, datos y código, además de un flujo automatizado para reunir nuevos conjuntos de evaluación.
- c11
El equipo creó un flujo automatizado que revisó las evaluaciones por pares de ICLR 2026 en busca de pasajes en los que los revisores abordaban explícitamente la originalidad.
- c14
El conjunto Human+Generated empareja las 154 ideas humanas validadas con 154 ideas de un generador LLM básico; los autores consideraron menos novedosas las ideas generadas y describen estas etiquetas como débiles.
- c8
Los autores informan de que, en seis jueces LLM, pequeños ajustes en la configuración de la evaluación produjeron veredictos muy distintos sobre las mismas ideas.
- c19
Con una instrucción más simple, la exactitud de GPT-5.4 en los pares Human+Generated cayó del 93,5 % al 40,9 %, por debajo del azar.
- c25
Una instrucción sencilla de Claude Opus 4.6 logró un macro-F1 de 0,854 por 2,59 dólares, frente a 0,642 por 30,66 dólares de Idea Novelty Checker y 0,772 por 82,05 dólares del evaluador de AI Scientist, de Sakana AI.
- c28
Los autores consideran que la evaluación de la novedad con LLM es un problema sin resolver: el desempeño de un juez con investigación escrita por personas puede no anticipar cómo trata las ideas generadas por IA, y más búsqueda o cómputo no garantiza coherencia.
Fuentes originales
Sobre este resumen de IA
Resumen factual original generado con inteligencia artificial por AI Resum a partir de la fuente enlazada.
No se afirma que el editor de la fuente haya revisado, autorizado, licenciado ni respaldado este resumen. El contenido de la fuente y las marcas pertenecen a sus respectivos titulares.
Desliza hacia arriba para siguiente1 / 1