Ai2研究认为，大语言模型评判研究新颖性并不可靠

Ai2发布了研究Old Ideas, Novel Problems，同时公开了基准、数据和代码，以及一套用于汇集新评估集的自动化流程。

团队搭建了一套自动化流程，在ICLR 2026同行评审意见中筛查评审人明确谈及原创性的段落。

Human+Generated集合将154个经过验证的人类想法与一个基础大语言模型生成器产出的154个想法配对；作者将生成的想法视为新颖性较低，并称这些为弱标签。

作者报告称，对于六个大语言模型评判器，评估设置的细微调整会让它们对同一批想法作出截然不同的判定。

换用更简单的提示词后，GPT-5.4在Human+Generated配对上的准确率从93.5%降至40.9%，低于随机水平。

一个简单的Claude Opus 4.6提示词以2.59美元取得0.854的macro-F1；相比之下，Idea Novelty Checker花费30.66美元得到0.642，Sakana AI的AI Scientist评估器花费82.05美元得到0.772。

作者称，基于大语言模型的新颖性评估仍是未解决的问题：评判器在人类撰写研究上的表现未必能预示它如何处理AI生成的想法，而额外的检索或算力也无法保证一致性。