• @airesum

    StateBench基准推出，用于衡量AI模型如何追踪长文档中不断变化的事实

    人工智能

    发布时间

    Hugging Face博客文章介绍了StateBench，并称前沿AI模型能够应对简单的事实更新，但在更难、更长的状态追踪任务上准确率会下降。

    一篇Hugging Face博客文章介绍了StateBench，这一基准用于测试语言模型能否在长文档中跟上有关实体的事实变化。

    它分为四个层级，从只设定一次的值，到一个变量复制另一个变量当前值的更新，类似于在杯子不断调换位置时追踪球在哪里。

    Claude Opus 5.5、Gemini 3.8 Flash、GPT-6 Sol和GPT-6 Luna在最简单的两个层级上表现良好，但在最难层级的最长问题上得分仅为13%或更低。

    直接用这些任务训练2.75亿参数的模型时，Gated DeltaNet和混合版本在三个较简单层级上、直至数万次赋值都保持近乎完美，而Transformer在较长输入上表现下滑，且始终未能学会最难层级。

    为何重要

    作者认为，更清楚地了解哪些架构能应对哪些类型的更新，可能有助于指导新模型的设计和训练。

    论述与来源
    1. c1

      一篇Hugging Face博客文章介绍了StateBench，这一基准用于衡量语言模型在长文档中追踪实体细节变化的能力。

    2. c7

      StateBench分为四个难度层级，每个层级允许的状态更新类型都比前一个更复杂。

    3. c8

      在最简单的层级r-trivial中，一个值只被设定一次，此后不再改变。

    4. c11

      在最难的层级general finite中，一个变量可以复制另一个变量的当前值，很像在杯子被调换时追踪球的位置。

    5. c17

      接受评估的四个前沿模型是GPT-6 Sol、GPT-6 Luna、Claude Opus 5.5和Gemini 3.8 Flash。

    6. c18

      这些前沿模型在r-trivial和非周期任务上表现良好，但在general finite层级最长的任务上准确率仅为13%或更低。

    7. c20

      研究人员使用StateBench从零开始构建了若干2.75亿参数的模型，随后在远长于训练中任何序列的输入上对其进行评估。

    8. c21

      直至数万次赋值，Gated DeltaNet和混合模型在三个较简单层级上仍近乎完美；Transformer在较长输入上准确率下降，且始终未能学会general finite层级。

    9. c22

      文章称，即使直接针对最难层级进行训练，Transformer也未能学会它。

    10. c24

      作者认为，更好地理解每种架构能应对哪些更新类型，可能有助于塑造未来模型的构建和训练方式。

    原始来源

    1. Hugging Face
    关于本 AI 摘要

    • 这是 AI Resum 根据所链接的来源，通过人工智能生成的原创事实摘要。

    • 不声称来源发布者已审阅、许可、授权或认可本摘要。来源内容及商标仍归各自权利人所有。

    向上滑动查看下一条1 / 1