تقديم معيار StateBench لقياس كيفية تتبّع نماذج الذكاء الاصطناعي للحقائق المتغيرة في المستندات الطويلة

تقدّم تدوينة على مدونة Hugging Face معيار StateBench، وهو معيار يقيس مدى قدرة النماذج اللغوية على متابعة تفاصيل الكيانات أثناء تغيّرها عبر المستندات الطويلة.

ينقسم StateBench إلى أربعة مستويات صعوبة، ويسمح كل مستوى بأنواع من تحديثات الحالة أكثر تعقيدًا من المستوى الذي يسبقه.

في المستوى الأسهل، المسمى r-trivial، تُحدَّد القيمة مرة واحدة ولا تتغير بعد ذلك.

في المستوى الأصعب، المسمى general finite، يمكن لمتغير أن ينسخ القيمة الحالية لمتغير آخر، على نحو يشبه تتبّع كرة أثناء تبديل مواضع الأكواب.

جرى تقييم أربعة نماذج متقدمة هي GPT-6 Sol وGPT-6 Luna وClaude Opus 5.5 وGemini 3.8 Flash.

أدّت هذه النماذج المتقدمة أداءً جيدًا في مهام r-trivial والمهام اللادورية، لكن دقتها بلغت 13% أو أقل في أطول مهام مستوى general finite.

بنى الباحثون من الصفر عدة نماذج تضم 275 مليون معامل باستخدام StateBench، ثم قيّموها على تسلسلات أطول بكثير من أي تسلسل رأته أثناء التدريب.

حتى عشرات الآلاف من عمليات الإسناد، ظلت نماذج Gated DeltaNet والنماذج الهجينة شبه مثالية في المستويات الثلاثة الأسهل؛ أما نماذج Transformer فتراجعت دقتها مع المدخلات الأطول ولم تتعلم قط مستوى general finite.

تذكر التدوينة أن نماذج Transformer عجزت عن تعلم المستوى الأصعب حتى عند تدريبها عليه مباشرة.

يرى المؤلفون أن فهمًا أفضل لأنواع التحديثات التي تستطيع كل بنية التعامل معها قد يساعد في تشكيل طريقة بناء النماذج المستقبلية وتدريبها.