Presentan StateBench, una prueba para medir cómo siguen los modelos de IA los datos cambiantes en documentos extensos
Publicado
Una entrada del blog de Hugging Face presenta StateBench e informa de que los modelos de IA de vanguardia manejan actualizaciones simples de datos, pero pierden precisión en tareas de seguimiento de estado más difíciles y largas.
Una entrada del blog de Hugging Face presenta StateBench, una prueba de referencia que evalúa si los modelos de lenguaje siguen el ritmo de los datos cambiantes sobre entidades a lo largo de documentos extensos.
Sus cuatro niveles van desde valores fijados una sola vez hasta actualizaciones en las que una variable copia el valor actual de otra, como seguir una bola bajo vasos que se intercambian.
Claude Opus 5.5, Gemini 3.8 Flash, GPT-6 Sol y GPT-6 Luna obtuvieron buenos resultados en los dos niveles más fáciles, pero lograron un 13 % o menos en los problemas más largos del nivel más difícil.
Cuando se entrenaron modelos de 275 millones de parámetros directamente en las tareas, las versiones Gated DeltaNet e híbridas se mantuvieron casi perfectas en los tres niveles más fáciles a lo largo de decenas de miles de asignaciones, mientras que los transformers perdieron precisión con entradas más largas y nunca aprendieron el nivel más difícil.
Por qué importa
Según los autores, una imagen más clara de qué arquitecturas son capaces de manejar qué tipos de actualizaciones podría ayudar a orientar el diseño y el entrenamiento de nuevos modelos.
Afirmaciones y fuentes
- c1
Una entrada del blog de Hugging Face presenta StateBench, una prueba de referencia que mide en qué medida los modelos de lenguaje siguen los detalles de las entidades a medida que cambian a lo largo de documentos extensos.
- c7
StateBench se divide en cuatro niveles de dificultad, y cada nivel admite tipos de actualizaciones de estado más complejos que el anterior.
- c8
En el nivel más fácil, llamado r-trivial, un valor se asigna una sola vez y no cambia después.
- c11
En el nivel más difícil, llamado general finite, una variable puede copiar el valor actual de otra, de forma parecida a seguir una bola mientras se intercambian unos vasos.
- c17
Se evaluaron cuatro modelos de vanguardia: GPT-6 Sol, GPT-6 Luna, Claude Opus 5.5 y Gemini 3.8 Flash.
- c18
Esos modelos de vanguardia rindieron bien en las tareas r-trivial y aperiódicas, pero su precisión fue del 13 % o menos en las tareas más largas del nivel general finite.
- c20
Los investigadores entrenaron desde cero varios modelos de 275 millones de parámetros con StateBench y luego los evaluaron con secuencias mucho más largas que cualquiera vista durante el entrenamiento.
- c21
Hasta decenas de miles de asignaciones, los modelos Gated DeltaNet e híbridos se mantuvieron casi perfectos en los tres niveles más fáciles; los transformers perdieron precisión con entradas más largas y nunca aprendieron el nivel general finite.
- c22
La entrada afirma que los transformers no lograron aprender el nivel más difícil ni siquiera al entrenarse directamente en él.
- c24
En opinión de los autores, comprender mejor qué tipos de actualizaciones puede manejar cada arquitectura podría ayudar a orientar cómo se construyen y entrenan los modelos futuros.
Fuentes originales
Sobre este resumen de IA
Resumen factual original generado con inteligencia artificial por AI Resum a partir de la fuente enlazada.
No se afirma que el editor de la fuente haya revisado, autorizado, licenciado ni respaldado este resumen. El contenido de la fuente y las marcas pertenecen a sus respectivos titulares.
Desliza hacia arriba para siguiente1 / 1