StateBench é apresentado para medir como modelos de IA acompanham fatos que mudam em documentos longos
Publicado
Uma postagem no blog da Hugging Face apresenta o StateBench e relata que modelos de IA de ponta lidam com atualizações simples de fatos, mas perdem precisão em tarefas de rastreamento de estado mais difíceis e longas.
Uma postagem no blog da Hugging Face apresenta o StateBench, um benchmark que testa se modelos de linguagem acompanham fatos em mudança sobre entidades ao longo de documentos longos.
Seus quatro níveis vão de valores definidos uma única vez a atualizações em que uma variável copia o valor atual de outra, como seguir uma bolinha sob copos que trocam de lugar.
Claude Opus 5.5, Gemini 3.8 Flash, GPT-6 Sol e GPT-6 Luna foram bem nos dois níveis mais fáceis, mas obtiveram 13% ou menos nos problemas mais longos do nível mais difícil.
Quando modelos de 275 milhões de parâmetros foram treinados diretamente nas tarefas, as versões Gated DeltaNet e híbridas se mantiveram quase perfeitas nos três níveis mais fáceis ao longo de dezenas de milhares de atribuições, enquanto os transformers perderam desempenho com entradas mais longas e nunca aprenderam o nível mais difícil.
Por que importa
Segundo os autores, uma visão mais clara de quais arquiteturas conseguem lidar com quais tipos de atualização pode ajudar a orientar o projeto e o treinamento de novos modelos.
Afirmações e fontes
- c1
Uma postagem no blog da Hugging Face apresenta o StateBench, um benchmark que mede o quanto os modelos de linguagem acompanham detalhes de entidades à medida que eles mudam ao longo de documentos longos.
- c7
O StateBench é dividido em quatro níveis de dificuldade, e cada nível permite tipos de atualização de estado mais complexos que o anterior.
- c8
No nível mais fácil, chamado r-trivial, um valor é definido uma única vez e não muda depois.
- c11
No nível mais difícil, chamado general finite, uma variável pode copiar o valor atual de outra, de forma parecida com seguir uma bolinha enquanto copos trocam de lugar.
- c17
Quatro modelos de ponta foram avaliados: GPT-6 Sol, GPT-6 Luna, Claude Opus 5.5 e Gemini 3.8 Flash.
- c18
Esses modelos de ponta foram bem nas tarefas r-trivial e aperiódicas, mas sua precisão foi de 13% ou menos nas tarefas mais longas do nível general finite.
- c20
Os pesquisadores construíram do zero vários modelos de 275 milhões de parâmetros usando o StateBench e depois os avaliaram em sequências muito mais longas do que qualquer uma vista no treinamento.
- c21
Até dezenas de milhares de atribuições, os modelos Gated DeltaNet e híbridos permaneceram quase perfeitos nos três níveis mais fáceis; os transformers perderam precisão com entradas mais longas e nunca aprenderam o nível general finite.
- c22
A postagem afirma que os transformers não conseguiram aprender o nível mais difícil nem mesmo quando treinados diretamente nele.
- c24
Na visão dos autores, compreender melhor quais tipos de atualização cada arquitetura consegue enfrentar pode ajudar a moldar como os modelos futuros são construídos e treinados.
Fontes originais
Sobre este resumo de IA
Resumo factual original gerado com inteligência artificial pelo AI Resum com base na fonte vinculada.
Não se alega que o editor da fonte tenha revisado, autorizado, licenciado ou endossado este resumo. O conteúdo da fonte e as marcas pertencem aos respectivos titulares.
Deslize para cima para próximo1 / 1