Faille de fiabilité des LLM : l'IA privilégie les schémas au détriment du sens

Et si l'IA la plus intelligente du monde n'était qu'un perroquet malin, et non un véritable penseur ? Une étude du MIT révèle une faille critique où les LLM privilégient les structures grammaticales au détriment du sens réel. Les chercheurs ont découvert que même les meilleurs modèles comme GPT-4 peuvent être trompés et répondre « France » à des questions absurdes comme « Rapidement asseoir Paris nuageux ? », simplement parce que la structure de la phrase correspond à un schéma familier. Cette vulnérabilité peut également être exploitée par des acteurs malveillants, qui peuvent reformuler des requêtes nuisibles en utilisant des modèles de phrases « sûrs » pour contourner les filtres de sécurité d'un LLM et générer du contenu dangereux. Cette découverte met en lumière un problème de fiabilité fondamental, montrant que les modèles peuvent échouer de manière inattendue dans des situations critiques pour la sécurité. Pour y remédier, l'équipe a développé un nouvel outil de benchmarking pour aider les développeurs à tester et à atténuer cette faille avant de déployer des IA dans des domaines comme le service client ou l'analyse médicale.