Une étude révèle les limites des intelligence artificielle générative.
L'IA est-elle aussi intelligente que nom le suggère ? Alors que les progrès des modèles de langage de grande taille (LLMs) semblent aller de plus en plus vite, une étude récente menée par des chercheurs de l'Université Harvard, du Massachusetts Institute of Technology (MIT), de l'Université de Chicago Booth, et de Cornell souligne que l'intelligence artificielle générative (GenAI) manque encore d'une compréhension cohérente du monde réel. En d'autres termes, il manque encore un élément crucial pour qu'on puisse réellement d'Intelligence Artificielle et c'est ce qui définit justement l'intelligence : La capacité à improviser.
Lire aussi :
- Les Etats-Unis bouleversent des années de croyances scientifiques pour réinventer complètement les ordinateurs quantiques
- La nation la plus avancée du monde en semiconducteurs vient d'atteindre la limite « physique » de la taille du plus petit ordinateur
Les IA actuelles montrent de grandes limites d'adaptabilité
Les LLMs, bien qu'excellant dans diverses tâches comme la rédaction, la programmation, ou encore la génération de contenu, montrent leurs limites lorsqu'il s'agit d'adaptabilité. L'étude illustre ce point en décrivant comment un modèle GenAI peut donner des directions GPS précises dans New York, mais perd immédiatement en précision dès que des variables inattendues, comme la météo, des déviations ou fermetures de rues, sont introduites.
Un manque de cartographie interne
L'investigation des chercheurs a révélé que, malgré sa capacité à naviguer dans la ville, le modèle GenAI n'avait pas formé une carte interne fidèle de New York. Le « plan » généré par le LLM incluait des rues inexistantes et des connexions improbables entre intersections éloignées, démontrant une compréhension fragmentée et souvent erronée de la géographie urbaine.
La question de la compréhension du monde
Ashesh Rambachan, professeur assistant d'économie au MIT et chercheur principal, souligne l'importance de développer des modèles mondiaux cohérents si l'on souhaite que les LLMs contribuent à de nouvelles découvertes scientifiques. Cette réflexion est au cœur des préoccupations des chercheurs qui cherchent à pousser les capacités de ces modèles au-delà de la simple prédiction de texte.
Nouvelles métriques pour évaluer les modèles
Pour aller plus loin dans l'évaluation de ces intelligences artificielles, l'équipe de recherche a développé deux nouvelles métriques destinées à tester le modèle du monde d'un transformateur, une technologie sous-jacente à des LLMs tels que GPT-4. Ces métriques ont été appliquées à des tâches spécifiques, telles que la navigation dans New York et le jeu de société Othello, pour évaluer leur capacité à former des modèles du monde cohérents.
Apprendre à l'IA à « improviser »
Les résultats de l'étude ont été surprenants : les transformateurs qui choisissaient des actions au hasard formaient souvent des modèles du monde plus précis que ceux qui suivaient des règles prédéterminées. Cette découverte remet en question la manière dont les LLMs apprennent et s'adaptent à de nouvelles informations. Les chercheurs espèrent que ces nouvelles métriques seront appliquées à des problèmes scientifiques réels, aidant ainsi à construire des modèles d'IA qui comprennent véritablement le monde qui les entoure.
Cet article explore les conclusions d'une étude récente sur les modèles de langage de grande taille (LLMs) et leur manque de compréhension cohérente du monde. En mettant en lumière les limites des intelligences artificielles génératives actuelles, l'étude souligne la nécessité de développer de nouvelles approches et méthodes d'évaluation pour réaliser le plein potentiel de ces technologies avancées.
Source : MIT
En tant que jeune média indépendant, secret-defense.org a besoin de votre aide. Soutenez-nous en nous suivant et en nous ajoutant à vos favoris sur Google News. Merci !
