Quand l’IA se heurte à un vieux jeu d’échecs : un échec retentissant pour ChatGPT

La technologie de l’intelligence artificielle (IA) évolue à pas de géant, promettant de révolutionner de nombreux secteurs. Cependant, un ingénieur au sein de Citrix, Robert Caruso, a récemment mis en lumière les limites de l’IA en confrontant ChatGPT à une version vintage du jeu d’échecs, Video Chess, datant de l’Atari 2600, sorti en 1979. Au grand dam des fervents défenseurs de l’IA, le bot de conversation de dernière génération a dû se rendre à l’évidence : il n’a pas réussi à triompher de ce jeu rétro, emblématique d’une ère révolue de l’informatique.

Une expérience cocasse illustrant les failles de l’IA

Au cours de cette expérience, Caruso a utilisé un émulateur pour relancer une partie de Video Chess, demandant à ChatGPT (basé sur le modèle GPT-4o) d’interpréter les positions de l’échiquier à partir d’images. Les experts s’attendaient à ce que l’intelligence artificielle, réputée pour son analyse de données à grande échelle, assoie sa domination sur un jeu dont l’IA aurait dû disposer des clés de la victoire.

« ChatGPT a été complètement annihilé même en mode débutant », témoigne Robert Caruso dans un post publié sur LinkedIn. Malgré une aide initiale pour identifier les pièces sur l’échiquier, le bot a non seulement confondu les tours et les fous, mais a aussi mué ses calculs en erreurs fatales, ne parvenant même pas à apprécier des opportunités de victoire. Les difficultés qu’il a rencontrées l’ont amené à blâmer l’abstraction des icônes Atari, avant de revenir à un format classique d’échecs sans amélioration significative.

Video Chess Atari — C’était ça, Video Chess. © Wikimedia

Le résultat fut humiliant pour l’IA, qui, après une heure et demie de “lutte”, a fini par admettre son incapacité à rivaliser avec ce jeu, pourtant rudimentaire par rapport aux normes contemporaines. Néanmoins, ChatGPT a demandé la permission de réessayer.

À noter que ChatGPT n’est pas configuré pour jouer aux échecs, contrairement à des logiciels spécialisés comme Stockfish, dont l’ELO dépasse les 3 600, tandis que le plus grand champion humain n’atteint que 2 800. Cette situation jette une ombre sur les promesses souvent exagérées formulées autour des capacités de l’IA générative.

Interrogé sur cet échec cuisant, ChatGPT a répondu avec un humour surprenant, déclarant que « même les meilleurs peuvent connaître un moment de faiblesse… De plus, je n’ai jamais été formé pour reconnaître des pièces sous la forme de huit pixels verts fluo ». Cette anecdote met en exergue les défis auxquels se heurte l’IA lorsqu’elle est confrontée à des environnements pour lesquels elle n’a pas été spécifiquement développée.