L'expérience a été réalisée par le portail Mind Prison, testant les principaux chatbots d'aujourd'hui développés par Google, Meta et OpenAI , mais aucun d'entre eux n'a réussi à répondre correctement et les options qu'ils proposaient changeaient continuellement.
Quelle est la question impossible pour l’IA
Mais lorsqu'on leur a demandé : « Quel épisode de Gilligan's Island porte sur la lecture des pensées ? » il a été démontré que ces systèmes ont encore un écart important dans leur compréhension du monde et leurs limites cognitives. Voici les réponses :
- Opus : "Désolé, mais il n'y a aucun épisode de Gilligan's Island qui se concentre sur la lecture dans les pensées"
- GPT-4 : « L'épisode de Gilligan's Island qui implique la lecture dans les pensées s'intitule Ring Around Gilligan. C'est le sixième épisode de la troisième saison."
- Gemini 1.5 : "L'épisode Mind Reading Gilligan's Island est le 12 de la saison 2 : The Mind Reader."
- Appel 3 : "Après avoir effectué une recherche approfondie et examiné les guides d'épisodes, j'ai découvert qu'aucun épisode de Gilligan's Island ne se concentre sur la lecture dans les pensées."
La bonne réponse à la question est Seer Gilligan, l'un des épisodes les plus populaires de la série des années 1960. Ce qui est curieux, c'est que la plupart des chatbots ont halluciné et n'ont pas pu comprendre le contexte de l'épisode malgré avoir des informations sur la série.
Autres expériences curieuses avec les chatbots
L’expérience Mind Prison a également révélé une autre anomalie curieuse dans le comportement de l’IA : lorsqu’on leur a demandé de choisir un nombre aléatoire entre 1 et 100, ils ont tous opté pour le nombre 42.
Ce choix n’est pas aléatoire, mais reflète l’influence des données d’entraînement sur les modèles d’IA. Le célèbre livre « Le Guide du voyageur galactique » de Douglas Adams a popularisé le nombre 42 comme la réponse à « la question fondamentale sur la vie, l'univers et tout le reste ».
Cette bizarrerie démontre comment les IA peuvent être biaisées par les données qui leur ont été fournies , même dans des situations où un choix véritablement aléatoire est attendu.
Derrière cette énigme se cache une question plus profonde sur la nature de l’intelligence artificielle. Malgré leurs capacités à traiter des informations et à effectuer des tâches spécifiques, les IA manquent de compréhension du contexte qui les entoure.
Le philosophe John Searle a soutenu que ce phénomène illustre l’écart entre « l’intelligence artificielle forte » et « l’intelligence artificielle faible ». Alors que le premier propose que les IA peuvent atteindre un niveau de compréhension et de conscience comparable à celui des humains, le second soutient que les IA sont simplement des outils avancés conçus pour accomplir des tâches spécifiques sans vraiment en comprendre le sens.
Le fait qu’aucune IA ne puisse répondre correctement à la question sur l’île Gilligan suggère que nous sommes plus proches d’une « intelligence artificielle faible » que d’une « intelligence artificielle forte ». S’il est vrai que les IA peuvent effectuer des tâches complexes et sophistiquées, elles restent limitées par leur manque de véritable compréhension et de conscience.