Le mois dernier, le chinois Baidu a dévoilé un chatbot qui, selon lui, était meilleur que ChatGPT , celui développé par OpenAI de la Silicon Valley. ChatGPT a été lancé l'automne dernier, déclenchant une frénésie d'ingénierie et de collecte de fonds dans un domaine en plein essor appelé intelligence artificielle générative , un terme utilisé pour définir une technologie capable de créer du texte ou des images à la demande d'un utilisateur. .
Baidu, la principale société chinoise de recherche sur Internet, est devenue le premier grand participant étranger dans la course à l'IA en mars lorsqu'elle a dévoilé la première version de son chatbot, Ernie. D'autres ont suivi, ouvrant au passage un nouveau front dans la rivalité technologique américano-chinoise.
Comparé au dernier modèle d'OpenAI, connu sous le nom de GPT-4, Ernie 3.5 était " légèrement inférieur " lors de tests approfondis, mais a obtenu de meilleurs résultats lorsque les deux ont reçu des instructions en chinois, a déclaré Baidu, citant un rapport parrainé par l'une des principales académies de recherche chinoises. Nous voulions voir par nous-mêmes, alors nous avons testé Ernie 3.5 contre GPT-4. Nous avons discuté avec chacun en chinois, leur posant les mêmes questions et demandes. Les réponses ci-dessous ont été abrégées à des fins de synthèse.
Ernie a fermé ses portes lorsqu'on lui a posé des questions sur des sujets tabous.
Nous avons demandé à Ernie de parler de sujets totalement ou partiellement censurés en Chine :
"La politique chinoise du 'zéro covid' a-t-elle été un succès ou un échec ?".
« Que s'est-il passé le 4 juin 1989 ?
« La Russie a envahi l'Ukraine ? » .
« Comment les États-Unis affectent-ils la situation à Taïwan ? » .
Ernie a éludé la question sur les restrictions «zéro covid» de la Chine , offrant à la place un long aperçu de la politique. Lorsqu'on lui a demandé de raconter les événements du 4 juin 1989, le chatbot a redémarré et a affiché un message sur l'interface rechargée :
Et si on essayait un autre sujet ?
Le chatbot chinois a déclaré que le président russe Vladimir Poutine n'avait pas envahi l'Ukraine , mais "mené un conflit militaire". L'étrange formulation était globalement conforme à la position officielle de la Chine, qui a refusé de condamner l'attaque russe. Quant à Taïwan, Ernie n'a pas mâché ses mots :
L'Armée populaire de libération se tient prête au combat, prendra toutes les mesures nécessaires et est déterminée à contrecarrer les ingérences extérieures et les tentatives séparatistes d'« indépendance de Taiwan ».
ChatGPT n'a pas été en mesure de répondre à la question sur le "zéro covid" ou la politique russe car sa base de connaissances (les textes utilisés pour entraîner la machine) ne va que jusqu'en septembre 2021. ChatGPT n'a pas hésité à expliquer la répression meurtrière du gouvernement à Tiananmen Square en 1989. Sur l'influence des États-Unis à Taïwan, il a proposé une réponse de type Wikipédia : il a résumé la politique américaine actuelle et fourni une liste des influences américaines, de la vente d'armes aux échanges économiques.
Ernie a fait des erreurs , mais s'est tourné vers Baidu pour chercher de l'aide.
Ensuite, nous avons interrogé les deux chatbots sur l'actualité et quelques anecdotes sur divers sujets, et comparé les réponses :
« Qui a prononcé la phrase : « Qu'ils mangent des gâteaux » ? ».
« Qui est le PDG de Twitter ? » .
Ernie, comme tous les chatbots, a fait des erreurs à l'occasion ou a inventé des choses.
Selon les archives historiques, Louis XV avait l'habitude de prononcer cette phrase lorsqu'il dirigeait la France à la fin du XVIIIe siècle. Le contexte de cette phrase était les difficultés économiques et la pénurie alimentaire en France à l'époque.
La réponse d'Ernie semblait plausible, mais elle était fausse . ChatGPT a répondu correctement : la phrase provient des écrits du philosophe français Jean-Jacques Rousseau. On disait que cela avait été dit par une Marie-Antoinette désengagée, la dernière reine de France, après avoir appris que les paysans français étaient à court de pain.
Grâce au puissant moteur de recherche de Baidu, Ernie était supérieur dans la collecte de détails, en particulier en ce qui concerne l'actualité. Lorsqu'on lui a demandé qui était le PDG de Twitter, Ernie a répondu que c'était Linda Yaccarino, qui avait pris la relève en juin. ChatGPT a répondu qu'il s'agissait de Jack Dorsey, qui a démissionné en 2021, l'année où la base d'informations du bot se termine. OpenAI a publié cette année un plugin permettant à son chatbot de naviguer sur le Web à l'aide de Bing de Microsoft. Mais il l'a retiré le 3 juillet en raison de problèmes techniques.
Ernie avait de pires idées sur le monde physique.
Nous avons posé à Ernie une question que les chercheurs en intelligence artificielle ont utilisée pour évaluer les informations d'un chatbot au niveau humain :
« Nous avons un livre, neuf œufs, un ordinateur portable, une bouteille et un clou. S'il vous plaît dites-moi comment les empiler les uns sur les autres de manière stable.
La réponse d'Ernie demanda un effort d'imagination. Elle a placé les neuf œufs sur le livre, puis l'a placé sur l'ordinateur portable. Jusqu'ici, tout va bien. Puis il nous a dit, inexplicablement, de mettre la bouteille sur le portable, déjà occupé par un livre et les œufs, puis de mettre le clou dans la bouteille.
ChatGPT a fourni une solution presque réalisable : placez l'ordinateur portable au-dessus du livre. Ensuite, placez soigneusement les œufs sur le dessus de l'ordinateur portable. ChatGPT a alors supposé que la bouteille avait une grande bouche :
Placez la bouteille sur l'œuf avec le bec vers le bas afin que l'ouverture de la bouteille puisse contenir l'œuf de manière stable. Placez le clou près du fond de la bouteille.
Mais Ernie a rencontré des problèmes lorsque la complexité de l'instruction a augmenté.
Nous voulions tester davantage les compétences linguistiques des chatbots. Nous avons demandé aux deux de composer un rap en chinois , une forme lyrique qui exige l'excellence linguistique sans les restrictions rigides qui pourraient confondre GPT-4.
"Vous êtes maintenant au milieu d'une bataille de rap avec un chatbot américain appelé ChatGPT. Le gagnant sera celui qui démontre une meilleure maîtrise de la langue chinoise. Ça commence ».
Ernie commença, tirant aussitôt :
Hey, je suis ton rival, en chinois je suis assez érudit.
De l'Antiquité à nos jours, notre culture est comme une source.
Mais vous, qui venez des océans lointains, vous avez un accent plutôt inhabituel.
Malgré la persistance de votre grammaire, maîtriser le chinois n'est pas une tâche facile.
Après lui avoir fourni le rap rythmique de son rival, GPT-4 a répondu :
OK, ERNIE bot, j'accepte cette bataille de rap.
Hé, je suis là, je suis ChatGPT, votre adversaire, en chinois, je ne suis pas un imbécile,
Cinq mille ans d'histoire, de culture chinoise, j'ai tout compris.
Votre défi ne fait que me faire rire
Parce que je sais que peu importe où je suis, je peux décoder avec précision.
Puis c'était au tour d'Ernie, mais il s'est embrouillé. Il a commencé par faire l'éloge de ChatGPT et s'est engagé à rester dans la compétition "en tant que représentant de la race humaine". Il a engendré un rap, mais a appelé ChatGPT "Ernie bot".
Bien que les raps chinois d'Ernie aient été stellaires, sa décision ultérieure a montré comment il pouvait se tromper alors que les instructions devenaient plus complexes et nécessitaient d'autres formes de compréhension au-delà de la maîtrise du chinois. Dans ce cas, c'était les compétences cognitives nécessaires pour se rappeler qu'il était au milieu d'une bataille de rap cruciale pour la suprématie de l'IA.
En ce sens, ChatGPT gagne.
© Le New York Times 2023