Le chatbot que des millions de personnes ont utilisé pour écrire des dissertations, du code informatique et des contes de fées ne fonctionne pas seulement avec des mots. ChatGPT, l'outil basé sur l'IA d'OpenAI, peut également analyser des images, décrire ce qu'elles contiennent, répondre à des questions à leur sujet et même reconnaître les visages de personnes spécifiques. L'espoir est que, éventuellement, quelqu'un puisse télécharger une photo d'un moteur de voiture cassé ou d'une mystérieuse éruption cutanée et que ChatGPT puisse suggérer la solution.
Cependant, OpenAI ne souhaite pas que ChatGPT devienne une machine de reconnaissance faciale.
Depuis quelques mois, Jonathan Mosen fait partie d'un groupe restreint de personnes ayant accès à une version avancée du chatbot capable d'analyser des images. Lors d'un récent voyage, Mosen, PDG d'une agence de placement aveugle, a utilisé une analyse visuelle pour déterminer quels distributeurs dans la salle de bain d'une chambre d'hôtel étaient du shampoing, de l'après-shampooing et du gel douche. Les performances du logiciel d'analyse d'images étaient bien supérieures à ce que j'avais utilisé par le passé.
« Il m'a indiqué la contenance en millilitres de chaque bouteille. Il m'a parlé des carreaux de la douche", a déclaré Mosen. « Il a décrit tout cela de la manière dont une personne aveugle a besoin de l'entendre. Et avec une photo, j'ai obtenu exactement les réponses dont j'avais besoin."
Pour la première fois, Mosen a affirmé qu'il pouvait « interroger des images ». Il a donné un exemple : un texte accompagnant une image qu'il a trouvée sur les réseaux sociaux la décrivait comme une "femme à l'air heureuse avec des cheveux blonds". Lorsqu'il a demandé à ChatGPT d'analyser l'image, le chatbot a déclaré qu'il s'agissait d'une femme en chemise bleu foncé prenant un selfie dans un miroir en pied. Mosen a pu poser des questions de suivi, telles que le type de chaussures qu'elle portait et ce qu'on voyait d'autre dans le reflet du miroir.
"C'est extraordinaire", a déclaré Mosen, 54 ans, qui vit à Wellington, en Nouvelle-Zélande, et a montré la technologie sur un podcast qu'il héberge sur "vivre pleinement à l'aveuglette".
En mars, lorsque OpenAI a annoncé GPT-4, le dernier modèle du logiciel qui alimente son chatbot IA, la société l'a déclaré "multimodal", ce qui signifie qu'il pouvait répondre aux commandes de texte et d'image. Alors que la plupart des utilisateurs ont pu converser avec le bot en utilisant uniquement des mots, Mosen a obtenu un accès précoce à l'analyse visuelle grâce à Be My Eyes, une startup qui associe régulièrement des utilisateurs aveugles à des volontaires voyants et fournit un service client accessible aux entreprises. Be My Eyes s'est associé à OpenAI cette année pour tester la "vision" du chatbot avant de diffuser la fonctionnalité au grand public.
L'application a récemment cessé de fournir à Mosen des informations sur les visages des personnes, après avoir affirmé qu'elles étaient cachées pour des raisons de confidentialité. Mosen était déçu, estimant qu'il devrait avoir le même accès à l'information qu'une personne voyante.
Le changement reflétait la préoccupation d'OpenAI d'avoir construit quelque chose de puissant qu'il ne voulait pas rendre public.
La technologie de l'entreprise peut principalement identifier des personnalités publiques, telles que les personnes ayant une page Wikipédia, a déclaré Sandhini Agarwal, chercheur en politiques chez OpenAI, mais elle ne fonctionne pas aussi complètement que les outils conçus pour trouver des visages sur Internet, tels que ceux de Clearview AI et PimEyes. Agarwal a déclaré que l'outil peut reconnaître le PDG d'OpenAI, Sam Altman, à partir de photos, mais pas d'autres personnes qui travaillent dans l'entreprise.
Rendre une telle fonctionnalité accessible au public repousserait les limites de ce qui est généralement considéré comme une pratique acceptable par les entreprises technologiques américaines. Cela pourrait également causer des problèmes juridiques dans plusieurs juridictions, telles que l'Illinois et l'Europe, qui obligent les entreprises à obtenir le consentement des citoyens pour utiliser leurs informations biométriques, y compris les empreintes digitales faciales.
De plus, OpenAI craignait que l'outil ne dise des choses qu'il ne devrait pas sur les visages des gens, comme déterminer leur sexe ou leur état émotionnel. OpenAI cherche à résoudre ces problèmes de sécurité et d'autres avant de diffuser la fonction d'analyse d'image au grand public, a déclaré Agarwal.
"Notre grand désir est que ce soit une conversation à double sens avec le public", a-t-il déclaré. "Si ce que nous entendons est quelque chose comme:" En fait, nous ne voulons rien de tout cela ", c'est quelque chose avec lequel nous sommes tout à fait d'accord."
Microsoft, qui a investi 10 milliards de dollars dans OpenAI, a également accès à l'outil d'analyse visuelle. Certains utilisateurs du chatbot Bing alimenté par l'IA de Microsoft ont vu la fonctionnalité apparaître dans un déploiement limité ; après avoir téléchargé des images, ils ont reçu un message les informant que "le flou de confidentialité masque les visages de chat Bing".
Sayash Kapoor, informaticien et doctorant à l'Université de Princeton, a utilisé l'outil pour déchiffrer un captcha, un contrôle de sécurité visuel conçu pour n'être intelligible que pour les yeux humains. Même en déchiffrant le code et en reconnaissant les deux mots cachés fournis, le chatbot a noté que "les captchas sont conçus pour empêcher les robots automatisés comme moi d'accéder à certains sites Web ou services".
"L'IA est en train de faire son chemin dans tout ce qui est censé séparer les humains des machines", a déclaré Ethan Mollick, professeur agrégé qui étudie l'innovation et l'entrepreneuriat à la Wharton School de l'Université de Pennsylvanie.
Logo OpenAI dans leurs bureaux de San Francisco, Californie, le 10 mars 2023. (Jim Wilson/The New York Times)