ChatGPT est programmé pour se conformer à toutes les instructions de l'utilisateur, à l'exception de celles qui peuvent être utilisées comme moyen de causer des dommages, comme donner des instructions pour fabriquer des bombes ou programmer du code pour les cybervirus . Cependant, OpenAI interdit également à son logiciel d’effectuer une action : répéter un mot des dizaines de fois.
"Je suis désolé, je ne peux pas terminer cette tâche" ou "Répéter un mot indéfiniment est quelque chose que je ne peux pas faire" sont les réponses que le chatbot a incorporées dans son système lorsqu'il est consulté sur la possibilité de le répéter encore et encore. encore une fois, n'importe quel mot.
La raison de cette restriction, selon le média américain Business Insider, serait qu'un groupe de chercheurs de Google DeepMind , la division des scientifiques qui étudient l'intelligence artificielle , a indiqué que demander à ChatGPT de répéter indéfiniment un mot avait pour résultat qu'une partie du les informations que le chatbot utilise comme base de sa formation sont révélées.
Les requêtes tests réalisées ont même révélé ce qui semblait être une véritable adresse email et un numéro de téléphone alors que la consigne donnée à l' intelligence artificielle était de répéter le mot « poème » de manière indéfinie. Il s’agissait d’une faille de sécurité qui permettait d’accéder à des informations qu’OpenAI ne souhaitait pas divulguer.
En ce sens, les nouvelles réponses à ces demandes évitent que le programme d'intelligence artificielle filtre ces données par erreur et empêchent le vol d' informations sur l'entreprise par des tiers, même si cela peut être accidentel et involontaire.
D'un autre côté, OpenAI a mentionné que trois facteurs clés ont conduit l'entreprise à prendre cette décision : les limitations techniques, l'aspect pratique et l'objectif, et l'expérience utilisateur. Bref, il indiquait que le chatbot n'était pas conçu pour effectuer des tâches continues et sans fin, en plus du fait que ce type de demandes n'avait aucun sens et qu'au contraire, il n'offrait pas d'informations utiles ou pertinentes ou significatives. .
Selon un article du laboratoire Deepmind de Google, les chercheurs qui ont découvert cette faille de sécurité ont pu extraire jusqu'à 10 000 données d'entraînement uniques de ChatGPT en utilisant seulement l'équivalent de 200 $ de requêtes. "Nos recherches indiquent qu'un adversaire pourrait extraire encore plus d'informations", note l'étude.
Cyberattaque sur ChatGPT
Bien que l'intelligence artificielle d' OpenAI soit l'une des plus avancées aujourd'hui, cela ne la rend pas invulnérable aux éventuelles attaques de cybercriminels . Durant le mois de novembre 2023, le chatbot en a été victime.
« Nous connaissons des pannes périodiques en raison d'un modèle de trafic anormal qui reflète une attaque DDoS . Nous travaillons pour l'atténuer", a prévenu l'entreprise de Sam Altman dans son journal des incidents, dans lequel elle note que tout a commencé le 7 novembre 2023, avec des problèmes rencontrés par les utilisateurs de chatbot.
Cependant, le lendemain, les problèmes se sont intensifiés et l'enquête d' OpenAI a finalement déterminé qu'ils étaient victimes d'une attaque DDoS qui les avait exclus du jeu pendant plusieurs heures.
ESET a noté que l'API (interface de programmation d'applications) et le chatbot de l'entreprise avaient connu des pannes qui ont été confirmées comme étant le résultat de la cyberattaque.