L'assistant d'intelligence artificielle de Meta, Muse, exécute un processus automatique chaque heure pour créer un profil détaillé de chaque membre de la famille, partenaire, ami et collègue des utilisateurs, selon des documents internes extraits par un chercheur indépendant.
Ce résultat a été obtenu par Karan Joshi, chercheur indépendant spécialisé en sécurité informatique et en sécurité de l'intelligence artificielle, qui a réussi à obtenir du chatbot lui-même ses instructions internes avec une demande simple : il a demandé à Muse de copier et partager ses fichiers logiciels via l'interface de chat normale.
Parmi ces instructions figure l'ordre de générer “une page pour chaque personne dans la vie de l'utilisateur”.
Quelles données l'IA de Meta rassemble-t-elle et comment les organise-t-elle ?
Le processus horaire recueille des informations sur les membres de la famille, partenaires, amis, collègues, “collaborateurs” et personnes que l'utilisateur suit simplement sur les réseaux sociaux, selon la documentation citée par Wired.
Chaque fiche est organisée en catégories fixes : faits, histoire, relation, points communs, sujets en suspens et état du lien. Les pages commencent avec peu d'informations et s'étendent avec le temps, selon les documents examinés.
Les données enregistrées par Muse incluent déménagements, objectifs d'épargne partagés, anniversaires, dates de mariage et même des disputes passées entre l'utilisateur et les personnes de son entourage, tant qu'il existe des traces de ces informations dans les conversations ou connexions de l'utilisateur.
Les instructions internes indiquent également au système qu'il doit se baser strictement sur les preuves disponibles et éviter d'inventer des détails sur les personnes profilées, une nuance que Meta met en avant comme garantie de précision face au risque que l'intelligence artificielle imagine de fausses données.
Joshi a décrit la découverte en termes sévères. “Ils veulent comprendre les relations que vous avez avec des personnes réelles”, a-t-il dit. “Ils essaient de vous connaître comme le ferait un ami, ce qui est honnêtement assez inquiétant”, a-t-il ajouté.
Quelle a été la réponse de Meta et le regard d'une experte en éthique ?
Un porte-parole de Meta, Daniel Roberts, a défendu la conception auprès de Wired. “Pour qu'un agent soit utile et vous aide vraiment à atteindre vos objectifs, il doit avoir un contexte sur vous et sur ceux qui vous entourent”, a affirmé.
Roberts a expliqué que Muse obtient ces données à partir d'informations publiques et de ce que l'utilisateur décide de partager, donnant comme exemple que le système se souvient ainsi que celui qui a envoyé une facture est le plombier engagé précédemment, ou quelles fleurs préfère le partenaire de l'utilisateur.
L'entreprise de Mark Zuckerberg soutient que chaque utilisateur opère au sein d'une machine virtuelle dédiée et inaccessible pour d'autres agents ou utilisateurs, que Muse demande une confirmation humaine avant de compléter des actions comme envoyer un courriel ou effectuer un achat, et qu'il existe un registre d'audit où l'on peut vérifier toute l'activité de l'agent.
De plus, la compagnie souligne qu'à tout moment, l'utilisateur peut effacer la mémoire accumulée par l'assistant ou déconnecter les services externes qui alimentent ces profils, bien que ce contrôle repose uniquement sur celui qui a installé Muse et non sur les personnes profilées sans l'avoir fait.
Joshi a admis qu'il n'est pas inhabituel qu'un chatbot enregistre des données sociales de base pour répondre aux requêtes, ce qui se produit déjà avec d'autres assistants conversationnels. Mais il a jugé remarquable la conception de Muse à la lumière de l'historique de Meta et de son accès étendu aux données des réseaux sociaux.
Carissa Véliz, professeure associée de l'Institut d'Éthique en Intelligence Artificielle de l'Université d'Oxford, a remis en question le déséquilibre de cette dynamique. « Nous donnons aux systèmes d'intelligence artificielle beaucoup plus d'informations sur nous que ce qu'ils nous en donnent », a-t-elle souligné.
Véliz a fait remarquer que le risque ne se limite pas à ce que l'utilisateur partage de manière explicite, mais aussi à ce que le système peut inférer ou reconstruire à partir d'autres sources de données, correctes ou non.
Un lancement massif sous la loupe
Muse est devenu un succès de téléchargements dès sa sortie, avec des millions d'utilisateurs qui l'ont connecté à des comptes bancaires, des messages et des données de santé pour qu'il exécute des tâches en leur nom.
Cette croissance survient alors que Meta fait face à des critiques concernant la gestion des données de l'assistant. Quelques jours plus tôt, la compagnie a dû démentir la réclamation d'un utilisateur qui affirmait que Muse avait lu ses messages privés sans autorisation.
S'ajoute à cela qu'avant même cela, un chercheur avait signalé une faille de sécurité permettant de prendre le contrôle total de l'agent, un autre épisode qui a alimenté le scrutin sur un produit que Meta a intégré rapidement à Facebook, Instagram et WhatsApp.