Un groupe d'employés d' OpenAI dénonce ce qu'ils considèrent comme une culture d'imprudence et de secret au sein de la société d'IA de San Francisco , qui s'efforce de construire les systèmes d'IA les plus puissants jamais créés.
Le groupe, qui comprend neuf employés actuels et anciens d'OpenAI , s'est réuni ces derniers jours autour d'une préoccupation commune selon laquelle l'entreprise n'a pas fait assez pour empêcher ses systèmes d'intelligence artificielle de devenir dangereux .
Les membres affirment qu'OpenAI , qui a commencé comme un laboratoire de recherche à but non lucratif et est devenu public avec le lancement de ChatGPT en 2022, donne la priorité aux profits et à la croissance alors qu'il cherche à créer une intelligence artificielle générale, ou IAG, le terme industriel désignant un programme informatique capable de faire tout ce qu'un humain peut faire .
Ils affirment également qu'OpenAI a utilisé des tactiques musclées pour empêcher les travailleurs de faire part de leurs inquiétudes concernant la technologie, notamment des accords restrictifs de non-dénigrement que les employés sortants ont été invités à signer.
" OpenAI est vraiment enthousiasmé par la création de l'IGA, et ils font une course imprudente pour être les premiers à le faire ", a déclaré Daniel Kokotajlo , ancien chercheur de la division de gouvernance d' OpenAI et l'un des organisateurs du groupe.
Le groupe a publié mardi une lettre ouverte appelant les grandes sociétés d'IA , dont OpenAI , à établir une plus grande transparence et davantage de protections pour les lanceurs d'alerte.
Les autres membres comprennent William Saunders , un ingénieur de recherche qui a quitté OpenAI en février, et trois autres anciens employés d'OpenAI : Carroll Wainwright , Jacob Hilton et Daniel Ziegler . Plusieurs employés actuels d'OpenAI ont soutenu la lettre de manière anonyme parce qu'ils craignaient des représailles de la part de l'entreprise, a déclaré M. Kokotajlo . Les signataires étaient également un employé actuel et un ancien de Google DeepMind , le laboratoire central d'intelligence artificielle de Google .
Un porte-parole d'OpenAI , Lindsey Held , a déclaré dans un communiqué : « Nous sommes fiers de nos antécédents en tant que fournisseurs des systèmes d'intelligence artificielle les plus performants et les plus sécurisés, et croyons en notre approche scientifique pour gérer les risques. « Nous convenons qu'un débat rigoureux est crucial étant donné l'importance de cette technologie, et nous continuerons à collaborer avec les gouvernements, la société civile et d'autres communautés à travers le monde . »
Un porte-parole de Google a refusé de commenter.
La campagne arrive à un moment difficile pour OpenAI . L'entreprise est encore sous le choc de la tentative de coup d'État de l'année dernière, lorsque les membres du conseil d'administration de l'entreprise ont voté le limogeage de Sam Altman , le directeur général, en raison d'inquiétudes concernant son franc-parler. M. Altman a été réintégré quelques jours plus tard et le conseil a été reconstitué avec de nouveaux membres.
L'entreprise est également confrontée à des batailles juridiques avec des créateurs de contenu qui l'accusent d'avoir volé des œuvres protégées par le droit d'auteur pour former ses modèles. (L'année dernière, le New York Times a poursuivi OpenAI et son partenaire Microsoft pour violation du droit d'auteur.) Et le dévoilement récent d'un assistant vocal hyperréaliste a été entaché d'une dispute publique avec l'actrice hollywoodienne Scarlett Johansson , qui affirmait qu'OpenAI avait imité sa voix sans autorisation.
Mais rien n’a autant retenu l’attention que l’accusation selon laquelle OpenAI aurait été trop cavalier en matière de sécurité.
Le mois dernier, deux chercheurs seniors – Ilya Sutskever et Jan Leike – ont quitté OpenAI sous un nuage de suspicion. Le Dr Sutskever , qui avait siégé au conseil d' administration d'OpenAI et voté en faveur du licenciement de M. Altman , avait sonné l'alarme sur les risques potentiels des puissants systèmes d'intelligence artificielle. Son départ a été perçu par certains salariés soucieux de sécurité comme un revers.
Il en a été de même pour le départ du Dr Leike , qui, avec le Dr Sutskever, avait dirigé l'équipe de « super-alignement » d' OpenAI , axée sur la gestion des risques liés aux puissants modèles d'intelligence artificielle. Dans une série de messages publics annonçant son départ, le Dr Leike a déclaré qu'il pensait que « la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants ».
Ni le Dr Sutskever ni le Dr Leike n'ont signé la lettre ouverte écrite par d'anciens employés. Mais leurs départs ont poussé d’autres anciens salariés d’OpenAI à prendre la parole.
"Lorsque je me suis inscrit à OpenAI, je ne l'ai pas fait avec cette attitude du genre" Mettons les choses au monde et voyons ce qui se passe et corrigeons-les plus tard "", a déclaré M. Saunders .
Certains des anciens employés sont liés à l'altruisme efficace, un mouvement d'inspiration utilitariste qui s'est préoccupé ces dernières années de prévenir les menaces existentielles de l'intelligence artificielle . Les critiques ont accusé le mouvement de promouvoir des scénarios apocalyptiques sur la technologie, comme l’idée selon laquelle un système d’IA incontrôlable pourrait prendre le pouvoir et anéantir l’humanité.
Kokotajlo , 31 ans, a rejoint OpenAI en 2022 en tant que chercheur en gouvernance et a été chargé de prévoir les progrès de l'intelligence artificielle. Il n’était pas, pour le moins, optimiste.
Dans son précédent emploi au sein d’une organisation de sécurité de l’IA , il avait prédit que l’IA pourrait arriver d’ici 2050. Mais après avoir constaté à quelle vitesse l’IA s’améliorait, il a raccourci son calendrier. Il estime désormais qu’il y a 50 % de chances que l’IGA arrive en 2027, soit dans seulement trois ans.
Il estime également que la probabilité qu’une IA avancée détruise ou nuise de manière catastrophique à l’humanité – une sinistre statistique souvent abrégée en « p(doom) » dans les cercles de l’IA – est de 70 % .
Chez OpenAI , Kokotajlo a constaté que même si l'entreprise disposait de protocoles de sécurité – y compris un effort conjoint avec Microsoft connu sous le nom de « conseil de sécurité de déploiement » – censé examiner les nouveaux modèles pour détecter les risques majeurs avant qu'ils ne soient rendus publics -, ils semblaient rarement le faire. ralentir quoi que ce soit.
Par exemple, a-t-il déclaré, en 2022, Microsoft a commencé à tester discrètement en Inde une nouvelle version de son moteur de recherche Bing qui, selon certains employés d'OpenAI, contenait une version alors inédite de GPT-4 , le grand modèle de langage de nouvelle génération d' OpenAI . M. Kokotajlo a déclaré qu'il avait été informé que Microsoft n'avait pas obtenu l'approbation du conseil de sécurité avant de tester le nouveau modèle, et après que le conseil d'administration ait eu connaissance des tests - grâce à une série de rapports selon lesquels Bing se comportait étrangement envers les utilisateurs - il n'a rien fait pour empêcher Microsoft de déployer plus largement.
Un porte-parole de Microsoft , Frank Shaw , a réfuté ces affirmations. Il a déclaré que ni GPT-4 ni aucun modèle OpenAI n'avaient été utilisés dans des tests en Inde . La première fois que Microsoft a publié une technologie basée sur GPT-4 , c'était début 2023, a-t-il déclaré, et elle a été examinée et approuvée par un prédécesseur du conseil de sécurité.
Au fil du temps, a déclaré M. Kokotajlo , il est devenu si préoccupé que, l'année dernière, il a déclaré à M. Altman que l'entreprise devrait « se tourner vers la sécurité » et consacrer plus de temps et de ressources à la protection contre les risques de sécurité au lieu d'aller de l'avant. améliorer leurs modèles. Il a déclaré qu’Altman avait prétendu être d’accord avec lui, mais que rien n’avait beaucoup changé.
En avril, il a démissionné. Dans un e-mail adressé à son équipe, il a déclaré qu'il partait parce qu'il avait « perdu confiance dans le fait qu'OpenAI se comporterait de manière responsable » à mesure que ses systèmes se rapprochaient de l'intelligence humaine.
« Le monde n’est pas prêt et nous non plus », a écrit Kokotajlo . « Et je crains que nous nous précipitions malgré tout et que nous rationalisions nos actions. »
OpenAI a déclaré la semaine dernière qu'elle avait commencé à former un nouveau modèle d'IA phare et qu'elle formait un nouveau comité de sûreté et de sécurité pour explorer les risques associés au nouveau modèle et à d'autres technologies futures.
À son départ, Kokotajlo a refusé de signer le document standard d' OpenAI pour les employés qui partent, qui comprend une clause stricte de non-divulgation qui leur interdit de dire des choses négatives sur l'entreprise, sous peine de risquer de retirer le capital acquis.
De nombreux employés risquaient de perdre des millions de dollars s’ils refusaient de signer. M. Kokotajlo a déclaré que la valeur de ses droits était d'environ 1,7 million de dollars, ce qui représentait la majorité de sa valeur nette, et qu'il était prêt à tout abandonner.
(Une petite tempête a éclaté le mois dernier après que Vox a signalé ces transactions. En réponse, OpenAI a affirmé qu'elle n'avait jamais récupéré les capitaux acquis auprès d'anciens employés et qu'elle ne le ferait pas. M. Altman a déclaré qu'il était « vraiment embarrassé ». » connaissance des accords, et l'entreprise a déclaré qu'elle supprimerait les clauses de non-dénigrement de sa documentation standard et libérerait les anciens employés de leurs accords).
Dans leur lettre ouverte, M. Kokotajlo et les autres anciens employés d'OpenAI appellent à la fin du recours aux accords de non-divulgation et de non-distanciation chez OpenAI et d'autres sociétés d'IA .
« De larges accords de confidentialité nous empêchent d'exprimer nos préoccupations, sauf aux entreprises elles-mêmes qui pourraient ne pas résoudre ces problèmes », écrivent-ils.
Ils appellent également les entreprises d’IA à « soutenir une culture de critique ouverte » et à établir un processus de signalement afin que les employés puissent exprimer de manière anonyme leurs préoccupations liées à la sécurité.
Ils ont engagé un avocat pro bono, Lawrence Lessig , éminent juriste et activiste. Lessig a également conseillé Frances Haugen , une ancienne employée de Facebook qui a poursuivi l'entreprise pour avoir fait passer les bénéfices avant la sécurité.
En una entrevista, Lessig dijo que, aunque la protección tradicional de los denunciantes se aplica normalmente a las denuncias de actividades ilegales, es importante que los empleados de las empresas de inteligencia artificial puedan hablar libremente de los riesgos y posibles daños, dada la importancia de la technologie.
« Les employés constituent une ligne de défense importante pour la sécurité, et s'ils ne peuvent pas s'exprimer librement sans représailles, cette voie sera fermée », a-t-il déclaré.
Held , la porte-parole d'OpenAI , a déclaré que l'entreprise disposait de « moyens permettant aux employés d'exprimer leurs préoccupations », y compris une ligne d'assistance téléphonique anonyme en matière d'intégrité.
Kokotajlo et son groupe sont sceptiques quant au fait que l’autorégulation suffira à elle seule à préparer un monde doté de systèmes d’intelligence artificielle plus puissants. C'est pourquoi ils demandent aux législateurs de réglementer également le secteur.
« Il doit y avoir une sorte de structure gouvernementale démocratiquement responsable et transparente en charge de ce processus », a déclaré Kokotajlo . « Au lieu de seulement quelques entreprises privées différentes qui se font concurrence et gardent tout cela secret. »
Nouveau