En juillet 2023 , OpenAI a introduit une nouvelle équipe chargée de garantir que les futurs systèmes d'intelligence artificielle , qui pourraient être plus intelligents que tous les humains réunis, puissent être contrôlés en toute sécurité. Pour montrer à quel point cet objectif est sérieux , l'entreprise a promis publiquement de consacrer 20 % de ses ressources informatiques disponibles à cet effort. Cependant, moins d'un an plus tard, cette équipe, appelée Superalignment , a été dissoute à la suite de démissions du personnel et d'accusations selon lesquelles OpenAI donne la priorité aux versions de produits plutôt qu'à la sécurité de l'IA. Selon une demi-douzaine de sources proches du fonctionnement de l'équipe Superalignment , OpenAI n'a jamais tenu son engagement de fournir à l'équipe 20 % de sa puissance de calcul.
Au lieu de cela, selon des sources, l'équipe a vu à plusieurs reprises ses demandes d'accès aux unités de traitement graphique, les puces spécialisées nécessaires pour former et exécuter des applications d'intelligence artificielle , rejetées par la direction d'OpenAI , même si le budget total de l'équipe n'a jamais été proche des 20 promis. % seuil. Ces révélations remettent en question le sérieux d'OpenAI dans la réalisation de sa promesse publique et la fiabilité des autres engagements publics de l'entreprise. OpenAI n'a pas répondu aux demandes de commentaires sur cette histoire.
La société est actuellement critiquée pour avoir utilisé une voix pour ses fonctions de génération vocale d'IA qui est étonnamment similaire à celle de l'actrice Scarlett Johansson . Dans ce cas, des questions ont été soulevées quant à la crédibilité des déclarations publiques d'OpenAI selon lesquelles la similitude entre la voix de l'IA appelée « Sky » et la voix de Johansson est une pure coïncidence. Johansson dit que le co-fondateur et PDG d'OpenAI, Sam Altman, l'a approchée en septembre dernier, lorsque la voix de Sky a été introduite pour la première fois, lui demandant la permission d'utiliser sa voix. Johansson a refusé. Et il dit qu'Altman a de nouveau demandé sa permission la semaine dernière, juste avant une démonstration très attendue du dernier modèle GPT-4o , qui utilisait la voix de Sky . OpenAI a nié avoir utilisé la voix de Johansson sans sa permission, affirmant avoir payé une actrice professionnelle, dont elle ne peut légalement divulguer le nom, pour créer Sky . Mais les affirmations de Johansson ont semé le doute à ce sujet, certains spéculant sur les réseaux sociaux selon lesquels OpenAI , en fait, aurait cloné la voix de Johansson ou aurait peut-être mélangé la voix d'une autre actrice avec celle de Johansson d'une manière ou d'une autre pour créer Sky .
L'équipe Superalignment a été créée sous la direction d' Ilya Sutskever , co-fondateur et ancien scientifique en chef d' OpenAI , dont le départ de l'entreprise a été annoncé la semaine dernière. Jan Leike, chercheur de longue date sur OpenAI , a codirigé l'équipe. Il a annoncé sa démission vendredi, deux jours après le départ de Sutskever . L'entreprise a alors informé les employés restants de l'équipe, qui comptait environ 25 personnes, que l'équipe était dissoute et qu'ils seraient réaffectés au sein de l'entreprise. Ce fut une chute rapide pour une équipe dont le travail OpenAI avait été positionné moins d’un an plus tôt comme vital pour l’entreprise et essentiel pour l’avenir de la civilisation.
La superintelligence est l’idée d’un futur système d’IA hypothétique qui serait plus intelligent que tous les humains réunis. Il s'agit d'une technologie qui irait au-delà de l'objectif déclaré de l'entreprise de créer une intelligence artificielle générale , ou AGI, un système d'IA unique aussi intelligent que n'importe quelle personne. La superintelligence, a déclaré la société en annonçant l'équipement, pourrait présenter un risque existentiel pour l'humanité en tentant de tuer ou d'asservir des personnes. "Nous n'avons pas de solution pour diriger et contrôler une IA potentiellement super intelligente et l'empêcher de devenir incontrôlée", a déclaré OpenAI dans son annonce. L’équipe Superalignment était censée étudier ces solutions. Il s'agissait d'une tâche si importante que la société a déclaré dans son annonce qu'elle consacrerait « 20 % du calcul que nous avons obtenu à ce jour au cours des quatre prochaines années » à cet effort.
Mais selon une demi-douzaine de sources proches du travail de l'équipe Superalignment, le groupe n'a jamais reçu ce décompte. Au lieu de cela, il a reçu beaucoup moins dans le budget d'allocation de calcul régulier de l'entreprise, qui a été réévalué tous les trimestres. Une source proche du travail de l'équipe Superalignment a déclaré qu'il n'y avait jamais de mesures claires sur la manière exacte dont le montant de 20 % devait être calculé, laissant place à une large interprétation. Par exemple, la source a déclaré que l'équipe n'avait jamais été informée si la promesse signifiait « 20 % chaque année pendant quatre ans » ou « 5 % par an pendant quatre ans » ou un montant variable qui pourrait finir par être « 1 % ou 2 % pour les trois premières années, puis la majeure partie de l’engagement au cours de la quatrième année.
Quoi qu'il en soit, toutes les sources ont confirmé que l'équipe de Superalignment n'avait jamais reçu près de 20 % du calcul sécurisé d' OpenAI en juillet 2023. Les chercheurs d'OpenAI peuvent également faire des demandes pour ce que l'on appelle un « calcul flexible », un accès supplémentaire au GPU. capacité au-delà de ce qui était budgétisé – pour aborder de nouveaux projets entre les réunions budgétaires trimestrielles. Mais les demandes flexibles de l'équipe de Superalignment étaient systématiquement rejetées par la haute direction, ont indiqué ces sources. Bob McGrew , vice-président de la recherche chez OpenAI , est le cadre qui a informé l'équipe que ces demandes avaient été refusées, mais des sources ont déclaré que d'autres personnes de l'entreprise, y compris la directrice de la technologie Mira Murati , étaient impliquées dans la prise de décision. Ni McGrew ni Murati n'ont répondu aux demandes de commentaires sur cette histoire.
Bien que l'équipe ait mené des recherches (elle a publié un article détaillant ses expériences visant à obtenir un modèle d'IA moins puissant pour contrôler un modèle plus puissant en décembre 2023), le manque de calcul a contrecarré les idées les plus ambitieuses de l'équipe, a indiqué la source.
Après sa démission, Leike a posté vendredi une série de messages sur ». Il a également déclaré que « ces derniers mois, mon équipe naviguait contre le vent. "Parfois, nous avions du mal à faire le décompte et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ." Cinq sources ont soutenu le récit de Leike , affirmant que les problèmes d'accès à l'informatique se sont aggravés à la suite de l'impasse précédant Thanksgiving entre Altman et le conseil d'administration de la Fondation à but non lucratif OpenAI .
Sutskever , qui faisait partie du conseil d'administration, avait voté en faveur du licenciement d'Altman et était la personne choisie par le conseil d'administration pour annoncer la nouvelle à Altman . Lorsque le personnel d'OpenAI s'est rebellé en réponse à cette décision, Sutskever a ensuite posté sur X qu'il « regrettait profondément » son rôle dans le licenciement d' Altman . Finalement, Altman a été réintégré et Sutskever et plusieurs autres membres du conseil d'administration impliqués dans son licenciement ont démissionné du conseil d'administration. Sutskever n'est jamais retourné travailler chez OpenAI après la réintégration d' Altman , mais n'avait officiellement quitté l'entreprise que la semaine dernière. Une source a contesté la description des problèmes informatiques rencontrés par l'équipe de Superalignment , affirmant que ces problèmes avaient précédé l'implication de Sutskever dans le coup d'État manqué et qu'ils ont tourmenté le groupe depuis le début.
Bien qu'il y ait eu des rapports selon lesquels Sutskever a continué à codiriger l'équipe Superalignment à distance , des sources proches du travail de l'équipe ont déclaré que ce n'était pas le cas et que Sutskever n'avait pas accès au travail de l'équipe et n'avait joué aucun rôle dans la formation. leadership après Thanksgiving. Avec le départ de Sutskever , l'équipe de Superalignment a perdu la seule personne de l'équipe qui disposait de suffisamment de capital politique au sein de l'organisation pour défendre avec succès sa mission informatique, ont indiqué des sources.
Outre Leike et Sutskever , OpenAI a perdu au moins six autres chercheurs en sécurité de l'IA issus de différentes équipes ces derniers mois. L'un des chercheurs, Daniel Kokotajilo , a déclaré à un site d'information qu'il « avait progressivement perdu confiance dans le leadership d' OpenAI et dans sa capacité à gérer l'AGI de manière responsable, il a donc démissionné ».
En réponse aux commentaires de Leike , Altman et le co-fondateur Greg Brockman , qui est le président d' OpenAI , ont publié sur X qu'ils étaient « reconnaissants envers [Leike] pour tout ce qu'il a fait pour OpenAI ». Les deux hommes ont ensuite écrit : « Nous devons continuer à élever notre travail de sécurité pour qu'il corresponde à l'importance de chaque nouveau modèle . » Ils ont ensuite présenté leur vision de l'approche future de l'entreprise en matière de sécurité de l'IA , qui impliquerait de mettre davantage l'accent sur le test des modèles en développement plutôt que d'essayer de développer des approches théoriques sur la manière de sécuriser les futurs modèles plus puissants. « Nous avons besoin d'une boucle de rétroaction très étroite, de tests rigoureux, d'un examen attentif à chaque étape, d'une sécurité de premier ordre et d'une harmonie entre la sécurité et les capacités », ont écrit Brockman et Altman, ajoutant que « une compréhension empirique peut aider à éclairer la voie à suivre. « ».
Les personnes qui se sont exprimées l'ont fait de manière anonyme, soit parce qu'elles disaient craindre de perdre leur emploi, soit par crainte de perdre les capitaux acquis dans l'entreprise, ou les deux. Les employés qui ont quitté OpenAI ont été contraints de signer des accords de séparation qui incluent une clause stricte de non-dénigrement stipulant que l'entreprise peut récupérer les capitaux acquis s'ils critiquent publiquement l'entreprise ou même reconnaissent l'existence de la clause. Et on a dit aux salariés que quiconque refuserait de signer l'accord de séparation perdrait ses capitaux propres .
Après qu'un site d'information ait fait état de ces conditions de séparation, Altman a publié sur Il a déclaré qu'OpenAI n'avait jamais tenté de faire respecter la clause et de récupérer le capital acquis auprès de qui que ce soit . Il a déclaré que l'entreprise était en train de mettre à jour ses documents de sortie pour « corriger » le problème et que tout ancien employé préoccupé par les dispositions des documents de sortie qu'ils ont signés pourrait le contacter directement à ce sujet et que ceux-ci seraient modifiés.
(c) 2024, Fortune