Google a présenté ce mercredi Gemini 4 Carbon, son nouveau modèle d'intelligence artificielle, qui se place en tête avec 59 points sur l'indice de la firme indépendante Artificial Analysis. Pour l'instant, il ne sera utilisé que par un groupe restreint d'experts en cybersécurité ; les développeurs, les entreprises et le grand public devront attendre, sans date confirmée.
L'annonce a été signée par Koray Kavukcuoglu, vice-président senior de Google DeepMind et architecte en chef de l'intelligence artificielle de l'entreprise. Selon Google, Carbon domine trois tests publics de sécurité informatique : 88,2 % sur SEC-bench Pro, qui mesure la capacité à trouver des failles dans des programmes réels ; 54,8 % sur ExploitGym, qui vérifie si une faille peut être exploitée, et 71,0 % sur CWE-bench, qui évalue si le modèle la corrige.
Dans l'indice d'Artificial Analysis, version 5.0, Carbon surpasse Claude Opus 5.5, d'Anthropic, avec 58 points, et GPT-6 Astra, d'OpenAI, avec 57, selon VentureBeat. Argon, le modèle précédent de Google, a obtenu 50 points. Dans le tableau de Google, Carbon obtient le meilleur résultat sur 15 des 17 tests.
Argon a été présenté le 30 septembre aux partenaires en cybersécurité et s'est ouvert plus largement le 13 octobre, selon VentureBeat. Carbon suit le même chemin, 15 jours après cette extension. Google n'a pas publié de rapport technique ni le nombre de paramètres du modèle.
Seuls les experts en cybersécurité auront accès pour l'instant
Google a indiqué qu'il donnerait accès cette semaine à « un sous-ensemble de défenseurs cyber » et qu'il l'étendrait par étapes à plus de partenaires de confiance via son Programme Fairwind, qui compte plus de 650 partenaires, exige une vérification des antécédents et interdit le partage ou la revente de l'accès, selon WebProNews, qui cite la page du programme.
Les autres utilisateurs n'ont pas de délai. L'entreprise a affirmé qu'elle l'offrirait aux développeurs, aux entreprises et aux consommateurs « le plus tôt possible », après avoir recueilli des commentaires et ajusté les mesures de protection du modèle. Elle participe également au processus volontaire du gouvernement des États-Unis pour tester les modèles avant leur lancement.
Lorsqu'il sera disponible pour les développeurs, le prix initial sera de 2 USD par million de tokens d'entrée et de 10 USD par million de sortie ; il passera ensuite à 4 USD et 20 USD. Google n'a pas précisé quand cette période introductive se terminera ; celle d'Argon expire le 30 novembre.
Les tests de sécurité ont été mesurés sans restrictions
Google a précisé que les évaluations externes de cybersécurité ont été réalisées sans mesures de protection. VentureBeat a souligné que, pour cette raison, l'annonce ne démontre pas que les clients obtiendront les mêmes résultats avec les restrictions qui accompagneront le modèle lors de sa commercialisation.
L'entreprise a également affirmé que l'équipe de Chrome a constaté que Carbon a généré des corrections de meilleure qualité, avec un avantage supérieur à 10 fois par rapport au modèle d'un autre laboratoire. Google n'a pas nommé le concurrent ni publié les données de cette comparaison, selon VentureBeat.
Les tests indépendants ont révélé des nuances : Carbon améliore de manière notable les performances par rapport à Argon en programmation et en travail de connaissance, mais reste en retrait par rapport à plusieurs concurrents sur les tâches professionnelles et enregistre plus d'hallucinations qu'Argon dans un test de données factuelles, a rapporté VentureBeat. OpenAI conserve l'avantage dans un test d'ingénierie logicielle et Anthropic dans un test d'utilisation de l'ordinateur.
Google a également décrit des améliorations dans le comportement du modèle : les alertes graves de déviation de comportement ont diminué de près de 80 % au sein de ses équipes internes et, dans un banc d'essai d'injection d'instructions — des attaques qui cachent des ordres dans le contenu que le modèle lit —, le taux de réussite des attaques a été de 0,0 %. Il s'agit de mesures effectuées par la société elle-même.
Carbon peut travailler pendant des jours pour trouver et corriger des erreurs subtiles dans de grandes bases de code, selon les observations des équipes internes de Google.