Pour matérialiser cet objectif, Musk a lancé un superordinateur appelé “Colossus”, conçu spécifiquement pour entraîner le modèle de langage Grok, qui est déjà utilisé sur X, anciennement Twitter.
Découvrez le superordinateur d'Elon Musk
Colossus se présente comme l'une des machines les plus puissantes jamais créées. Ce superordinateur dispose de 100 000 unités de traitement graphique (GPU) Nvidia H100, ce qui le place au sommet de la puissance de traitement dans le monde de l'IA.
Mais ce n'est pas tout. Musk a annoncé que le système ne s'arrêtera pas là, car il prévoit d'ajouter 50 000 puces Nvidia H200, qui, selon ses calculs, offrent deux fois les performances en accélération d'IA par rapport aux H100.
Cette débauche de matériel place Colossus en position de leader par rapport à d'autres systèmes d'IA, car les GPU H100 sont très demandés dans l'industrie pour leur capacité à gérer les tâches de traitement de données les plus complexes.
Combien Elon Musk a investi pour augmenter son IA
Les estimations de prix pour ces unités oscillent entre 20 000 et 90 000 dollars par GPU, ce qui implique que, rien que dans la première phase de son projet, Musk a déboursé au moins 2 milliards de dollars.
Cependant, cela ne représente qu'une fraction du coût total, il est encore nécessaire de considérer d'autres éléments comme les centres de données, l'infrastructure de refroidissement et le personnel spécialisé.
Comment ce superordinateur impacte le développement de l'IA
L'ampleur de Colossus ne réside pas seulement dans sa capacité de traitement, mais aussi dans ce que cela permettra d'accomplir avec Grok, le modèle de langage que Musk souhaite transformer en le plus avancé du monde.
Grok-2, la version précédente du modèle, utilisait déjà 15 000 GPU H100, le plaçant parmi les plus puissants. Maintenant, avec Colossus, Grok-3 promet d'être jusqu'à sept fois plus puissant, une avancée que Musk espère voir se concrétiser dans les mois à venir.
Selon Musk, le nouveau modèle pourrait être disponible d'ici décembre de cette année, comme il l'a mentionné lors d'une récente conversation dans le podcast du psychologue Jordan Peterson.
Cette nouvelle version de Grok promet de révolutionner le secteur de l'IA, en augmentant considérablement la capacité de traitement du langage naturel et en améliorant la précision et l'efficacité des réponses générées.
Quelles sont les préoccupations soulevées par les innovations d'Elon Musk
Bien que la technologie derrière Colossus et GROK puisse établir un précédent dans le développement de l'IA, elle soulève également de sérieuses préoccupations, telles que la quantité d'énergie nécessaire pour faire fonctionner un système de cette taille, qui peut devenir colossale.
Musk estime que Colossus consommera environ 150 mégawatts d'énergie, suffisant pour alimenter une petite ville. De plus, le superordinateur aura besoin d'un million de gallons d'eau par jour pour son refroidissement, ce qui souligne les coûts environnementaux qui accompagnent cette initiative ambitieuse.
En outre, le développement de Colossus soulève des questions complexes sur l'impact de l'IA sur l'environnement. À mesure que les superordinateurs deviennent plus puissants, leur consommation énergétique augmente, ce qui a des conséquences directes sur le changement climatique.
L'empreinte carbone de Colossus et sa demande énorme en ressources en eau ont suscité des critiques de la part d'activistes environnementaux, qui soutiennent que ces projets devraient être plus durables.