Google a non seulement présenté au monde son nouveau modèle de langage large Gemini (LLM), le géant de la technologie a également lancé Cloud TPU v5p , son accélérateur d'intelligence artificielle le plus puissant qui sera intégré au nouveau supercalculateur AI Hypercomputer .
Des technologies qui cherchent à devenir des solutions efficaces aux défis posés par les modèles d’IA générative , dont la complexité et la taille ont augmenté de façon exponentielle.
Quant à la version la plus avancée du processeur TPU, elle promet des performances nettement supérieures à ses prédécesseurs car elle intègre un total de 8960 puces et est dotée de l'interconnexion la plus rapide développée jusqu'à présent, atteignant jusqu'à 4800 Gbps par puce .
Selon Google, CloudTPU v5p Double la capacité d'opérations en virgule flottante par seconde (FLOPS) par rapport à la version précédente et triple l'efficacité de la mémoire à large bande passante .
En parallèle, l'IA Hypercomputer de Google Cloud est présenté comme une architecture de supercalcul qui vise à maximiser l'efficacité dans la gestion des charges de travail d'IA grâce à l'utilisation d'un code au niveau du système, qui est placé au-dessus des méthodes traditionnelles, ce qui peut conduire à des inefficacités lors de l'exécution de plus tâches exigeantes d’intelligence artificielle.
Unités de traitement tensoriel (TPU)
Le Cloud TPU v5p se positionne comme l’accélérateur d’IA le plus avancé, car il est capable de supporter les longues périodes d’entraînement de modèles gigantesques avec des centaines de milliards voire des milliards de paramètres.
Cet outil n'est pas nouveau pour l'entreprise, étant un pilier dans le développement de produits tels que YouTube , Gmail , Google Maps , Google Play et Android .
De plus, Gemini , le modèle d'IA le plus récent et le plus avancé de Google , fonctionne grâce à cette technologie.
L'évolutivité et la flexibilité sont deux des atouts les plus remarquables de Cloud TPU v5p . Grâce à ses SparseCores de deuxième génération, il est possible d'entraîner des modèles de machine learning avec une densité d'intégration 1,9 fois plus rapide que son prédécesseur, le TPU v4.
Cette accélération est encore plus grande lorsqu'il s'agit de former des modèles de langage à grande échelle (LLM) , atteignant une amélioration de la vitesse jusqu'à 2,8 fois .
De plus, Cloud TPU v5p offre une évolutivité 4x en termes de nombre total de FLOP par unité appelée pod .
Dans le contexte d’une économie de marché de plus en plus orientée vers l’intelligence artificielle, elle marque également une étape importante en proposant un outil de traitement des données cloud considérablement amélioré.
AI Hypercomputer, le nouveau supercalculateur de Google
L'hyperordinateur IA intègre du matériel haute performance , des logiciels open source, des cadres d'apprentissage automatique haut de gamme et des modèles de consommation adaptatifs.
Une approche systémique qui contraste avec l'amélioration progressive au niveau des composants individuels, qui résout les problèmes d'inefficacité et élimine les goulots d'étranglement potentiels présents dans les approches moins intégrées.
La promesse de Google se concentre sur une productivité et une efficacité accrues dans les processus cruciaux tels que la formation, le réglage et l'exploitation d'applications basées sur l'IA.
Au cœur du supercalculateur se trouve un matériel haute performance alimenté par la technologie de réseau de centre de données Jupiter de Google, avec une infrastructure comprenant un refroidissement liquide et une empreinte haute densité.
L'engagement de Google envers l'IA comme solution à des problèmes complexes a conduit, à travers le Cloud TPU v5p et l'AI Hypercomputer , l'entreprise à chercher à prolonger des décennies de recherche et de conception de systèmes dans le but de rendre l'innovation en matière d'intelligence artificielle accessible et viable dans en termes de coûts et d'efficacité.