Touchcast Inc. , une startup qui met en cache les requêtes d'IA générative les plus fréquentes pour rendre les systèmes d'IA plus efficaces, lève 100 millions de dollars auprès de bailleurs de fonds, dont Microsoft Corp. , un investisseur dans OpenAI .
Touchcast , basé à New York, stocke et fournit des réponses aux instructions d'IA utilisées, réduisant ainsi les ressources de calcul et l'énergie nécessaires à l'utilisation de modèles tels que GPT-4 d'OpenAI . L’objectif est d’aider les développeurs et les entreprises à déployer l’IA générative plus largement, avec des coûts réduits et des temps de réponse plus rapides.
Touchcast , soutenu par Accenture Plc , aura une valorisation d'au moins 350 millions de dollars après le nouveau financement, a déclaré le PDG Edo Segal , refusant de fournir des détails sur le capital investi par Microsoft . Touchcast est en pourparlers avec de grands investisseurs de la Silicon Valley , a-t-il déclaré dans une interview.
Les entreprises déploient des systèmes d'IA pour rationaliser les tâches quotidiennes, mais la demande croissante a mis en évidence un goulot d'étranglement critique dans l'électronique, en particulier les GPU , les rares puces utilisées pour entraîner et faire fonctionner les modèles d'IA . L'approche Touchcast pourrait être un moyen innovant de mieux utiliser les ressources informatiques et énergétiques, a déclaré Segal .
La startup a récemment lancé ce qu'elle appelle une technologie de diffusion de contenu de cache cognitif , qui revient à avoir plusieurs petits bureaux dans différentes parties d'une grande bibliothèque au lieu d'un seul bureau principal, facilitant ainsi l'accès au matériel. La technologie contribue à améliorer les performances du système d'IA .
"Lorsque les utilisateurs posent la même question, ils se tournent encore et encore vers le grand modèle linguistique", a déclaré Segal . À l’ère du Web alimenté par l’ IA , « un nouveau type d’infrastructure est essentiel pour offrir ces expériences magiques à l’échelle d’Internet, de manière durable ».
Touchcast travaille avec Microsoft pour créer des systèmes qui accélèrent et font évoluer la livraison de requêtes d'IA génératives . Il déploie une technologie de mise en cache cognitive dans les centres de données Azure de Microsoft , aidant à exécuter les outils Azure OpenAI pour servir les clients et réduire considérablement les coûts.
« La croissance explosive de l’IA générative est en passe de générer des milliers de milliards de valeur économique », a déclaré Segal , « mais son sort dépend de la résolution d’une crise informatique et énergétique croissante. »
(c) 2024, Bloomberg
Nouveau