Des chercheurs du Massachusetts Institute of Technology (MIT), de Google et de l'Université Northeastern ont développé InstructMesh, un outil permettant de corriger les modèles tridimensionnels générés par intelligence artificielle avant leur fabrication. L'objectif est de s'assurer que des objets tels que des tasses, des lunettes ou des supports remplissent la fonction pour laquelle ils ont été conçus, a indiqué MIT News, le portail d'actualités de l'institut.
Les systèmes génératifs peuvent produire l'image d'une tasse, mais pas nécessairement un récipient capable de contenir du café. Le problème réside dans le fait qu'ils reconnaissent l'apparence des objets, bien qu'ils ne comprennent pas toujours comment ceux-ci doivent fonctionner, ce qui aboutit à des designs impraticables et difficiles à modifier pour ceux qui ne maîtrisent pas la modélisation 3D.
La plateforme, décrite dans un article présenté lors du ACM Symposium on User Interface Software and Technology, combine TRELLIS, un système de Microsoft qui génère des modèles tridimensionnels à partir de texte et d'images, avec GPT-4, le modèle de langage qui sous-tend ChatGPT. Cette intégration réunit le savoir visuel et textuel pour permettre à l'utilisateur de pointer des parties spécifiques du design et de demander des modifications avant de l'envoyer vers une imprimante 3D.
Faraz Faruqi, auteur principal de l'étude, diplômé de l'institut et récent membre de son Laboratoire de sciences informatiques et d'intelligence artificielle (CSAIL), a précisé : « Nous voulions réunir les capacités des générateurs 3D et le raisonnement des modèles de langage dans un espace interactif pour créer des objets que les gens veulent réellement ». « Les modèles de langage sont excellents avec le texte et les images, tandis que la force de TRELLIS réside dans sa capacité à créer des modèles 3D, car il en a traité un très grand nombre », a-t-il ajouté.
Designs : de la tasse au distributeur à tentacules
Le système a produit une tasse apparemment enroulée par un dragon, dont la queue sert de poignée ; un sifflet bleu brillant en forme de coquillage ; et des lunettes avec des ailes de papillon sur les verres. Il a également permis de fabriquer un distributeur ressemblant à un poulpe, avec un liquide qui sort par chaque tentacule pour remplir plusieurs tasses à la fois.
Les chercheurs du CSAIL ont testé l'outil avec des objets du quotidien, des accessoires et des robots. Parmi les résultats, on trouve une genouillère au look denim pour assortir aux jeans d'une patiente.
Le programme a également servi à construire un robot à soies en forme de crevette colorée. L'appareil contient un moteur caché et, une fois allumé, glisse sur les surfaces de manière similaire à un jouet à remonter.
L’interface vise à réduire un obstacle habituel du design tridimensionnel : les outils conventionnels exigent des connaissances spécifiques pour corriger les géométries, agrandir des parties ou adapter une pièce à un besoin fonctionnel. InstructMesh permet de décrire le problème en langage naturel et d’évaluer les modifications avant de les approuver.
Faruqi a indiqué que la manipulation se produit dans l’espace latent, la représentation interne que le modèle génératif utilise pour organiser ses résultats. « InstructMesh accepte une description en langage naturel des problèmes et crée des changements interprétatifs dans la géométrie pour que l’utilisateur les évalue et les approuve ».
Défauts structurels détectés par des utilisateurs inexpérimentés
Pour mesurer si des personnes sans formation préalable pouvaient identifier des défauts avant de fabriquer une pièce, l’équipe a demandé à TRELLIS de recréer des modèles populaires de Thingiverse, une plateforme qui héberge des millions de designs imprimables en trois dimensions. Presque 80 % des modèles générés présentaient un défaut structurel.
Les chercheurs ont ensuite demandé à des utilisateurs débutants de détecter et de corriger ces défauts avec InstructMesh. Un expert a évalué les résultats et a déterminé que les participants ont pu trouver et résoudre les problèmes dans près de 90 % des cas.
Les participants ont créé des modèles similaires à des supports pour téléphones et des vases. Ils ont décrit le système comme facile à utiliser et ont souligné que les curseurs leur permettaient d’effectuer des ajustements précis, comme agrandir ou extruder une section déterminée de l’objet.
« Les utilisateurs ont obtenu ce qu’ils demandaient et ont modifié les designs avec facilité lorsque c’était nécessaire », a affirmé Faruqi. « Ce qu’ils voyaient était ce qu’ils obtenaient, et les objets fonctionnaient comme prévu ».
Le chercheur travaille désormais chez Google et prévoit la possible intégration d’InstructMesh dans une plateforme de réalité augmentée. L’idée consiste à ce qu’une personne décrive ce dont elle a besoin à partir de l’environnement qui l’entoure et obtienne rapidement un objet imprimé en trois dimensions, comme une coque pour téléphone qui s’harmonise avec un portefeuille.
Le projet pourrait intégrer des simulations physiques pour anticiper la réaction d’un design face à des usages spécifiques, par exemple, si un bol se brise en tombant ou quels matériaux seraient les plus adaptés. Il pourrait également intégrer TRELLIS 2 pour perfectionner les détails plus petits des modèles.