Un equipo du Institut Technologique de Massachusetts (MIT) et Motional a développé CW-Net, un système qui traduit en temps réel le raisonnement interne de l'intelligence artificielle des voitures autonomes en concepts compréhensibles pour que les conducteurs et les ingénieurs puissent comprendre et anticiper chaque décision d'une technologie qui peut encore échouer dans des situations imprévues.
Le méthode a été entraînée avec un ensemble de données de 130 millions de scènes de conduite autonome, chacune avec de multiples concepts étiquetés, pour identifier avec précision diverses situations sans altérer la performance originale du modèle qui contrôle le véhicule.
Les tests comprenaient des essais sur une piste privée avec un robotaxi de Motional et des études de simulation avec des utilisateurs non experts basées sur des situations réelles enregistrées dans les rues de Las Vegas. Dans les deux cas, les explications générées par CW-Net ont amélioré la capacité des participants à anticiper comment le véhicule réagirait.
CW-Net : explications humaines pour des modèles opaques
Les planificateurs basés sur apprentissage automatique fonctionnent comme le “cerveau” d'une voiture autonome. Ils traitent des informations provenant de caméras et de capteurs lidar, élaborent une synthèse de l'environnement, décident de la prochaine manœuvre et produisent la trajectoire que le véhicule doit suivre.
Le problème est que ces planificateurs opèrent souvent comme des boîtes noires. Leur logique interne est si complexe que les scientifiques, ingénieurs et conducteurs de sécurité trouvent difficile de comprendre pourquoi le véhicule a pris une décision inattendue, comme un freinage sans cause apparente.
CW-Net a été conçu pour intervenir à ce stade. Le module s'insère dans l'architecture du planificateur et transforme le raisonnement interne du système en concepts compréhensibles, tels que “approche vers un véhicule arrêté” ou “près d'un cycliste”. À partir de là, ces concepts deviennent obligatoires pour l'étape finale du modèle : seulement à travers eux le système peut décider de l'action du véhicule. Cette structure cherche à garantir que l'explication ne soit pas décorative, mais fidèle à la cause réelle de la manœuvre.
En même temps, le module émet ces explications avec la trajectoire du véhicule et le fait en temps réel. Pour les chercheurs, cette information permet non seulement de comprendre pourquoi la voiture s'est arrêtée ou a tourné, mais aussi de découvrir des failles pendant l'utilisation et de transférer ce diagnostic aux ingénieurs.
Tests révélant des erreurs inadverties par des conducteurs humains
Lors d'un des tests sur piste, le véhicule s'arrêtait systématiquement en approchant d'un cycliste. Le conducteur de sécurité croyait que la voiture avait correctement reconnu le cycliste et qu'elle freinait pour cette raison. L'explication de CW-Net a montré autrement : le modèle n'était pas bien configuré pour détecter le cycliste et avait choisi une trajectoire qui aurait provoqué une collision. La voiture s'arrêtait à cause du freinage d'urgence lorsqu'elle était déjà trop près.
Ce détail modifiait complètement la interprétation du comportement du véhicule. Avec cette information, le conducteur pouvait réduire la vitesse plus tôt ou passer en mode de conduite manuelle dans des situations semblables.
Le même type de retour d'information peut également servir aux ingénieurs pour corriger le système et éviter que cette défaillance se reproduise. La proposition, donc, ne se limite pas à expliquer ce que fait le véhicule : elle vise aussi à ameliorer son développement.
Les chercheurs envisagent comme prochaines étapes d'élargir la couverture des concepts du système et d'explorer de nouvelles méthodes d'entraînement et de conception pour améliorer sa performance et sa capacité d'interprétation.
“Notre étude montre combien l'interprétabilité dans ces environnements à haut risque peut être importante, et qu'elle devrait être présente à l'esprit de ceux qui développent l'intelligence artificielle pour l'avenir, tant dans les voitures autonomes que dans d'autres environnements critiques pour la sécurité”.