Le projet a suscité un mélange de réactions : d'une part, ceux qui voient dans la technologie une opportunité d'accélérer les processus bureaucratiques, et d'autre part, ceux qui alertent sur les dangers de déléguer à une IA des décisions qui pourraient changer la vie de milliers de personnes.
Comment l'IA fonctionnera pour décider de la distribution des subventions
Le Département de l'Emploi, de la Formation et de la Réhabilitation du Nevada (DETR, selon son acronyme en anglais) a engagé les services de Google Vertex AI Studio, une plateforme qui permettra à l'IA de traiter les données des appels de subventions de chômage. L'investissement réalisé pour sa mise en œuvre s'élève à 1 383 838 dollars.
Selon les informations rapportées, cette technologie est conçue pour analyser les transcriptions des audiences et des entretiens liés aux demandes d'aide, comparant les informations obtenues avec des cas antérieurs.
Le système vise à réduire le temps nécessaire aux fonctionnaires pour rédiger des rapports sur les appels. Actuellement, les employés du DETR mettent en moyenne trois heures à compléter un seul rapport, mais avec l'aide de l'IA, ce temps pourrait être réduit de manière significative à cinq minutes.
Cette amélioration de l'efficacité est perçue comme une solution cruciale, car le Nevada fait face à un retard de 40 000 demandes de subventions de chômage, dont beaucoup se sont accumulées pendant la pandémie de COVID-19.
Le DETR a assuré que les recommandations émises par l'IA ne seraient pas définitives et qu'un fonctionnaire humain aurait la responsabilité de les examiner avant de rendre une décision finale. Selon le directeur du département, Christopher Sewell, il n'y aura pas de décisions rédigées par l'IA qui ne passeront pas par une « interaction humaine ».
Une des craintes les plus répandues est que les fonctionnaires se sentent pressés d'accepter les recommandations de l'IA sans un examen approfondi, simplement pour réduire l'accumulation des cas et accélérer le processus. Ce type de pression pourrait avoir des conséquences graves pour les demandeurs, car toute erreur ou biais dans les recommandations de l'IA pourrait passer inaperçu.
De plus, un problème potentiel lié au système judiciaire a été souligné. Selon Elizabeth Carmona, avocate senior aux Services juridiques du Nevada, les décisions basées sur des faits émises par les arbitres d'appel peuvent être difficiles à annuler devant les tribunaux si l'erreur provient d'une recommandation de l'IA. Cela signifie qu'un jugement erroné pourrait ne pas avoir de recours adéquat devant la cour, ce qui ajoute une couche de vulnérabilité au système.
Ce qui pourrait mal tourner dans ce processus
L'utilisation de l'IA dans un contexte aussi sensible que les décisions sur les aides économiques aux personnes au chômage a suscité un débat sur la fiabilité de ce type de technologies. Les IA génératives, comme celle qui sera utilisée au Nevada, sont connues pour leur tendance à commettre des erreurs, des biais et, dans certains cas, à générer des informations fausses ou des "hallucinations".
Google a affirmé qu'il travaillerait en collaboration avec le Nevada pour identifier et corriger les biais potentiels, mais les préoccupations persistent. L'idée d'éviter les biais liés au genre, à la race et à d'autres facteurs pourrait conduire à des décisions injustes pour certains groupes de personnes. Dans un état comme le Nevada, où la diversité raciale et culturelle est significative, cet aspect prend une plus grande importance.
Le fait qu'une IA de première génération, encore en phase de maturation, soit chargée de faire des recommandations qui auront un impact direct sur la vie financière de milliers de citoyens a été considéré comme un risque considérable. À mesure que la technologie progresse, il est évident qu'elle n'est pas infaillible et que, dans de nombreux cas, ses décisions peuvent être loin d'être correctes.
Selon des rapports de Gizmodo, le système commencera à fonctionner dans les mois à venir, et avec cela, la peur que les erreurs de l'IA puissent se traduire par des décisions irrévocables ou difficiles à inverser.