Certains cas notables incluent un algorithme du ministère du Travail et des Retraites (DWP) qui, selon un député, a conduit à tort à plusieurs personnes perdant leurs allocations.
De plus, il a été démontré qu’un outil de reconnaissance faciale utilisé par la police métropolitaine commettait plus d’erreurs lors de la reconnaissance des visages noirs que des visages blancs dans certains scénarios. De même, un algorithme du ministère de l’Intérieur est utilisé pour identifier les faux mariages, qui ont sélectionné de manière disproportionnée des personnes de certaines nationalités.
Les spécialistes préviennent que si les données montrent des preuves de discrimination, il est probable que l’outil d’IA génère également des résultats discriminatoires. Malgré cela, Rishi Sunak , chancelier de l'Échiquier du Royaume-Uni , a récemment salué la façon dont la technologie pourrait transformer les services publics, depuis le gain de temps des enseignants dans la planification des cours jusqu'à l'aide aux patients du NHS () pour obtenir des diagnostics plus rapides et des tests plus précis.
Cependant, The Guardian a noté que l’utilisation de l’IA dans le secteur public n’est pas sans controverse. Aux Pays-Bas , par exemple, les autorités fiscales l'ont utilisé pour détecter d'éventuelles fraudes en matière d'allocations de garde d'enfants, mais ont été condamnées à une amende de 3,7 millions d'euros après avoir pris à plusieurs reprises de mauvaises décisions, plongeant des dizaines de personnes et des milliers de familles.
Dans ce contexte, les experts craignent un épisode similaire au Royaume-Uni , où les responsables britanniques utilisent des algorithmes mal compris pour prendre des décisions qui changent la vie, sans même que les personnes concernées par ces décisions le sachent. Beaucoup s’inquiètent de la suppression d’un conseil consultatif gouvernemental indépendant qui surveillait la manière dont l’intelligence artificielle était utilisée dans les organismes du secteur public.
Shameem Ahmad , directeur exécutif du Public Law Project, a souligné que l'IA a un grand potentiel pour le bien social, mais que les risques ne peuvent être ignorés. Marion Oswald , professeur de droit à l'Université de Northumbria et ancienne membre du conseil consultatif gouvernemental sur l'éthique des données, a ajouté qu'il existe un manque de cohérence et de transparence dans la manière dont l'IA est utilisée dans le secteur public.
Sunak réunira bientôt les chefs d’État à Bletchley Park pour un sommet international sur la sécurité de l’IA . Le sommet devrait définir les conditions de développement de cette technologie dans le monde dans les années à venir, en se concentrant sur la menace potentielle que les modèles algorithmiques avancés représentent pour l'ensemble de l'humanité.
Pendant des années, les autorités se sont appuyées sur des outils algorithmiques moins sophistiqués pour prendre des décisions concernant la vie quotidienne des gens. Dans certains cas, ceux-ci sont simples et transparents, comme les portiques électroniques pour passeports ou les caméras de reconnaissance de plaques d’immatriculation, tous deux alimentés par un logiciel de reconnaissance visuelle alimenté par l’IA . Cependant, d’autres cas présentent des logiciels plus puissants et moins évidents pour les personnes concernées.
Le Cabinet Office a récemment lancé une « norme de reporting sur la transparence algorithmique », qui encourage les départements et les autorités chargées de l’application des lois à divulguer volontairement où ils utilisent l’IA pour aider à prendre des décisions susceptibles d’avoir un impact matériel sur le public en général. Six organisations ont répertorié des projets sous cette nouvelle norme de transparence.
L’enquête du Guardian a montré qu’au moins huit départements de Whitehall utilisent l’IA sous une forme ou une autre, certains étant beaucoup plus dépendants que d’autres. Par exemple, le NHS a utilisé l’IA dans un certain nombre de contextes, notamment pendant la pandémie de coronavirus, lorsque les autorités l’ont utilisée pour identifier les patients à risque dont l’isolement devrait être recommandé.
Le ministère de l'Intérieur a déclaré qu'il utilisait l'IA pour la lecture des passeports dans les aéroports, pour aider à la soumission des demandes de passeport et dans "l'outil de détection des faux mariages", qui signale d'éventuelles unions illégitimes pour une enquête plus approfondie. Une évaluation interne de cet organisme public consultée par The Guardian montre que l'outil signale de manière disproportionnée des personnes originaires d' Albanie, de Grèce, de Roumanie et de Bulgarie .
Par ailleurs, le DWP dispose d'un « service intégré de gestion des risques et du renseignement », qui utilise un algorithme pour aider à détecter les fraudes et les erreurs parmi les bénéficiaires de prestations. La députée travailliste Kate Osamor estime que l'utilisation de cet algorithme a pu contribuer à ce que des dizaines de Bulgares voient leurs prestations suspendues ces dernières années après avoir été faussement identifiés comme ayant fait des demandes frauduleuses. Le DWP insiste sur le fait que l’algorithme ne prend pas en compte la nationalité.
Ni le DWP ni le ministère de l'Intérieur n'ont fourni de détails sur le fonctionnement des processus automatisés, mais tous deux ont déclaré que les processus qu'ils utilisent sont équitables car les décisions finales sont prises par des personnes. Cependant, de nombreux experts craignent que des algorithmes biaisés ne conduisent à des décisions finales biaisées, car les fonctionnaires ne peuvent examiner que les cas portés à leur attention et disposent souvent de peu de temps pour le faire.