———- Forwarded message ———
De : Gisti gisti@gisti.org
Date: lun. 24 juin 2024, 15:39
Subject: [Gisti-info] « Les algorithmes et l’intelligence artificielle
contre les étrangers en Europe », un article du Plein Droit 140
Article extrait du Plein droit n° 140 Les algorithmes et l’intelligence
artificielle contre les étrangers en Europe
*Gabrielle du Boucher * *Chargée de mission numérique, droits et libertés à
la direction de la promotion de l’égalité et de l’accès aux droits – Le
Défenseur des droits*
- Si le Défenseur des droits n’est, pour l’instant, pas régulièrement saisi
pour des situations mettant en cause l’usage des algorithmes et des
systèmes de l’intelligence artificielle (IA), cette autorité administrative
indépendante est toutefois attentive à leurs développements en France,
comme au sein de l’Union européenne. Dans le sillage de la numérisation des
services publics, le développement de l’IA à des fins de contrôle et de
surveillance des personnes étrangères laisse, selon lui, craindre une
fragilisation accrue de leurs droits fondamentaux contre laquelle la future
législation européenne n’apportera visiblement pas toutes les garanties
nécessaires. *
Le Défenseur des droits (DDD) est préoccupé par le déploiement des
algorithmes et de l’intelligence artificielle (IA)*. L’institution s’est
intéressée aux conséquences de la mise en place des nouvelles technologies,
en particulier depuis 2018, en approfondissant les effets de la
dématérialisation* des services publics sur les usagers. Plusieurs
rapports, avis [1 https://www.gisti.org/spip.php?article7245#nb1] et
décisions [2 https://www.gisti.org/spip.php?article7245#nb2] du DDD ont
été l’occasion de relever que les étrangers ont constitué l’un des premiers
publics en France pour lequel la dématérialisation des démarches
préfectorales a été mise en place de manière radicale et aveugle et ce,
alors même que ces personnes se trouvent, la plupart du temps, dans des
situations où elles cumulent les difficultés. En 2022, le Conseil d’État a
exigé de l’administration qu’elle rétablisse, en parallèle du service
proposé en ligne, un accueil physique pour la procédure de demande de titre
de séjour, au regard du caractère particulièrement « complexe » et
« sensible » de cette démarche. Il a considéré tout d’abord, que les
usagers qui ne disposent pas d’un accès aux outils numériques, ou qui
rencontrent des difficultés dans leur utilisation, doivent pouvoir être
accompagnés. Ensuite, s’il apparaît que certains usagers sont dans
l’impossibilité, malgré cet accompagnement, de recourir au téléservice,
pour des raisons tenant à sa conception ou à son mode de fonctionnement,
l’administration doit leur garantir une solution de substitution [3
https://www.gisti.org/spip.php?article7245#nb3]. Ces conditions visent à
prendre en compte les caractéristiques et situations particulières des
étrangers demandant un titre de séjour, qui pourraient perdre le droit de
se maintenir sur le territoire si leur demande n’était pas enregistrée.
Force est de constater que la dématérialisation ne s’est pas faite au
bénéfice des usagers.
S’agissant du développement des algorithmes et des systèmes apprenants, on
peut craindre que la technologie vienne fragiliser un peu plus les droits
fondamentaux des étrangers, compte tenu du contexte européen et français de
durcissement des politiques en matière d’asile, d’immigration et
d’intégration [4 https://www.gisti.org/spip.php?article7245#nb4]. À cet
égard, on peut déjà relever que les personnes étrangères sont la cible de
divers projets d’IA présentés comme toujours plus sophistiqués et
systématiquement testés et déployés à des fins de contrôle et de
surveillance.
Algorithmes : des biais discriminatoires systématisés ?
Peu de réclamations adressées au DDD visent ces nouveaux systèmes, opaques
et encore rarement mis en cause, y compris au niveau européen.
L’institution, en lien avec ses homologues européens membres du réseau
Equinet et des partenaires nationaux dont la Commission nationale
consultative des droits de l’Homme, se montre néanmoins attentive à leurs
développements et à leurs risques inhérents.
Des risques importants existent, liés aux biais discriminatoires* des
algorithmes et au potentiel de systématisation des discriminations, du fait
de l’usage grandissant de ces technologies.
Les données mobilisées pour entraîner les systèmes algorithmiques peuvent
en effet être biaisées lorsqu’elles sont la traduction mathématique des
pratiques et comportements discriminatoires. Le risque d’amplifier, pour
certains groupes sociaux, les discriminations systémiques opérant au sein
de la société est avéré s’agissant des technologies biométriques [5
https://www.gisti.org/spip.php?article7245#nb5]. En effet, elles ciblent
le plus souvent les caractéristiques des individus qui les exposent à des
discriminations (origine, sexe, identité de genre, apparence physique, état
de santé, handicap, âge, etc.).
Expérimentations aux frontières de l’Union européenne
Dans le domaine des migrations, l’Union européenne (UE) finance, depuis
2016, un projet appelé iBorderCtrl, qui consiste à « *tester de nouvelles
technologies destinées à accroître l’efficacité de la gestion des contrôles
aux frontières extérieures de l’Union* [6
https://www.gisti.org/spip.php?article7245#nb6] ». L’un des modules
expérimentés a concentré les critiques : un détecteur de mensonges basé sur
les émotions interprétées par une IA. Un douanier virtuel devait poser des
questions et identifier les signaux non verbaux d’un mensonge en analysant
les micro-expressions faciales du répondant. Selon les résultats,
l’individu était redirigé soit vers les files d’attente rapides soit vers
des contrôles poussés. Ce système a été testé aux frontières terrestres de
l’UE en Hongrie, en Lettonie et en Grèce, et de nombreuses associations ont
dénoncé une technologie hautement expérimentale visant des personnes en
situation de grande vulnérabilité, ainsi que son manque de fiabilité (le
système était crédité, en 2018, d’un taux de réussite autour de 75 %, ce
qui revient à considérer un quart des personnes concernées comme
soupçonnées de mentir alors que ce n’est pas le cas) [7
https://www.gisti.org/spip.php?article7245#nb7]. Dans la lignée des
constats dressés s’agissant de la dématérialisation des services publics,
on relève que ce sont là aussi des étrangers qui, sans être en situation de
contester des procédures auxquelles ils doivent se soumettre, font l’objet
du déploiement de technologies mises au service d’une politique et d’une
rhétorique particulièrement dures.
Biométrie : des droits fondamentaux fragilisés
Dans son rapport *Technologies biométriques : l’impératif respect des
droits fondamentaux* [8 https://www.gisti.org/spip.php?article7245#nb8],
le DDD a relevé les risques considérables d’atteintes aux droits et
libertés que fait peser l’utilisation des systèmes automatisés reposant sur
la biométrie, à commencer par le droit au respect de la vie privée et à la
protection des données – questions qui relèvent en premier lieu du
périmètre des compétences de la Commission nationale de l’informatique et
des libertés (Cnil), avec laquelle l’institution collabore notamment sur
les enjeux d’IA. En Italie, des technologies biométriques d’identification
à distance ont été utilisées dans le cadre de la lutte contre l’immigration
illégale : le système de reconnaissance faciale* SARI était déployé en
temps réel pour identifier sur la voie publique les étrangers en situation
irrégulière. Son utilisation a été interdite en 2021 par l’autorité
italienne de protection des données [9
https://www.gisti.org/spip.php?article7245#nb9].
L’utilisation des technologies biométriques d’identification peut également
avoir un effet dissuasif sur l’exercice de droits fondamentaux comme la
liberté d’expression, celle d’aller et venir, la liberté d’association et
plus largement l’accès aux droits. Le fait que ces technologies
fonctionnent souvent à l’insu des personnes concernées tend à dissuader ces
dernières d’exercer leurs droits, et cela indépendamment du niveau de
déploiement, la crainte de la surveillance suffisant pour affecter notre
comportement. Dans le domaine des migrations, l’effet dissuasif des
technologies biométriques se traduit également par un risque d’exclusion,
en particulier pour les personnes issues de groupes particulièrement
discriminés. L’utilisation de technologies biométriques, de par leur effet
dissuasif [10 https://www.gisti.org/spip.php?article7245#nb10], peut
priver les réfugiés et demandeurs d’asile de l’accès aux services de base
essentiels.
Les dangers des décisions administratives générées par l’IA
Un autre risque identifié est lié à l’automatisation, explicite ou de fait,
des décisions administratives individuelles. Le cadre légal, à savoir la
loi « informatique et libertés » et le code des relations entre le public
et l’administration, autorise, par exception et en dehors de la sphère
pénale, l’automatisation intégrale tout en l’encadrant. Par principe, la
réglementation relative à la protection des données personnelles exclut
qu’une personne physique puisse faire l’objet d’une décision entièrement
automatisée qui « produit des effets juridiques » ou l’affecte « *de
manière significative* ». Des exceptions existent néanmoins. Dès lors,
quand la décision est prise de façon entièrement automatisée, les garanties
prévues sont-elles réellement appliquées ? Et quand la décision ne peut
pas, légalement, reposer sur un procédé entièrement automatisé, quelle est
réellement la substance de l’intervention humaine dans un contexte de
traitement en masse des dossiers par algorithmes ? Ces questions font écho
aux enjeux de la motivation de ces décisions et de l’effectivité du droit
au recours.
À l’heure de la numérisation et de l’« *algorithmisation de
l’administration* [11 https://www.gisti.org/spip.php?article7245#nb11] »,
ces problématiques irriguent, en France, les différentes sphères
administratives, telle l’éducation, avec par exemple Affelnet et
Parcoursup, et la gestion des prestations sociales et le contrôle des
allocataires par la Caisse nationale des allocations familiales (Cnaf).
Elles touchent aussi les personnes étrangères.
Au Royaume-Uni, le Home Office, le ministère de l’intérieur britannique,
était mis en cause en 2023 pour son utilisation, depuis 2019, d’un
algorithme de détection des faux dans les demandes de mariage impliquant
une personne non britannique et n’ayant pas de statut établi suffisant ou
de visa valide, et ce, afin d’accélérer les enquêtes et de réduire les coûts
[12 https://www.gisti.org/spip.php?article7245#nb12]. L’évaluation des
couples se fondait sur huit facteurs, dont la différence d’âge au sein du
couple. Ceux signalés par l’algorithme faisaient l’objet d’une enquête
approfondie, pouvant conduire les autorités à demander des documents
prouvant l’authenticité de la relation. Selon le Home Office, la
nationalité n’était pas prise en compte par l’algorithme, mais une
évaluation, communiquée à l’association Public Law Project, montre que les
personnes de nationalités bulgare, grecque, roumaine et albanaise étaient
plus susceptibles d’être identifiées par l’algorithme. Ce dernier se révèle
donc indirectement discriminatoire à l’égard des personnes sur la base de
la nationalité.
En France, un fonctionnaire du ministère de l’intérieur a utilisé un outil
d’IA générative* pour examiner une demande de visa déposée par une jeune
femme afghane se trouvant en Iran [13
https://www.gisti.org/spip.php?article7245#nb13]. Il s’agissait a priori
d’une initiative personnelle, donc hors du cadre de l’expérimentation
gouvernementale sur « *l’intelligence artificielle au service de
l’amélioration de la qualité des services publics* », lancée à l’automne
2023, qui prévoit bien l’usage de l’IA dite « générative » (qui produit par
exemple du texte) en matière d’aide à la rédaction de réponses aux avis des
usagers sur la plateforme Services Publics +. Les prolongements de cette
expérimentation devront être scrutés de près en tant qu’ils concernent les
droits des usagers du service public et d’éventuelles discriminations.
Le projet de règlement de l’UE sur l’IA
Au regard des risques identifiés, le DDD est intervenu à plusieurs reprises
dans le cadre de l’élaboration du projet de règlement sur l’IA porté par
l’UE pour appeler à la nécessaire prise en compte des droits fondamentaux
et du principe de non-discrimination.
Schématiquement, ce futur « AI Act » est conçu selon une approche par les
risques. Sont interdits les systèmes d’IA présentant un risque
inacceptable, tel le « score social » par lequel un système d’IA est
utilisé pour « *classer les personnes physiques en fonction de leur
comportement, de leur statut économique, de leurs caractéristiques
personnelles » avec, à la clef, un traitement préjudiciable ou défavorable*
[14 https://www.gisti.org/spip.php?article7245#nb14]. Le futur règlement
vise aussi à imposer des contraintes aux fournisseurs et utilisateurs de
systèmes d’IA « à haut risque » et à ne soumettre les autres systèmes qu’à
des obligations d’information. Dans ce cadre, certains systèmes d’IA
utilisés pour la gestion de la migration, de l’asile et des contrôles aux
frontières ont été inscrits dans la catégorie « à haut risque » dans les
projets de réglementation. On y trouve notamment « *les systèmes d’IA
destinés à être utilisés par les autorités publiques compétentes* […] *pour
les assister dans l’examen des demandes d’asile, de visa et de permis de
séjour ainsi que les réclamations connexes, dans le but de vérifier
l’éligibilité des personnes physiques qui demandent un statut, y compris
pour évaluer la fiabilité des preuves* » ou « *les systèmes d’IA destinés à
être utilisés par les autorités publiques compétentes pour évaluer des
risques, y compris un risque de sécurité, un risque de migration
irrégulière* […] *posé par une personne physique qui a l’intention d’entrer
ou qui est entrée sur le territoire d’un État membre* [15
https://www.gisti.org/spip.php?article7245#nb15] ».
L’enjeu de la catégorisation dans les systèmes d’IA « à haut risque »
réside dans le respect d’obligations telles que d’assurer un système de
gestion des risques, de contrôler la qualité des données, de respecter la
transparence et fournir l’information aux utilisateurs, de prévoir une
surveillance humaine, ou encore de garantir la précision, la robustesse, la
conformité et la sécurité du système ainsi que les actions correctrices
nécessaires.
Certaines des demandes formulées par le DDD [16
https://www.gisti.org/spip.php?article7245#nb16] avec ses homologues
européens et nationaux, et soutenues par plusieurs organisations de la
société civile, ont été prises en compte, en particulier la possibilité
pour toute personne physique ou morale considérant que ladite
réglementation a été violée, de déposer une plainte auprès de l’autorité
nationale chargée de son application. D’autres, en revanche, n’ont pas été
suivies d’effet : de larges exceptions sont ainsi prévues concernant
l’utilisation de systèmes biométriques pour identifier des personnes en
temps réel dans l’espace public, ce qui exigera nécessairement une
attention particulière au moment du déploiement de ces systèmes, au regard
des risques exposés.
Il convient de relever enfin que ce futur « AI Act » et les garanties
qu’il offrira, ne s’appliqueront qu’à certains systèmes d’IA mis sur le
marché, en service, ou dont les résultats sont utilisés dans le territoire
de l’UE. Or des systèmes de reconnaissance faciale et d’autres systèmes de
surveillance de masse ont été développés et vendus par des entreprises
installées dans l’UE (et en particulier en France, en Suède et aux
Pays-Bas), et déployés dans des lieux comme les territoires palestiniens
occupés ou la Chine, où ils ont été utilisés pour opprimer davantage des
groupes et communautés déjà marginalisés [17
https://www.gisti.org/spip.php?article7245#nb17]. Il serait, en outre,
difficile de conclure sans mentionner que les « travailleurs et
travailleuses du clic », chaînon indispensable à la fabrication des
systèmes d’IA [18 https://www.gisti.org/spip.php?article7245#nb18] dans
l’UE (pour l’annotation des données, par exemple), dont la rémunération à
la tâche est très faible [19
https://www.gisti.org/spip.php?article7245#nb19], font l’objet d’une
sous-traitance et d’une externalisation massive dans certains pays pauvres.
** Les termes suivis d’un astérisque (*) sont explicités dans le lexique,
p. 7-10.*
- Extrait du Plein droit n° 140 « Le techno-contrôle des migrations
https://www.gisti.org/spip.php?article7241 »*
Publication papier
12€ / ISBN 978-2-38287-192-8
ebook PDF
10€ / ISBN 978-2-38287-193-5
Cairn https://www.cairn.info/revue-plein-droit-2024-1.htm, 2024⁄1
- Commander la publication papier
ou l’ebook
*
(règlement par chèque, carte bancaire ou virement)
*Plein droit, la revue du Gisti www.gisti.org/pleindroit
http://www.gisti.org/pleindroit*
[ Articles à l’unité http://www.cairn.info/revue-plein-droit.htm /
Abonnements http://www.gisti.org/abonnement / Librairies
http://www.gisti.org/diffusion ]
www.gisti.org/article7245
[image: La newsletter Gisti-info] https://www.gisti.org/article49 [image:
Les fils RSS du Gisti] https://www.gisti.org/article1089 [image: Blog du
Gisti sur Médiapart] https://blogs.mediapart.fr/association-gisti/blog
http://www.gisti.org [image: Page Facebook du Gisti]
http://www.facebook.com/pages/Gisti/179469575398244#%21/pages/Gisti/179469575398244?v=wall
[image:
Page Twitter du Gisti] https://twitter.com/legisti [image: La page
Mastodon du Gisti] https://piaille.fr/@gisti
- Le Gisti est une petite association qui mène de multiples actions en
faveur des droits des étrangers. L’autofinancement de ses activités,
garantie de son indépendance, demeure un objectif prioritaire. À ce titre,
votre soutien est essentiel. Pour soutenir notre action, n’hésitez pas à
faire un don https://www.gisti.org/don ! (déductible à 66%)*
Vous êtes abonné⋅e à la liste de diffusion Gisti-info:
→ Vous désabonner ? Envoyez simplement un mail à gisti-info-off@rezo.net
→ Abonner une nouvelle adresse ? Écrivez à gisti-info-on@rezo.net
