Les opinions exprimées dans cette publication sont strictement celles de l’auteur.

« Alors que les systèmes d’IA deviennent de plus en plus répandus dans divers domaines, il est important de considérer l’impact potentiel de leurs décisions sur les vies humaines et la société dans son ensemble. Si, certes, les systèmes d’IA peuvent prendre des décisions basées sur des données et des algorithmes sans préjugés ni émotions, ils peuvent également commettre des erreurs, perpétuer des préjugés ou nuire à certains groupes de personnes. Par conséquent, avoir le droit de contester une décision prise par un système d’IA pourrait être important pour garantir la responsabilité et la transparence». Ceci constitue un extrait de la réponse donnée par le ChatGPT, le puissant outil de « Open AI », à la question de savoir s’il doit y avoir un droit de contester une décision émise par une intelligence artificielle (IA).

Cet extrait, généré automatiquement, démontre que les systèmes d’IA sont capables de produire des résultats tout à fait cohérents et structurés, faisant autorité. Ils sont également capables de prendre des décisions individuelles qui influencent, prédéterminent et, dans certains cas, remplacent les décisions humaines au sein des organisations, affectant ainsi les personnes de manière non négligeable. Ces caractéristiques des systèmes d’IA, combinées avec une promesse de rapidité et d’efficacité, peuvent signifier qu’ils seront utilisés dans un champ étendu de domaines tant dans la sphère publique que dans la sphère privée. Il est ainsi indispensable de réfléchir prudemment à la façon dont lesdits systèmes seront mis en œuvre, en les accompagnant d’une gouvernance appropriée mais, surtout, sur la manière dont les personnes ayant fait l’objet de telles décisions pourront les contester.

Si la question des garanties qui doivent être mises en place pour le développement et le déploiement de tels systèmes ont fait l’objet de réflexions approfondies qui se sont concrétisées par l’adoption un texte législatif européen¹, la question des contours exacts de la possibilité de contestation par des personnes physiques du contenu généré par de tels outils n’est pas encore explorée en détail. Il existe ainsi un vrai besoin d’identifier les sources éventuelles d’un tel droit de contestation et de se pencher sur sa mise en œuvre. À la différence des contestations « classiques » des décisions émises par des humains, les contestations des décisions émises à l’aide des systèmes d’intelligence artificielle, soulèvent plusieurs questionnements tant juridiques et éthiques (biais algorithmiques et discrimination, responsabilité) que pratiques (effet de « boîte noire »²). L’objet du présent article est ainsi, dans un premier temps, d’explorer les fondements juridiques actuels d’un « droit de contestation » d’une décision émise par un système d’IA et de déterminer si ce cadre juridique offre la clarté légale nécessaire³ (I). Dans un second temps, nous examinerons les défis actuels liés à la mise en œuvre d’un « droit de contestation », et seront présentées des pistes de solutions (II).

I. Le droit de contester une décision adoptée par un système d’IA : quel fondement juridique ?

Afin d’explorer les contours d’un droit de contestation d’une décision algorithmique, il y a lieu de déterminer ses fondements juridiques. Pour ce faire, il est important d’étudier l’environnement normatif européen. Il convient à cet égard de noter que l’Union Européenne se dote déjà d’une stratégie en matière d’intelligence artificielle, concrétisée par un règlement sur l’IA⁴. L’IA repose par ailleurs en grande partie sur des volumes de données personnelles. À cette fin, les usages de l’IA peuvent déclencher les dispositions du règlement général sur la protection des données (RGPD)⁵. L’articulation entre ce règlement sur l’IA et le RGPD est identifiée par le législateur européen, le premier indiquant que ses dispositions sont « sans préjudice du droit de l’Union en vigueur, en particulier en ce qui concerne la protection des données⁶ ». Outre ces deux actes législatifs, des dispositions plus générales pourraient également être applicables, comme les dispositions de la Charte des droits fondamentaux de l’Union européenne (ci-après, la « Charte »), prévoyant le droit à un recours effectif.

A) Le règlement européen sur la protection des données

Applicable depuis le 25 mai 2018, le RGPD fait référence, dans son article 22, au droit d’une personne de ne pas faire l’objet d’une décision « fondée exclusivement sur un traitement automatisé » et « produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire⁷ ». Une telle prise de décision est toutefois possible notamment si elle est nécessaire à la conclusion ou à l’exécution d’un contrat⁸ ou si elle résulte d’un consentement explicite de la personne concernée. Dans le cadre de ces deux situations, la prise de décision automatisée doit être accompagnée de la garantie que la personne concernée puisse « exprimer son point de vue et contester » cette décision.

En effet, ainsi qu’il ressort du libellé de l’article 22, paragraphe 2 du RGPD, cette possibilité d’« exprimer son point de vue et contester » une décision émise par un système d’IA est soumise à trois conditions cumulatives. En premier lieu, il est nécessaire qu’un acte ayant la nature d’une « décision » soit pris à l’égard de la personne concernée, En deuxième lieu, que, la décision en cause doit être « fondée exclusivement sur un traitement automatisé ». En troisième lieu, elle doit produire des « effets juridiques concernant une personne physique ou l’affectant de manière significative ». Au-delà de ces trois conditions, l’article 22 du RGPD est bien sûr uniquement déclenché quand le système d’IA en cause a traité des données personnelles⁹.

S’agissant de la deuxième condition, la portée exacte de la notion d’une décision fondée « exclusivement » sur un traitement automatisé n’est pas détaillée dans le texte du RGPD. Il n’est pas possible de déterminer à ce stade si cette condition vise un système d’IA sans aucune participation humaine ou bien si cette condition peut être remplie même en présence d’une participation humaine qui n’était pas substantielle, en ce sens qu’elle n’a pas influencé la décision finale¹⁰. En effet, si cette disposition devait être interprétée dans le sens que toute implication humaine dans la prise de décision, même marginale, exclut le caractère « exclusivement automatisé » d’une décision fondée sur un traitement automatisé, il serait possible d’aisément contourner la protection offerte par l’article 22, paragraphe 1 du RGDP¹¹. Par ailleurs, une comparaison d’un traitement « automatisé » en ce sens avec un traitement effectué par un « système d’intelligence artificielle », contenue à l’article 3 du règlement sur l’IA démontre que la première notion semble être plus large, dans la mesure où elle n’exige pas un degré d’autonomie lors du traitement automatisée, ni de capacité d’adaptation après son déploiement.

Afin de pouvoir exercer le droit de « contester » une décision automatisée, cette décision doit, en plus produire des « effets juridiques » qui affectent une personne de « manière significative » ou de « façon similaire » (article 22, paragraphe 1, du RGPD). Encore une fois, le RGPD ne définit pas ces notions.

Il est ainsi possible de s’interroger sur la question de savoir si cette disposition vise en substance un intérêt à agir de la personne concernée et dans quelle mesure les caractéristiques d’un tel intérêt coïncident avec celles d’un recours classique. La précision « de manière significative », employée par le législateur européen, indique toutefois que seuls les effets ayant une incidence grave sont visés par cette disposition¹².

Il y a lieu de noter que les contours de cette notion ont été examinés par la Cour de justice de l’Union européenne (CJUE) dans son arrêt SCHUFA¹³. Dans le cadre de cette affaire, la CJEU devrait répondre à la question de savoir si la détermination automatisée d’une probabilité sur la capacité d’une personne à honorer un prêt (« credit scoring ») constitue une décision fondée exclusivement sur un traitement automatisé (profilage), conformément à l’article 22, paragraphe 1 du RGPD. Une société privée a fourni à ses clients des informations sur la solvabilité des personnes physiques sous forme des pronostics, sur la base de procédures mathématiques et statistiques¹⁴.

La CJUE a jugé que le « credit scoring » est une décision individuelle automatisée produisant à l’égard d’une personne concernée « des effets juridiques la concernant ou l’affectant de manière significative de façon similaire », en principe interdite par le RGPD, pour autant que les clients auxquels la société en question communiquait la prévision, telles que des banques, lui accordent un rôle déterminant dans l’octroi de crédit¹⁵. Il semble ainsi que la CJEU souligne l’importance de la manière dont la détermination automatisée d’une probabilité sur la capacité d’une personne à honorer un prêt sera utilisée par l’institution concernée, comme étant un élément clef pour déclencher la protection offerte par l’article 22, paragraphe 1 du RGDP.

Cet arrêt donne, certes, certains éléments d’interprétation utiles. Cela étant, l’approche proposée est critiquée pour sa difficulté d’être appliquée en pratique à cause, notamment, du fait que la protection offerte par les articles 13 et 14 du RGPD, qui portent, en substance sur les informations à fournir lorsque des données à caractère personnel sont collectées auprès de la personne concernée devrait être mise en œuvre avant le traitement des données par le système d’intelligence artificielle en cause. Ceci nécessite de savoir à l’avance si un rôle déterminant sera accordé à la décision générée par le système d’intelligence artificielle.¹⁶

En tout état de cause, l’application pratique de cette disposition ne sera jamais simple. Les contours de cette notion d’« affectation significative » nécessitent une évaluation individuelle et in concreto des effets d’une décision sur la personne concernée. Outre le temps et les ressources qui devront être consacrées à une telle analyse, il existe également un risque élevé de pratiques et d’interprétations divergentes. Ceci est d’autant plus probable, eu égard au fait que le législateur européen exige que l’émetteur de la décision apprécie ses effets « juridiques ».

Pour bénéficier de la possibilité offerte par l’article 22, paragraphe 3 du RGPD (« contester la décision »), la personne concernée doit, en dernier lieu, faire l’objet d’une décision qui implique le traitement de ses données personnelles. Il est ainsi possible d’observer qu’une large partie des décisions individuelles prises via un système d’intelligence artificielle, telles que, par exemple, les décisions afférentes au recrutement ou à l’évaluation des personnes physiques, ou bien les décisions déterminant l’accès ou l’affectation de personnes physiques aux établissements d’enseignement et de formation professionnelle, impliquent un traitement des données personnelles. Il n’en reste pas moins qu’un nombre de décisions automatisées peuvent produire des « effets juridiques » qui affectent une personne de « manière significative » ou de « façon similaire », sans impliquer un traitement de données personnelles. Par exemple, l’anonymisation ou pseudonymisation des données peut empêcher l’identification des personnes qui font l’objet d’une décision. Pour ce type de décisions, il existe actuellement une lacune juridique qui n’est pas comblée par les dispositions du règlement sur l’IA qui est adopté au niveau européen mais pas encore mis en œuvre dans sa totalité.

L’article 22 du RGPD fait référence à un droit de contester une décision algorithmique, sans pour autant préciser les modalités exactes d’une telle contestation. Ce qui est toutefois d’une importance primordiale afin de pouvoir garantir l’exercice d’un tel droit est que la personne concernée soit informée de la prise d’une décision algorithmique. En application des articles 13 et 14 du RGPD, les responsables du traitement des données personnelles doivent ainsi veiller à expliquer clairement et simplement aux personnes concernées l’existence d’un processus décisionnel automatisé¹⁷. Une recommandation de bonne pratique contenue dans les lignes directrices relatives à la prise de décision individuelle pour aider les responsables du traitement des données à satisfaire aux exigences de l’article 22, lu en combinaison avec les articles 13 et 14 du RGPD, est de fournir un lien vers une procédure de recours au moment où la décision automatisée est transmise à la personne concernée, avec des délais convenus pour l’examen du dossier et un point de contact désigné pour toute question¹⁸. En effet, un tel cadre clair permettrait aux personnes concernées d’exercer ce droit en toute confiance.

Ce qui est par ailleurs indispensable pour l’exercice effectif d’un droit de contestation est de fournir toutes les informations essentielles sur le fonctionnement du système d’IA à la personne concernée. En effet, en choisissant d’employer le terme « contestation » le législateur européen semble viser une demande motivée adressée par la personne concernée à l’organisme en cause de reconsidérer sa décision, ce qui va au-delà d’une simple correction des donnés sur la base desquelles la décision est prise. Décidément, la possibilité d’une contestation effective est conditionnée à la faculté de la personne concernée de comprendre la logique du système d’intelligence afin de pouvoir expliquer pourquoi ce système a commis une erreur d’appréciation. Si le RGDP ne contient pas de disposition précisant le niveau d’informations qui doivent être communiquées à la personne concernée, l’absence de communication des informations concrètes et compréhensibles sur l’algorithme ainsi que sur la façon dont le système a raisonné dans le cadre d’un cas concret priverait l’article 22, paragraphe 3 de son effet utile¹⁹. Par ailleurs, l’exigence de la fourniture des informations complètes et compréhensibles pourrait être liée au principe de transparence des systèmes d’intelligence artificielle énoncé dans le règlement sur l’intelligence artificielle²⁰. Ce principe pourrait toutefois avoir une portée plus limitée que le principe d’explicabilité, souvent invoqué dans le cadre des décisions algorithmiques, en ce sens que seul ce dernier se réfère à la capacité de mettre en relation et de rendre compréhensible les éléments pris en compte par le système d’IA pour la production d’un résultat²¹.

B) Au-delà du RGDP : le règlement sur l’IA et l’article 47 de la Charte

Il découle ainsi de l’analyse ci-dessus et concernant la portée du droit de « contestation », tel que prévu à l’article 22, paragraphe 3 du RGPD, qu’il est possible d’identifier des situations impliquant l’usage de systèmes d’IA qui ne sont pas couvertes par cette disposition. Ce sont, d’une part, les décisions algorithmiques qui sont rendues sans traitement de données personnelles et, d’autre part, les décisions algorithmiques qui ne sont pas fondées « exclusivement » sur un traitement automatisé²². Ainsi, il convient de s’interroger sur la question de savoir si la personne ayant fait l’objet d’une décision automatisée dispose de voies de recours juridictionnels dans ces situations sur la base des dispositions juridiques, autres que l’article 22 du RGPD.

Le récent règlement sur l’IA a amené le législateur européen à réfléchir de manière approfondie sur l’équilibre à respecter entre, d’une part, les avantages économiques et sociétaux dont peuvent bénéficier les Européens de cette technologie et, d’autre part, le respect des valeurs de l’Union et les droits fondamentaux qui peuvent être menacés du fait de l’utilisation de cette technologie. Dans cette perspective, le législateur européen a proposé des règles harmonisées pour le développement, la mise sur le marché et l’utilisation de systèmes d’IA dans l’Union suivant une approche proportionnée fondée sur le risque – une approche qui adapte le choix des obligations imposées en fonction du niveau de risque, selon la règle : « plus le risque est élevé, plus les règles sont strictes »²³. Cette méthode d’évaluation du risque permettrait, toujours selon le législateur européen, de recenser les systèmes d’IA dits « à haut risque » qui présentent des risques importants pour la santé, la sécurité ou les droits fondamentaux des personnes. Les systèmes d’IA en question devront ainsi satisfaire à un ensemble d’exigences obligatoires horizontales garantissant une IA digne de confiance et ils feront l’objet de procédures d’évaluation de la conformité avant de pouvoir être mis sur le marché de l’Union

Il est explicitement indiqué dans le considérant 170 du règlement sur l’IA que « Le droit de l’Union et le droit national prévoient déjà des voies de recours effectives pour les personnes physiques et morales qui subissent une atteinte à leurs droits et libertés en raison de l’utilisation de systèmes d’IA. » Dans ce contexte, il y a lieu de rappeler que l’article 47 de la Charte énonce, à son premier alinéa, que toute personne dont les droits et les libertés garantis par le droit de l’Union ont été violés a droit à un recours effectif, dans les conditions prévues à cet article²⁴. À ce droit correspond l’obligation faite aux États membres, à l’article 19, paragraphe 1, second alinéa du Traité sur l’Union européenne, d’établir les voies de recours nécessaires pour assurer une protection juridictionnelle effective dans les domaines couverts par le droit de l’Union²⁵. Par ailleurs, le contenu essentiel du droit à un recours effectif inclut la possibilité d’accéder à un tribunal compétent pour assurer le respect des droits que le droit de l’Union garantit et pour examiner toutes les questions de droit et de fait pertinentes pour résoudre le litige en cause²⁶. Il est important de souligner que si les États Membres disposent d’une autonomie procédurale pour déterminer les contours exacts des règles procédurales nationales, le principe d’effectivité implique que les modalités procédurales ainsi définies par les États membres ne rendent pas « en pratique impossible ou excessivement difficile l’exercice des droits conférés par l’ordre juridique de l’Union »²⁷. La reconnaissance de ce droit dans un cas d’espèce donné suppose, ainsi qu’il ressort de l’article 47, premier alinéa, de la Charte, que la personne qui l’invoque se prévale de droits ou de libertés garantis par le droit de l’Union.

La lecture du règlement sur l’IA révèle que les systèmes d’IA et notamment ceux classés « à haut risque » présentent des risques importants pour plusieurs droits fondamentaux des personnes consacrés dans la Charte²⁸. En effet, ainsi qu’il est souligné dans l’exposé de motifs de ce règlement²⁹, « l’utilisation de l’IA, compte tenu des caractéristiques spécifiques de cette technologie (par exemple l’opacité, la complexité, la dépendance à l’égard des données, le comportement autonome), peut porter atteinte à un certain nombre de droits fondamentaux consacrés dans la charte des droits fondamentaux de l’UE ». À titre d’illustration, un système d’IA destiné à être utilisé pour le recrutement de personnes physiques, en effectuant le filtrage des candidatures et en évaluant des candidats au cours d’entretiens ou d’épreuves, est susceptible de rendre des décisions erronées ou biaisées qui peuvent violer le principe de non-discrimination (article 21) et d’égalité entre les femmes et les hommes (article 23), ainsi que de l’intégration des personnes handicapées (article 26).

Il est par conséquent opportun de se pencher sur la question de la mesure dans laquelle, dans ces situations, et indépendamment de la question de savoir si l’article 22 du RGPD est applicable, la personne concernée peut accéder à un tribunal compétent pour assurer le respect des droits qu’il estime violés en raison de l’émission d’une décision par un système d’intelligence artificielle. Une réponse affirmative à cette question signifierait que la personne concernée devrait bénéficier de la protection prévue à l’article 47 de la Charte et notamment pouvoir être « entendue équitablement, publiquement et dans un délai raisonnable par un tribunal indépendant et impartial ».

Le déclenchement de la protection offerte par l’article 47 de la Charte aura d’ailleurs une incidence sur l’étendue de la protection juridictionnelle offerte à la personne qui estime que ses droits ont été violés par une décision d’un système d’IA. Par exemple, il serait peut-être incompatible de prévoir un traitement du recours juridictionnel contre une décision émise par un système d’IA (exclusivement) par un système algorithmique. En effet, il est difficile d’imaginer comment un tel système pourrait répondre aux exigences d’un tribunal « impartial », dans la mesure où l’impartialité est traditionnellement perçue comme étant un trait humain. La réponse à cette question est toutefois loin d’être évidente puisque, certes, les systèmes d’IA fonctionnent sur la base des données d’entrée et de la programmation de l’algorithme sans aucune influence humaine. Cependant, ces systèmes ne sont pas aussi impartiaux que les données et les algorithmes utilisés pour les créer.

II. Les défis actuels de la mise en œuvre du droit de contestation

L’IA gagne en popularité dans presque tous les secteurs. Au cours de la dernière année, les fournisseurs se sont lancés dans une course pour développer et déployer des systèmes numériques plus puissants. Des outils comme ChatGPT, dont l’utilisation avait initialement fait l’objet des nombreux débats sont utilisés aujourd’hui au quotidien par un grand nombre des personnes à des fins très variés. Comme nous avons témoigné pendant la procédure législative pour l’adoption du règlement sur l’IA, cette technologie est parfois capable d’avancer beaucoup plus rapidement que le législateur.

La mise en œuvre de cette technologie nous amènera ainsi à réfléchir sur la question de savoir si les structures juridiques de notre société sont suffisamment équipées pour faire face aux nouveaux défis soulevés par celle-ci. Pour ce qui concerne, plus précisément, le droit de contester les décisions émises par des systèmes d’intelligence artificielle, en tant que garantie pour la protection des droits des personnes qui feront l’objet de telles décisions, sa mise en œuvre nécessitera, fort probablement, des adaptations tant au niveau législatif qu’au niveau pratique.

A) Clarté et adéquation du cadre juridique existant

Ainsi que relevé ci-dessus, la seule disposition portant actuellement sur le droit de contester une décision émise par un système d’IA est l’article 22 du RGDP. Selon cette disposition, un droit de contestation est né uniquement si, d’une part, il existe un traitement de données personnelles et si, d’autre part, les autres conditions imposées par cette disposition sont respectées. Outre le fait qu’il est possible de s’interroger sur la question de savoir si cette disposition offre la sécurité juridique nécessaire quant à l’exercice d’un tel droit, ladite disposition ne s’applique pas à la totalité des décisions émises par des systèmes d’intelligence artificielle.

Pour ce qui concerne, en premier lieu, la sécurité juridique, il est possible d’observer que l’article 22 du RGPD prévoit un droit de contestation sans toutefois préciser ses contours exacts. Si, certes, le législateur européen a probablement voulu laisser une certaine marge d’appréciation aux États membres, sa formulation générale a donné lieu à des mises en œuvre divergentes. En effet, ainsi qu’observé³⁰, certains pays, comme le Royaume-Uni ont opté pour une approche plus « procédurale » qui se concentre sur les modalités pratiques pour s’assurer que la personne concernée aura la possibilité réelle d’exercer son droit de contestation. D’autres pays, comme la Hongrie, se sont focalisés plutôt sur les aspects « substantiels » de ce droit, en précisant par exemple que la décision émise par un système d’IA ne doit pas porter atteinte au principe de non-discrimination. Par ailleurs, cette disposition ne permet pas de déterminer le niveau d’informations que doit fournir l’émetteur de la décision à la personne concernée, en vue de l’exercice de son droit de contestation. Certes, le principe de transparence, qui semble trouver son expression au niveau de l’article 13 f) du RGPD, prévoit la mise à disposition de la personne concernée par le traitement automatisé des informations utiles concernant sa logique sous-jacente. Ce qui constitue une « information utile » n’est cependant pas défini, ce qui n’est pas en soi étonnant, vu l’élément de subjectivité qui caractérise cette notion³¹. Cela étant et eu égard au large nombre d’acteurs publics et privés qui seront obligés de respecter cette disposition, il serait particulièrement utile d’élaborer des instructions pratiques contenant des informations minimales sur ce qui est visé par cette disposition³². Il serait par ailleurs opportun de clarifier le niveau de technicité de ces informations pour établir si elles doivent être compréhensibles par un simple citoyen, sans devoir consulter un expert.

Il est nécessaire, en second lieu, de se pencher sur la question de savoir si cette disposition encadre de manière suffisamment complète l’exercice de ce droit, et ce, à la lumière des évolutions législatives qui ont émergé postérieurement à son adoption. L’article 22 du RGDP a été adopté plusieurs années avant le règlement sur l’IA. La question qui se pose est ainsi de mesurer si les dispositions de ce dernier règlement, et notamment la classification des systèmes d’intelligence artificielle, fondée sur les risques pour les droits et la sécurité des personnes, impacteront les droits procéduraux offerts aux parties qui ont fait l’objet d’une décision émise par de tels systèmes. Est-ce que, par exemple, le fait que les systèmes dits « à haut risque » présentent des risques importants pour la santé, la sécurité ou les droits fondamentaux des personnes, devrait signifier qu’un droit de contestation soit toujours garanti ? Ou, au contraire, est-ce que ce droit devrait être limité à la question du respect par les fournisseurs et utilisateurs de ces systèmes des exigences strictes imposées avant et après leur mise sur le marché ? Il y a lieu de noter à cet égard que le règlement sur l’IA prévoit une procédure de recours contre les décisions des organismes notifiés concernant leur évaluation de conformité du système en cause avec les exigences du règlement sur l’IA³³. De telles exigences sont, par exemple, celles d’exactitude et de robustesse³⁴.

Une pratique récente, qui fait l’objet des nombreuses discussions aux niveaux européen et international, nous emmène aussi à nous pencher sur l’encadrement juridique des systèmes d’IA. En effet, l’usage informel par des administrations publiques ainsi que par des entreprises privées des outils d’intelligence artificielle, tel que ChatGPT, soulève plusieurs interrogations. Il se peut que – à l’heure actuelle – des décisions soient fondées (ou largement basées) sur les résultats de cet outil qui est capable de fournir des réponses et des solutions prometteuses à des situations individualisées. Toutefois, les recommandations dudit outil ne sont pas visibles dans la décision finale et la personne concernée pourrait complètement ignorer le fait qu’un tel outil a été utilisé ainsi que le degré et le mode de contribution du traitement algorithmique dans la prise de décision. Si certes plusieurs acteurs sont actuellement en train d’adopter des recommandations internes pour l’usage de ce type d’outils, il n’est reste pas moins que ce type d’usage n’est pas règlementé³⁵. Cela signifie qu’il n’est pas exigé des entreprises ou des personnes qu’elles divulguent clairement qu’elles utilisent ChatGPT, ce qui rend impossible l’exercice d’un éventuel droit de contestation.

B) Les difficultés pratiques liées à la nature des systèmes d’IA

Les systèmes d’IA sont des systèmes à forte complexité dont le fonctionnement exact ne peut être appréhendé que par une partie très limitée des citoyens. En effet, leur fonctionnement, marqué par un grand degré d’autonomie, est caractérisé par le célèbre « black box effect » (effet de boîte noire), dans le sens où il est très difficile de comprendre comment raisonnent ces systèmes dans un cas concret. L’imposition des exigences de transparence et d’explicabilité est souvent présentée comme un « antidote » à ce problème puisqu’elles peuvent rendre compréhensible les éléments pris en compte par le système d’IA pour la production d’un résultat. Cela étant, leur mise en œuvre peut connaître plusieurs obstacles pratiques.

Dans ses principes directeurs pour une IA digne de confiance, l’Organisation de coopération et de développement économiques (OCDE) définit, à son tour, ces deux principes (l’exigence de transparence et l’explicabilité) comme la « divulgation significative d’informations sur les systèmes d’IA afin de garantir que les gens comprennent quand ils s’engagent avec eux et peuvent contester les résultats³⁶ ». Leur respect est une condition nécessaire pour exercer de manière effective le droit « d’exprimer son point de vue et de contester la décision », prévu à l’article 22 du RGPD. En effet, il est impossible de pouvoir contester de manière effective le résultat d’un système d’IA, sans pouvoir obtenir des informations concises, complètes, claires, et compréhensibles sur son fonctionnement. Cette approche a été adoptée par le législateur de l’UE, qui a proposé une série d’exigences dans le règlement sur l’IA pour garantir la transparence algorithmique de tels systèmes³⁷. Celles-ci incluent l’obligation de concevoir et de développer des systèmes d’IA à haut risque de manière à garantir que leur fonctionnement soit suffisamment transparent pour permettre aux utilisateurs d’interpréter les résultats du système³⁸.

Cela étant, l’applicabilité de ces principes pourrait, en pratique, connaître des limites. De fait, la transparence algorithmique doit coexister avec l’intérêt commercial légitime des fournisseurs d’IA à maintenir secrètes certaines informations sensibles³⁹. En fait, il est tout à fait clair qu’il existe une tension potentielle entre, d’une part, cette exigence de transparence et, d’autre part, les droits de propriété intellectuelle. Inévitablement, le risque de révéler le code source pourrait avoir un effet dissuasif sur l’innovation en IA, car les entreprises investissent beaucoup de temps et de ressources dans leurs algorithmes. De plus, rendre les systèmes d’IA totalement transparents pourrait éventuellement présenter un risque de révéler les données personnelles qui ont été utilisées pour former des algorithmes d’apprentissage automatique ou pourrait même exposer les systèmes d’IA à des cyberattaques. L’absence de limite claire concernant l’obligation de transparence dans la législation existante pourrait amener par la suite le pouvoir judiciaire à décider lui-même au cas par cas. Dans ce cas, il est inévitable que cette « zone grise » concernant l’exercice du droit de contester une décision émise par une IA puisse avoir un effet dissuasif sur l’exercice du droit de contestation.

En outre, il est tout à fait légitime de s’interroger sur la question de savoir si le respect des exigences de transparence et d’explicabilité par les fournisseurs et utilisateurs de systèmes d’IA sera suffisant pour permettre aux personnes concernées d’exercer au mieux leur droit de recours. Il y a lieu de rappeler à cet égard qu’en principe, le droit à un recours effectif implique l’existence d’une décision motivée et individuelle⁴⁰. Il existe à cet égard une riche jurisprudence dans les divers États membres sur le contenu exact de la notion de motivation suffisante des actes administratifs. Si certes les exigences d’explicabilité et de transparence des systèmes d’IA sont censées « permettre aux utilisateurs d’interpréter les résultats du système et de l’utiliser de manière appropriée⁴¹ », il n’en reste pas moins que les décisions émises par ces systèmes ne contiennent pas nécessairement de motivation. Il est ainsi indispensable que les explications et les informations fournies aux personnes concernées répondent à un niveau adéquat de détails et de précisions, similaire à celui exigé dans le cadre de la motivation d’une décision administrative.

Par ailleurs, et sur le plan purement pratique, il faudrait tenir compte du coût particulièrement élevé que peut entraîner la procédure de contestation d’une décision émise par un système d’IA pour la personne concernée. En effet, celle-ci serait confrontée non pas seulement au côté juridique de cette contestation, qui nécessiterait l’intervention d’un avocat, mais également au côté technique pour lequel il faudrait consulter un expert. Cette dernière expertise est tout à la fois rare et très demandée dans l’UE, qui fait face à une pénurie d’experts numériques capables de développer des nouvelles technologies, telles l’IA⁴². Le coût élevé ainsi que le temps important qui doivent être investis dans une telle procédure de contestation pourraient aussi avoir un effet dissuasif important.

C) La structure des systèmes judiciaires en Europe

Une autre question importante concernant la mise en œuvre d’un droit de contester une décision émise par un système d’IA est celle de savoir si les systèmes judiciaires en Europe sont prêts à connaître de telles contestations. À la différence des recours classiques, l’analyse des recours contre une décision émise par un système d’IA implique une compréhension en profondeur de la technologie en cause. Une tâche complexe, notamment quand le système d’intelligence en cause est fondé sur la technique de « machine learning » (apprentissage automatique), qui implique le développement, par les ordinateurs, d’un mécanisme de prise de décision autonome pour les situations qui ne peuvent pas être traitées directement et de manière satisfaisante par les algorithmes disponibles. Il est ainsi particulièrement difficile de comprendre comment un tel système est arrivé à une conclusion concrète.

De manière générale, le juge saisi d’un litige dispose du pouvoir d’ordonner une expertise s’il estime qu’il ne dispose pas d’éléments suffisants pour prendre sa décision et qu’il a besoin de l’avis technique d’un professionnel. Le juge peut ainsi faire appel aux experts mais il n’est pas obligé de partager leurs constatations et reste en général libre dans sa décision. Dans ce contexte, il serait tout à fait possible de prévoir des formations pour les juges afin de leur permettre de mieux appréhender les grands principes de cette technologie complexe et de pouvoir apprécier les preuves amenées, afin de poser les bonnes questions lorsque de telles preuves sont présentées au tribunal. En effet, il est d’une importance primordiale que le juge puisse avoir les outils pour effectivement être en mesure de questionner ces décisions algorithmiques qui souvent sont les produits d’un biais d’automatisation, qui consiste à penser que parce que les données proviennent d’un algorithme, elles sont nécessairement objectives.

Cependant, les exigences en matière de documentation et de traçabilité, imposées par la proposition de règlement sur IA, seront-elles suffisantes pour une compréhension adéquate de cette technologie complexe ? Les particularités d’une contestation algorithmique justifient-elles le modèle d’une expertise contraignante, s’imposant au juge et le privant d’une partie de sa marge de manœuvre ? En principe, il n’y a lieu d’ordonner une expertise que dans le cas où des constatations ou une consultation ne pourraient suffire à éclairer le juge. Cela étant, eu égard à la nouveauté et à la complexité de telles contestations, il serait possible de revoir la liberté dont dispose le juge pour ordonner une expertise judiciaire et de réexaminer l’étendue avec laquelle le rapport de l’expert va lier le juge dans la prise de sa décision.

Une approche encore plus radicale serait d’éventuellement identifier et de séparer deux volets lors des contestations d’une décision émise par un système d’IA, à savoir un volet « juridique » et un volet « technique » et de donner la compétence à un comité d’experts ou à une autorité administrative indépendante pour se prononcer sur ce second volet. Une telle approche supposerait toutefois qu’il est possible de distinguer nettement deux volets pour ce type de contestation. Pour prendre l’exemple d’une contestation d’une décision algorithmique comme étant discriminatoire du fait de l’appartenance d’un candidat à un groupe ethnique, il conviendrait, éventuellement, dans un premier temps, de déterminer la qualité des données d’entraînement pour voir si elles sont le plus représentatives possible et bien annotées. Pour ce volet « technique », il serait possible de devoir saisir un comité d’experts ou une autorité administrative indépendante qui donnerait un avis contraignant, restant disponible pour répondre aux éventuelles questions supplémentaires du juge. Dans un second temps, le juge, sur la base de ces éléments, trancherait la question de savoir s’il y a lieu de qualifier la décision en cause de « discriminatoire » et à qui il conviendrait, le cas échéant, d’imputer la responsabilité⁴³.

---

Notre société semble vouloir embrasser l’IA aussi tôt que possible. Cette technologie puissante et mystérieuse n’est toutefois pas facile à appréhender par la plus grande partie de la population. Sa mise en œuvre devrait ainsi être accompagnée de suffisamment de mesures et de précautions qui permettront de remettre en question de façon approfondie son fonctionnement. Une simple lecture de la récente proposition de règlement sur l’IA suffit pour relever le nombre important de droits fondamentaux qui peuvent être menacés par l’utilisation de l’IA. La nécessité de bien garantir l’effectivité d’un droit de contester une décision émise par un système d’IA est ainsi impérieuse et revêt un intérêt d’une importance primordiale.

Les défis de la mise en œuvre d’un tel droit sont toutefois nombreux. Les dispositions juridiques précisant les modalités d’un tel recours doivent être à la fois suffisamment précises pour garantir la confiance en l’exercice de ce droit et d’une souplesse adéquate afin de pouvoir englober les nombreux cas d’application. L’article 22 du RGDP qui est consacré à l’exercice de ce droit a toutefois été élaboré bien avant le règlement sur l’IA. Cette disposition semble être ainsi conçue uniquement sous le prisme de la protection des données à caractère personnel et ne prend pas en compte la récente proposition de règlement sur l’IA, qui fait l’objet d’une étude approfondie des impacts de l’IA sur l’ensemble des structures de notre société. Se pencher sur l’articulation entre ces deux textes afin de mieux identifier les contours de l’exercice d’un droit de contestation semble ainsi opportun. Deux questions restent encore ouvertes. La première concerne l’impact de la classification d’un système d’IA en tant que « à haut risque » sur l’exercice du droit de contestation. La seconde est relative à la garantie de ce droit de contestation, même quand il a été prouvé que le système d’intelligence ayant émis la décision était conforme à la totalité des exigences de sécurité et de sûreté imposées par ladite proposition de règlement sur l’IA.

Les particularités des décisions émises par des systèmes d’IA, caractérisées par une opacité, une complexité et une autonomie élevées, vont inévitablement nous amener à nous pencher sur les possibilités de garantir un droit de contestation effectif et accessible. D’une part, et eu égard à la possibilité d’absence de motivation de telles décisions, il serait nécessaire de fournir des lignes directrices claires aux émetteurs des décisions sur la nature exacte des informations à fournir aux personnes ayant fait l’objet de telles décisions. D’autre part, il serait nécessaire de réfléchir aux modalités de préparation des juges pour leur permettre d’appréhender le fonctionnement des algorithmes, ainsi qu’au rôle des experts en IA dans le cadre de ces procédures. L’implication d’une autorité administrative indépendante, spécialisée sur le fonctionnement algorithmique, dans le traitement de telles contestations est aussi une piste envisageable.

---

1 Règlement (UE) 2016/679 du Parlement européen et du Conseil, du 27 avril 2016, relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO 2016, L 119, p. 1).

2 Y. Bathaee, The Artificial Intelligence Black Box and the Failure of Intent and Causation, Harvard Journal of Law & Technology 2018, p. 906-907, qui explique que « Generally, the Black Box Problem can be defined as an inability to fully understand an AI’s decision-making process and the inability to predict the AI’s decisions or outputs ».

3 Cette intervention examine la question du droit de recours contre des décisions non-judicaires, telles que des décisions administratives individuelles, ou bien les décisions en entreprise, qui sont émises par des systèmes d’IA.

4 Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle et modifiant les règlements (CE) n° 300/2008, (UE) n° 167/2013, (UE) n° 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l’intelligence artificielle).

5 Règlement (UE) 2016/679 du Parlement européen et du Conseil, du 27 avril 2016, relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO 2016, L 119, p. 1).

6 Voir considérant 9 du règlement sur l’IA.

7  Il existe des opinions divergentes quant à la question de savoir si cette disposition introduit ou pas une interdiction de prise des décisions automatisées. Voir L. Tosini, « The Right to Object to Automated Individual Decisions: Resolving the Ambiguity of Article 22(1) of the General Data Protection Regulation », International Data Privacy Law, 2021, vol. 11, n° 2, p. 145-162.

8 Article 22 §1 a) du RGDP.

9 La notion de « données à caractère personnel » est définie à l’article 4, point 1) du RGPD.

10 Cela semble être l’interprétation proposée dans les Lignes directrices relatives à la prise de décision individuelle automatisée et au profilage aux fins du règlement (UE) 2016/679, adoptées le 3 octobre 2017 par un groupe de travail institué par l’article 29 de la directive 95/46/CE (ci-après, les « Lignes directrices relatives à la prise de décision individuelle automatisée et au profilage »).

11 Dans ses conclusions présentées le 16 mars 2023 dans l’affaire C-634/21 | SCHUFA Holding e.a. (Scoring) et dans les affaires jointes C-26/22 et C-64/22 SCHUFA Holding e.a. (Libération de reliquat de dette), l’Avocat général Pikamäe a proposé un test selon lequel il y a lieu d’examiner la participation humaine dans le cadre de la procédure d’adoption d’une décision et de déterminer si elle était en mesure d’influencer le lien de causalité entre le traitement automatisé et la décision finale. Les humains impliqués dans le processus de l’émission de cette décision ne devraient avoir « aucune marge de manœuvre » quant à son application afin qu’elle puisse être qualifiée de décision fondée « exclusivement » sur un traitement automatisé.

12 Voir, à cet égard, Conclusions de l’avocat général dans l’affaire C-634/21 | SCHUFA Holding e.a. (Scoring) et dans les affaires jointes C-26/22 et C-64/22 SCHUFA Holding e.a. (Libération de reliquat de dette), point 43.

13 Arrêt du 7 décembre 2023, SCHUFA Holding (Libération de reliquat de dette), C‑26/22 et C‑64/22, EU:C:2023:958.

14 Arrêt du 7 décembre 2023, SCHUFA Holding (Libération de reliquat de dette), C‑26/22 et C‑64/22, EU:C:2023:958, point 48 (« la tierce partie est guidée « de manière déterminante » par cette valeur »), point 14.

15 Arrêt du 7 décembre 2023, SCHUFA Holding (Libération de reliquat de dette), C‑26/22 et C‑64/22, EU:C:2023:958, point 48 (« la tierce partie est guidée « de manière déterminante » par cette valeur »).

16 N. Genicot, Arrêt « SCHUFA Holding (scoring) » : les scores évaluant la solvabilité des individus au regard de la protection des données à caractère personnel, Journal de droit européen 2024, nº 5, p. 230‑232.

17 Lignes directrices relatives à la prise de décision individuelle automatisée et au profilage, p. 18.

18 Lignes directrices relatives à la prise de décision individuelle automatisée et au profilage, Annexe I, p. 37.

19 Voir, en ce sens, E. Pehrsson, « The Meaning of the GDPR Article 22 », Stanford-Vienna Transatlantic Technology Law Forum, 2018, EU Law Working Papers n° 31, p. 27-28.

20 Voir article 13 (Transparence et fourniture d’informations aux utilisateurs) et Chapitre IV du règlement sur l’IA.

21 Voir les définitions de ce principe par la CNIL ainsi que par l’OCDE.

22 Une autre situation qui n’est pas couverte par l’article 22 du RGPD est l’émission d’une décision qui ne produit pas d’effets juridiques qui affectent une personne de manière significative ou de façon similaire. Cela étant, dans la mesure où cette condition peut présenter des fortes similarités avec les conditions de l’intérêt à agir, elle n’est pas analysée dans le cadre de la présente intervention.

23 M. Elbers, Truly Risk-Based Regulation of Artificial Intelligence – How to Implement the EU’s AI Act, Stanford-Vienna Transatlantic Technology Law Forum, 2018, EU Law Working Papers n° 31, p. 6 ; voir également T. Mahler, Between risk management and proportionality: The risk-based approach in the EU’s Artificial Intelligence Act Proposal (September 30, 2021). Nordic Yearbook of Law and Informatics, p. 248-251.

24 Pour une analyse approfondie de la question de l’applicabilité de cet article 47 de la Charte dans le cadre de la prise de décisions automatisées voir S. Demková, Automated Decision-Making and Effective Remedies, The New Dynamics in the Protection of EU Fundamental Rights in the Area of Freedom, Security and Justice, Elgar Studies in European Law and Policy, p. 117-148.

25 Ainsi qu’il résulte d’une jurisprudence constante de la CJUE, le droit à un recours effectif est invocable sur la seule base de l’article 47 de la Charte, sans que le contenu de celui-ci doive être précisé par d’autres dispositions du droit de l’Union ou par des dispositions du droit interne des États membre, comme en l’occurrence, le RGPD ou bien la Proposition de règlement sur l’intelligence artificielle.

26 Voir, en ce sens, notamment : CJUE, 6 novembre 2012, Otis e.a., C‑199/11, point 49 et CJUE, 12 décembre 2019, Aktiva Finants, C‑433/18, point 36.

27 Voir, notamment, arrêt du 26 octobre 2006, Mostaza Claro, C‑168/05, EU:C:2006:675, point 24 et jurisprudence citée.

28 Voir l’exposé de motifs et notamment les points 1.1, 3.3, 5.2.3, ainsi que les considérants 15 et 18, 37-38 et l’article 7 § 1 b) de la Proposition de règlement sur l’IA.

29 Voir l’exposé de motifs de la Proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l’IA et modifiant certains actes législatifs de l’Union COM (2021) 206 final, et notamment le point 3.5. (« droits fondamentaux »). Sont explicitement mentionnés le droit à la dignité humaine (article 1^er), le respect de la vie privée et la protection des données à caractère personnel (articles 7 et 8), la non-discrimination (article 21), l’égalité entre les femmes et les hommes (article 23), les conditions de travail justes et équitables (article 31), le droit des consommateurs à un niveau élevé de protection (article 28), les droits de l’enfant (article 24) et l’intégration des personnes handicapées (article 26).

30 M.E. Kaminski et J.M. Urban, « The Right to Contest AI », Columbia Law Review, 2021, vol. 121, n° 7, p. 2020-2028.

31 Voir à cet égard A.D. Selbst, and J. Powles, « Meaningful Information and the Right to Explanation », International Data Privacy Law, 2017, vol. 7, n° 4, p. 233-242, qui font valoir que cette disposition doit être interprétée de manière flexible et fonctionnelle en prenant en compte les circonstances particulières de chaque cas.

32 Il y a lieu de mentionner à cet égard l’adoption en France du décret n° 2017-330 du 14 mars 2017 relatif aux droits des personnes faisant l’objet de décisions individuelles prises sur le fondement d’un traitement algorithmique, qui précise que doivent être fournies, à la demande de l’intéressé : a) le degré et le mode de contribution du traitement algorithmique à la prise de décision, b) les données traitées et leurs sources, c) les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l’intéressé et d) les opérations effectuées par le traitement.

33 Voir l’article 85 du règlement sur l’IA.

34 Voir l’article 15 du règlement sur l’IA.

35 Les systèmes d’IA générative, tels que ChatGPT, doivent, en principe respecter des exigences de transparence. Cela inclut d’informer les utilisateurs qu’ils interagissent avec un système d’IA plutôt qu’avec un humain, et d’informer que le contenu a été généré artificiellement.

36 En effet, ainsi qu’il a été souligné par l’OCDE dans ces principes sur l’IA « Les acteurs de l’IA devraient s’engager à assurer la transparence et une divulgation responsable des informations liées aux systèmes d’IA. À cet effet, ils devraient fournir des informations pertinentes, adaptées au contexte et à l’état de l’art, afin : […] de permettre aux personnes subissant les effets néfastes d’un système d’IA de contester les résultats sur la base d’informations claires et facilement compréhensibles sur les facteurs et sur la logique ayant servi à la formulation de prévisions, recommandations ou décisions ».

37 Voir, notamment, l’article 13 de ce règlement qui porte sur les exigences de transparence des systèmes d’IA dites « à haut risque ».

38 Ainsi qu’il ressort de l’article 85 du règlement sur l’IA « Sans préjudice d’autres recours administratifs ou judiciaires, toute personne physique ou morale ayant des motifs de considérer qu’il y a eu violation des dispositions du présent règlement peut déposer des réclamations auprès de l’autorité de surveillance du marché concernée. »

39 Pour une analyse plus approfondie de cette problématique voir, notamment, M. Maggiolino, « EU Trade Secrets Law and Algorithmic Transparency », Bocconi Legal Studies Research Paper n° 3363178, 2019.

40 Voir l’étude du Conseil d’Europe, « Algorithmes et droits humains », préparée par le comité d’experts sur les intermédiaires d’internet (MSI-NET), étude DGI (2017)12, p. 27.

41 Voir l’article 13 du règlement sur l’IA.

42 Voir, parmi plusieurs articles sur ce sujet, T. Tse, L. Cartechini et M. Esposito, « Artificial Intelligence in Europe », 2021.

43 Ainsi que souligné, le terme « biais » employé par les informaticiens peut avoir une portée différente du terme « discrimination », telle que définie par les juristes. Voir, à cet égard, l’étude « Bias in Algorithms – Artificial Intelligence and Discrimination », European Union Agency for Fundamental Rights, 2022, p. 22.

---

Kelly Xintara, « Le droit de contester une décision émise par un système d’intelligence artificielle (IA). Portée et perspectives», La régulation internationale de l’IA : enjeux et perspectives [Dossier], Confluence des droits_La revue [En ligne], 12 | 2024, mis en ligne le 18 décembre 2024. URL : https://confluencedesdroits-larevue.com/?p =3724.