Isabelle Budor (Capgemini Invent) "La réglementation européenne sur l'IA suit la même logique que le RGPD"

La Commission européenne a dévoilé le 21 avril son projet de réglementation de l'intelligence artificielle. La responsable de l'offre Data, Privacy et Ethics de Capgemini Invent réagit à cette première mondiale.

JDN. Le projet de réglementation de l'IA présenté par la Commission européenne va-t-il dans le bon sens ?

Isabelle Budor. Lors de sa nomination comme vice-présidente de la Commission européenne (en septembre 2019, ndlr), Margrethe Vestager avait clairement indiqué vouloir faire de ce dossier l'une de ses priorités. Dès la sortie en décembre 2019 des premières guidelines de l'UE sur l'intelligence artificielle de confiance, la question d'une législation s'est posée. Ce projet n'est donc pas une surprise. Il s'inscrit dans une politique plus large visant faire émerger des champions digitaux nationaux et une économie numérique européenne, mais en restant fidèle à ce qui fait l'identité de l'Union européenne : le respect profond des individus et de la démocratie. D'où cette volonté d'établir un certain nombre de principes éthiques garantissant le respect des droits fondamentaux.

Comparé au RGPD, les sanctions en cas de dérive pourraient être plus importantes. Qu'en pensez-vous ?

La réglementation proposée évoque en effet de potentielles sanctions financières qui pourront aller de 2% à 6% du chiffre d'affaires en fonction des articles non respectés. Elles seront ajustées au regard de la gravité et des risques potentiels ou avérés, de la volonté de bien ou mal faire, de la taille de l'entreprise, de la durée et de la portée du manquement. Des dommages et intérêts pourront par ailleurs venir s'ajouter en plus.

La logique est la même que celle du RGPD. C'est un signal fort. En introduisant des sanctions pouvant s'élever jusqu'à 4% du revenu, le RGPD a forcé les entreprises à se pencher sur la question de la gestion des données personnelles. A l'issue des débats et des différents amendements du nouveau texte, je ne pense pas que l'Union européenne descendra en dessous de ce seuil. L'objectif de la commission est de faire en sorte que le sujet soit pris au sérieux.   

La proposition évoque plusieurs cas d'usage considérés à risque : IA chirurgicale, octroi de crédit, sélection des candidatures à un emploi, décision de justice... Avec à la clé l'obligation pour les entreprises d'en analyser les risques. Comment réaliser cette évaluation ?

Ces exemples ne sont pas étonnants. Là-encore, le texte suit une approche comparable au RGPD. Tous ces cas d'usage ont potentiellement un impact fort sur l'individu. L'accès à l'emploi ou au crédit a des conséquences directes sur les finances personnelles. Sans parler de l'impact des robots chirurgicaux ou les choix d'une IA qui serait appliquée aux décisions judiciaires, en matière pénale par exemple.

Le RGPD introduisait déjà le principe d'analyse d'impact qui devait étudier les risques pour les individus, en l'appliquant au traitement sur les données personnelles. Le recours aux données personnelles pour l'envoi de publicités ne présente évidemment pas le même niveau de criticité que leur utilisation pour un service d'octroi de crédit pour reprendre un exemple cité dans la nouvelle proposition. Partant de là, les entreprises peuvent s'inspirer du travail qu'elles ont réalisé sur les analyses d'impact dans le cadre de leur mise en conformité avec le RGPD. C'est une première base.

Pour ces cas d'usage, le texte évoque aussi l'obligation d'évaluer les biais ou discriminations que peut engendrer l'IA. Comment réaliser cette estimation, par définition très subjective ?

Les algorithmes peuvent reproduire voire même amplifier des inégalités présentes au départ dans la base d'apprentissage. Dans le passé, les exemples ne manquent pas. On a pu relever des modèles conduisant à une discrimination des personnes en fonction de la couleur de leur peau (les premiers modèles de reconnaissance faciale identifiaient beaucoup plus facilement les hommes à la peau blanche, étant entrainés sur des bases d'images dans lesquels les hommes à la peau claire été surreprésentés, ndlr). Autre exemple, des modèles d'IA dans santé ne prenaient pas en compte certaines populations aux caractéristiques biologiques spécifiques, ce qui se traduisait par de mauvais résultats pour ces profils.  

Partant de là, il est d'abord possible de s'assurer de l'équité des data set d'entrainement, en termes de genres, de profils sociaux-économiques... Seconde solution, la correction des paramètres de l'algorithme permet aussi de faire des ajustements. Sachant par exemple qu'il existe une discrimination salariale entre hommes et femmes (un élément de facto présent dans la base d'entrainement, par définition représentative de la réalité, ndlr), on pourra ainsi redresser les résultats finaux de l'IA. Toute la question étant de savoir jusqu'à quel niveau. Souhaite-t-on mettre en œuvre une discrimination positive ou pas ? C'est évidemment une interrogation éthique qui va bien au-delà de la problématique technique, et qui pose la question de la place de l'entreprise en tant qu'acteur de la société civile.

Concrètement, un référentiel commun d'évaluation des biais pourrait être défini ?

Au départ comme je l'ai dit, les entreprises s'inspireront de l'existant, notamment de ce qu'elles ont mis en place pour le RGPD. Une réglementation qui, encore une fois, a incité les acteurs à définir des frameworks d'analyse d'impact. Depuis, ces canevas se sont normalisés. La réglementation sur l'IA devrait prendre le même chemin. Après une première phase de test au sein des entreprises, des bonnes pratiques se répandront progressivement et un cadre d'évaluation des risques s'imposera à terme, en parallèle d'une jurisprudence qui accompagnera le mouvement et d'un cadre réglementaire qui va se préciser.

Isabelle Budor est directrice associée chez Capgemini Invent, où elle pilote l'offre Data, Privacy et Ethics depuis 2013. Après s'être concentrée sur les questions de protection des données personnelles, elle couvre désormais des sujets connexes, comme l'intelligence artificielle éthique et durable et, plus globalement, tous les sujets liés à la responsabilité sociétale des entreprises, de l'impact positif des organisations aux droits de l'homme numériques en passant par la protection de l'environnement.