Ethique de la recherche en numérique
Gouvernance des algorithmes
1er février 2016
Institut Mines-Télécom, Paris 13
Le programme et des documents
Nous utilisons quotidiennement, consciemment ou pas, des dizaines voir des centaines de programmes. Ils implantent dans les systèmes informatiques des méthodes systématiques, les algorithmes, qui consistent en la description précise d'actions élémentaires et leur enchaînement.
Les algorithmes sont donc devenus omniprésents et cruciaux dans notre société numérique.
Les algorithmes sont conçus par des humains et au coeur même de tous nos systèmes d'information. Ils utilisent, sans que souvent nous le réalisions, les données produites massivement dans tous les domaines de nos sociétés: des données économiques, écologiques, scientifiques, techniques, personnelles, financières, ... A base de traitements statistiques et qui peuvent être largement distribués de par le monde, ces algorithmes infèrent des corrélations à caractère prédictif voire autoréalisateur mais non nécessairement explicatif, qui orientent les choix et les comportements individuels ou collectifs : publicité ciblée, déplacements intelligents, préconisations de santé, détermination de tarifs, de politiques publiques ou privées. La gouvernance des algorithmes devient un sujet majeur d'attentions, notamment éthiques, pour toute la société mais tout particulièrement pour celles et ceux qui conçoivent et déploient ces technologies, c'est-à-dire les chercheurs et développeurs du numérique.
C'est pourquoi la CERNA consacre à ce sujet sa deuxième journée de réflexion. Cette journée vise avant tout à nourrir les réflexions des participants et laisse pour cela une large place aux discussions, autour de quatre regards sur la gouvernance des algorithmes.
Le programme se compose de quatre exposés de 45 minutes, chacun étant suivi de 45 minutes d'échanges.
- 9h 15 Accueil, présentation de la journée, Max Dauchet, président de la CERNA
- 9h 30 Plaidoyer pour une loyauté des algorithmes, Christine Balagué, Institut Mines-Telecom, Télécom Ecole de Management, Titulaire de la Chaire Réseaux Sociaux. Vice-présidente du Conseil National du Numérique
Rédaction d'un papier en cours. Les slides seront affichés ultérieurement
Les algorithmes font désormais partie de la vie quotidienne de chaque individu : hiérarchisation des résultats d’une recherche d’information sur Google (pagerank), sélection de l’information qui apparaît sur un mur Facebook (Edgerank), optimisation des déplacements, recommandations de produits, détection des pathologies. Nous ne sommes qu’au début d’un tel phénomène, nos vies devenant données et les modèles prédictifs s’appliquant à des champs de plus en plus nombreux.
L’algorithmie pose des questions d’éthique pour plusieurs raisons. Tout d’abord, la technique même de l’algorithme peut aboutir à des discriminations interdites par la loi, de par la réintroduction du profilage, désormais sans nécessité d’identification préalable, par simple recoupement de données. Les risques d’enfermement des internautes dans une personnalisation des services en fonction de leurs goûts ou dans des sphères d’opinions supposées posent également problème. Ceci s’oppose au libre épanouissement de l’individu, et participe à une homogénéisation réductrice de l’information, en opposition au pluralisme culturel. L’utilisation massive des algorithmes développe aussi le risque d’une confiance excessive dans les choix préconisés par ces calculs, basés sur des postulats potentiellement faux ou approximatifs, mais susceptibles d’orienter les choix des individus sans que ceux-ci en aient véritablement conscience. Enfin, se pose la question du risque “solutionniste” d’une société qui encourage le recours systématique à des solutions algorithmiques masquant la complexité des enjeux socio-économiques qui requièrent d’autres types d’interventions.
Face à cette situation, il est important de rechercher des pistes de réflexion, comme celle d’une régulation imposant la loyauté des algorithmes, ou encore à la mise en place de systèmes permettant de vérifier son opérationnalité, comme par exemple des agences de notation ou un corps d’experts en algorithmes (algorithmistes) mobilisables sur demande d’une autorité de régulation.
- 11h De quoi "algorithme" est-il le nom ? Gilles Dowek, directeur de recherche à Inria
Pas de document rédigé
Le mot algorithme a pris récemment, dans le débat public, une signification assez différente de sa signification habituelle, qui remonte au XIIIe siècle. Je propose dans cet exposé d'essayer d'éclairer cette nouvelle signification et de la contraster avec sa signification habituelle.
- 12h 30 Buffet sandwichs sur place ou déjeuner dans un des nombreux petits restos du quartier
- 14h Gouverner sans règles? Danièle Bourcier, directrice de recherche émérite au CNRS
On a connu l'étape des systèmes experts, où la règle de droit pouvait être convertie en règle de production. Mais les bases de connaissances sur lesquelles étaient fondés ces systèmes de décision étaient accessibles, comme l'exigeait la loi de 1978. Puis sont arrivés les réseaux connexionnistes qui traitaient des milliers cas dont on ne connaissaient pas a priori les règles sur lesquels ces cas étaient fondés. La décision était fondée sur des raisonnements sans règles. Mais, face à cette représentation à qui on reprochait en général son opacité, il était toujours possible d'ouvrir la boite noire. Avec les systèmes de gouvernement algorithmique, fondés sur des "connaissances" d'un autre type, les Big data, les institutions gouvernent en aveugle. Elles ne connaissent plus les data sur lesquelles elles élaborent leurs décisions ni les raisonnements qui sont opérés à leur insu. Quant au citoyen, il devient, lui aussi, impuissant à comprendre les lois nouvelles auxquelles il est soumis et à avoir accès aux motifs qui les justifient. Les technologies du blockchain utilisées en droit constituent à cet égard un exemple extrême. Nous verrons l'évolution de ces divers systèmes de décisions et leurs effets sur les valeurs fondamentales de la démocratie.
- 15h 30 Gouverner le code qui nous gouverne, Alexei Grinbaum, chercheur au LARSIM, CEA-Saclay
À supposer que, sur le plan politique, le type de gouvernement qu’exige le code ne soit pas totalement nouveau, il s’agit d’identifier, parmi les instruments et les méthodes de pouvoir, ceux adéquats et adaptés au code. L’ubiquité du code produit une structuration socio-anthropologique nouvelle. Elle joue ainsi un rôle analogue à celui des armes, de l’argent ou des objets techniques. Toutefois, les moyens les plus pertinents pour gouverner le code se rapprochent plutôt des instruments de pouvoir relevant de la sphère religieuse. Foucault définissait le pouvoir pastoral comme une gouvernementalité qui ne s’exerce pas sur un territoire, mais sur des individus qu’elle vise, à la fois tous et chacun. L’individualisation et la bienfaisance forment un type de rapport fondamental entre les hommes et un pouvoir transcendant. Ce dernier, pour mériter d’être appelé pastoral, doit se manifester par son zèle et son application indéfinie à la vie des hommes sur lesquels il veille. Foucault pensait, certes, à la religion et à la puissance divine, mais son schéma reste valide au-delà de cet exemple. Omniprésent dans la vie de chacun, le code constitue dans la société de l’information une transcendance par rapport au niveau des perceptions et des activités quotidiennes. Contrairement à la divinité qui fait objet de croyance non empirique, le code est matériellement écrit par des milliers d'informaticiens, pour qui la signification de chaque ligne est supposée être claire. Cependant, même s’il est fabriqué par des experts, le code, considéré cette fois-ci dans son ensemble, agit sur l’utilisateur comme un pouvoir opaque quoique directement présent. Il se caractérise par l’ubiquité, l’opacité, l’individualisation, la promesse du bien et la veille continue sur l’utilisateur ainsi que la non-territorialité. Or, ce sont des propriétés permettant d’établir une analogie entre le pouvoir du code et le pouvoir pastoral. Limitée mais instructive, cette analogie a pour conséquence immédiate que la légitimation des moyens du pouvoir peut procéder, dans le cas du code, uniquement et exclusivement des experts en informatique. Aucune action des pouvoirs publics ne sera efficace, ni même recevable, sans l’agrément d’une assemblée d’« évêques du code ». La contrainte et la répression ne peuvent s’imposer que si elles sont fondées sur une autorité émanant du code lui-même. D’autres implications de cette analogie portent sur la temporalité de la gouvernance du code, les « hérésies » informatiques et les méthodes d’autorégulation, le statut social des informaticiens et, enfin, l’oubli en tant que punition dont nous menace le code.
- 17h fin de la journée
