Cette troisième décennie du XXIe siècle déterminera sans doute de notre destin. Rendrons-nous le futur numérique meilleur, ou lui-même nous mènera-t-il vers le pire ? Sera-t-il un lieu que nous pourrons encore considérer le nôtre ?
Shoshana Zuboff
Professeur de sociologie à l’Université de Harvard
Préambule
La technologie peut être un outil merveilleux pour l’humanité à qui elle a permis de surmonter de nombreux obstacles et souffrances au fil des siècles. Cependant, nous considérons que le paradigme qui prédomine actuellement dans le développement technologique n’est pas pleinement aligné avec les intérêts de l’humanité et qu’une prise de conscience profonde de la population est urgente pour conduire à des mesures politiques fermes afin de reprendre le contrôle. Nous souhaitons continuer à tirer parti des avantages que la technologie peut offrir sans devoir souffrir de certaines de ses implications les plus préjudiciables, de par sa conception ou dû à un manque de régulation.
Une partie substantielle de la technologie numérique et de l’IA promue actuellement fomentent un environnement dans lequel l’humain est vulnérable et sa liberté ainsi que son intégrité sont susceptibles d’être menacées. Ce dernier court le risque de voir sa volonté conditionnée, de ne pas pouvoir prendre des décisions de façon autonome, sans souffrir des interférences externes, de vivre dans un état de surveillance dans lequel un contrôle intense soit exercé sur lui ou de souffrir une difficulté croissante pour discerner la vérité. Si nous laissons ce modèle se consolider et finir de s’imposer, le monde façonné par une partie de la technologie actuelle peut se transformer, de manière irréversible, dans un environnement dans lequel l’humanité n’ait pas sa place du fait que les logiques en œuvre ne reconnaissent pas son caractère unique et ses propres intérêts. Il pourrait même mener à une extinction de notre espèce.
Face à ce risque existentiel pour l’humanité, nous exposons dans ce MANIFESTE une série de mesures urgentes afin de reprendre le contrôle sur la technologie numérique et garantir que celle-ci se maintienne au service des êtres humains, en contenant au maximum les scénarios les plus adverses qui se profilent.
Manifeste
Reprenons le contrôle sur la technologie numérique
Nous nous trouvons à un moment charnière historique, au cours duquel le pouvoir de la technologie sur les humains croît exponentiellement et représente un défi sans précédent pour notre espèce.
Le déploiement technologique accéléré auquel nous assistons a lieu pratiquement sans contrôle démocratique. Comme les bénéfices à court terme de nombreuses innovations sont souvent plus facilement perceptibles que les risques qu’elles présentent, l’adoption précipitée d’applications technologiques – que ce soit par des particuliers, professionnels, entreprises, administrations, institutions éducatives, etc.– constitue une tentation à laquelle il est difficile de résister en l’absence de barrières et de protocoles clairs qui évaluent leurs implications et s’assurent qu’elles respectent les droits fondamentaux et ne portent pas préjudice à l’intérêt général.
Dans un tel contexte, nous rejetons la vision selon laquelle nous nous trouverions face à un déterminisme technologique inexorable, duquel nous ne pourrions être que de simples spectateurs. Au contraire, nous sommes convaincus que nous devons agir pour convenir d’un modèle et d’un cadre applicables, afin de réduire son emprise sur l’humanité et que le développement technologique soit au service de l’humain et non le contraire.
CE QUE NOUS CONSTATONS
Une évolution préoccupante
Indépendamment des avantages en termes d’efficacité et de rapidité que le développement technologique apporte à l’humanité, nous observons avec préoccupation trois grandes dynamiques à travers lesquelles la technologie est susceptible d’affecter l’être humain de manière fondamentale :
Alors que l’asymétrie entre l’être humain et la technologie augmente, celle-ci peut être utilisée par des individus et des organisations, privées ou publiques, pour exercer un contrôle sur lui à des fins commerciales, sécuritaires ou autres, réduisant ou anéantissant la volonté des individus, leur capacité de discernement et leur liberté.
Notre dépendance individuelle et collective aux infrastructures numériques constitue une vulnérabilité qui peut notamment être exploitée à des fins malveillantes – criminelles, terroristes ou idéologiques – paralysant ou détruisant des éléments critiques pour notre existence.
Plus la technologie devient autonome, plus l’humanité perd le contrôle qu’elle est capable d’exercer sur elle. Alors que jusqu’à il y a peu, les machines étaient dirigées dans une large mesure par des humains, leur complexité et autonomie croissantes impliquent que la compréhension de leur fonctionnement tend à échapper jusqu’à leurs propres concepteurs et que ce soit de plus en plus elles qui émettent des ordres à des humains.
Ces caractéristiques de l’évolution technologique actuelle sont déjà en train d’affecter profondément les individus et la société. On observe, entre autres :
-
Une profonde détérioration de la capacité d’attention et de la santé mentale de la population en général – et plus particulièrement, des jeunes – accompagnée d’une augmentation du sentiment de solitude et d’isolement.[1]
-
Un désaprentissage alarmant de certaines fonctions consubstantielles à l’être humain (telles que la mémoire, le sens de l’orientation, la capacité de raisonner ou l’esprit critique), qui modifient qualitativement sa nature et accroissent sa dépendance technologique.[2]
-
Des distorsions avérées dans des processus électoraux clé, à travers des campagnes de désinformation alimentées par de grandes plateformes numériques et favorisant une forte polarisation politique et sociale.[3]
-
Une augmentation significative du contrôle exercé par les États autoritaires sur leurs sujets, à travers un appareil de surveillance fondé sur la collecte de plus en plus exhaustive de données personnelles et leur exploitation via l’intelligence artificielle (IA).[4]
-
Une tendance également dans les États démocratiques à l’accumulation et l’exploitation excessive de données personnelles des citoyens, portant atteinte à leur vie privée, notamment à travers l’abus du recours à la reconnaissance faciale.[5]
-
Une grande concentration dans le secteur technologique qui a favorisé qu’un nombre réduit d’entreprises dispose d’un pouvoir disproportionné leur permettant d’intensifier l’influence qu’elles exercent sur la vie des citoyens, conditionnant leurs comportements, leurs croyances et décisions. Ces entreprises maintiennent une position dominante également dans leurs relations avec d’autres entreprises et parfois, avec les États.[6]
-
Des cyberattaques perpétrées contre des infrastructures critiques – telles que des hôpitaux ou des réseaux de distribution électrique – qui ont mis en évidence la vulnérabilité d’une société dans laquelle tous les systèmes essentiels sont connectés, ainsi que le fait que les critères de sécurité ne constituent pas une priorité suffisante dans la conception et le déploiement technologiques.[7]
-
Un impact environnemental de plus en plus lourd résultant du déploiement indiscriminé et de l’intensification de la digitalisation : extraction polluante de métaux rares destinés à la fabrication de dispositifs, augmentation exponentielle du nombre de satellites, accroissement des émissions de gaz à effet de serre d’origine numérique, minage intensif de cryptomonnaies, etc.[8]
Ces phénomènes apparemment disparates sont en fait intimement liés. Ils sont le revers de la relation sans contrôle que nous maintenons avec la technologie, dont nous méconnaissons l’étendue du potentiel réel.
1
2
3
CE QUE NOUS VOULONS ÉVITER
Les principes d'une action
Indépendamment des avantages en termes d’efficacité et de rapidité que le développement technologique apporte à l’humanité, nous observons avec préoccupation trois grandes dynamiques à travers lesquelles la technologie est susceptible d’affecter l’être humain de manière fondamentale :
1. Alors que l’asymétrie entre l’être humain et la technologie augmente, celle-ci peut être utilisée par des individus et des organisations, privées ou publiques, pour exercer un contrôle sur lui à des fins commerciales, sécuritaires ou autres, réduisant ou anéantissant la volonté des individus, leur capacité de discernement et leur liberté.
2. Notre dépendance individuelle et collective aux infrastructures numériques constitue une vulnérabilité qui peut notamment être exploitée à des fins malveillantes – criminelles, terroristes ou idéologiques – paralysant ou détruisant des éléments critiques pour notre existence.
3. Plus la technologie devient autonome, plus l’humanité perd le contrôle qu’elle est capable d’exercer sur elle. Alors que jusqu’à il y a peu, les machines étaient dirigées dans une large mesure par des humains, leur complexité et autonomie croissantes impliquent que la compréhension de leur fonctionnement tend à échapper jusqu’à leurs propres concepteurs et que ce soit de plus en plus elles qui émettent des ordres à des humains.
Ces caractéristiques de l’évolution technologique actuelle sont déjà en train d’affecter profondément les individus et la société. On observe, entre autres :
-
Une profonde détérioration de la capacité d’attention et de la santé mentale de la population en général – et plus particulièrement, des jeunes – accompagnée d’une augmentation du sentiment de solitude et d’isolement.[1]
-
Un désaprentissage alarmant de certaines fonctions consubstantielles à l’être humain (telles que la mémoire, le sens de l’orientation, la capacité de raisonner ou l’esprit critique), qui modifient qualitativement sa nature et accroissent sa dépendance technologique.[2]
-
Des distorsions avérées dans des processus électoraux clé, à travers des campagnes de désinformation alimentées par de grandes plateformes numériques et favorisant une forte polarisation politique et sociale.[3]
-
Une augmentation significative du contrôle exercé par les États autoritaires sur leurs sujets, à travers un appareil de surveillance fondé sur la collecte de plus en plus exhaustive de données personnelles et leur exploitation via l’intelligence artificielle (IA).[4]
-
Une tendance également dans les États démocratiques à l’accumulation et l’exploitation excessive de données personnelles des citoyens, portant atteinte à leur vie privée, notamment à travers l’abus du recours à la reconnaissance faciale.[5]
-
Une grande concentration dans le secteur technologique qui a favorisé qu’un nombre réduit d’entreprises dispose d’un pouvoir disproportionné leur permettant d’intensifier l’influence qu’elles exercent sur la vie des citoyens, conditionnant leurs comportements, leurs croyances et décisions. Ces entreprises maintiennent une position dominante également dans leurs relations avec d’autres entreprises et parfois, avec les États.[6]
-
Des cyberattaques perpétrées contre des infrastructures critiques – telles que des hôpitaux ou des réseaux de distribution électrique – qui ont mis en évidence la vulnérabilité d’une société dans laquelle tous les systèmes essentiels sont connectés, ainsi que le fait que les critères de sécurité ne constituent pas une priorité suffisante dans la conception et le déploiement technologiques.[7]
-
Un impact environnemental de plus en plus lourd résultant du déploiement indiscriminé et de l’intensification de la digitalisation : extraction polluante de métaux rares destinés à la fabrication de dispositifs, augmentation exponentielle du nombre de satellites, accroissement des émissions de gaz à effet de serre d’origine numérique, minage intensif de cryptomonnaies, etc.[8]
Ces phénomènes apparemment disparates sont en fait intimement liés. Ils sont le revers de la relation sans contrôle que nous maintenons avec la technologie, dont nous méconnaissons l’étendue du potentiel réel.
CE QUE NOUS PROPOSONS
Un appel aux autorités et aux citoyens
Ce manifeste ne prétend absolument pas s’opposer au développement technologique lui-même, dont nous reconnaissons les avantages, mais il a pour but d’interpeler les autorités et la société civile sur le prix que l’humanité est en train de payer et les risques qu’elle assume si elle continue à accepter un paradigme de déploiement technologique sans discernement ni contrôle démocratique, et d’inciter à une action urgente afin de minimiser ce coût.
Pour conserver la liberté et la dignité des personnes en tant que valeurs cardinales dans un contexte d’asymétrie croissante entre technologie et être humain, les démocraties doivent réinventer profondément leur répertoire d’action et défendre ces droits avec plus de fermeté. Les efforts de certains États ou de l’Union Européenne en matière de protection des données ou à travers les déclarations de protection des droits digitaux (par exemple la Déclaration sur droits et principes numériques européens de mars 2023) sont dignes d’éloges mais doivent s’intensifier et changer d’échelle.
Nous sommes conscients du fait que cela suppose un véritable défi pour des systèmes politiques qui tendent à faire confiance à l’individu pour réguler des questions considérées comme privées. Nous sommes cependant face à des technologies qui ont pour effet collatéral d’annuler la liberté individuelle et d’affecter ce qui nous rend humains. Nous savons également qu’une grande partie des équilibres économiques et géostratégiques reposent désormais sur la compétitivité technologique, ce qui dissuade tout ce qui peut être perçu comme une entrave au développement technologique. Mais ce défi existentiel exige des solutions qui aillent au-delà des recommandations habituelles.
Quel que soit le niveau d’action politique, un changement de paradigme se produira uniquement si une véritable mobilisation citoyenne existe, exerçant une pression suffisante pour situer ces questions en haut de l’ordre du jour politique. Pour le moment, l’opinion publique est sans doute plus sensible aux avantages à court terme du développement technologique qu’à ses risques, qu’elle méconnait en grande partie. Des espaces de débat et d’échange parlementaire ainsi qu’au sein de la société civile sont impératifs pour peser les risques et les bénéfices du paradigme technologique qui prévaut actuellement et pour définir de façon conjointe les valeurs qui doivent orienter et encadrer ce développement.
Nous proposons d’explorer un spectre large de mesures pour répondre aux défis auxquels nous faisons face, parmi lesquels nous proposons :
-
Mesures régulatoires juridiquement contraignantes, dont :
-
L’interdiction de la publicité micro-ciblée.
-
La protection constitutionnelle et transnationale des neurodroits (encadrement très strict de l’accès à notre activité neuronale et de la récolte de ses données avec la possibilité d’interférer dans notre activité mentale).
-
La promotion d’une législation internationale sur l’interdiction des armes létales autonomes ;
-
La poursuite d’une « désescalade technologique » dans les domaines où la technologie a un impact collectif négatif avéré et son déploiement présente un risque pour l’ensemble de la population.
-
Un droit à la déconnexion garantissant l’accès aux services – en particulier, publics – hors numérique.
-
L’obligation pour les compagnies technologiques de donner accès aux données qui permettent à des tiers, dans un cadre légal, d’analyser le fonctionnement de leurs plateformes et algorithmes de façon autonome.
-
L’élargissement de protocoles destinés à valider les standards étiques des algorithmes utilisés par les entreprises et les gouvernements.
-
-
Mesures liées à la production industrielle et à la commercialisation :
-
La réintroduction et mise en valeur de la fonctionnalité Off dans la conception d’application et dispositifs technologiques.
-
Des processus beaucoup plus stricts pour mettre certains types de technologies disruptives sur le marché, tel que c’est déjà le cas dans les secteurs pharmaceutique ou agroalimentaire.
-
Des mesures pour former, informer et donner plus de pouvoirs aux consommateurs, investisseurs et professionnels pour mettre en valeur leurs exigences pour que la technologie soit alignée avec leurs droits et leurs intérêts.
-
-
Mesures dans le domaine de la recherche et de l’éducation, telles que :
-
Un moratoire sur l’introduction indiscriminée de la technologie dans les écoles en-dessous d’un certain âge.
-
Une plus grande formation à différents stades de la vie sur la programmation et le fonctionnement général des algorithmes afin de réduire l’asymétrie entre la technologie et les individus.
-
Des actions systématiques visant les parents et tuteurs pour leur faire prendre conscience des risques auxquels les jeunes sont exposés.
-
La promotion d’études approfondies sur l’effet de technologies spécifiques sur l’individu et la société, en particulier en matière cognitive, sur le comportement, sur le bien-être et sur la liberté ;
-
L’adéquation de l’utilisation de dispositifs à l’âge de l’utilisateur, en particulier les smartphones et autres objets connectés.
-
Réguler l’innovation technologique est une tâche complexe et constitue, aux côtés de la crise écologique, le défi fondamental que l’humanité affronte actuellement. La question est trop importante pour permettre que le débat se heurte à des positions sectaires. La mobilisation ne peut attendre autant que dans le cas de l’environnement si on veut éviter d’arriver à un point de difficile retour. C’est pourquoi un consensus suffisant est urgent pour prendre rapidement des décisions rapides et efficaces pour répondre à la magnitude du défi et permettre à l’humanité de tirer parti de tous les avantages permis par la technologie sans que cela implique un coût démesuré comme s’il s’agissait de quelque chose d’inévitable.
Faisons urgemment ce qui est en notre pouvoir pour aider l’humanité à prendre son destin en main et assurer sa permanence en tant qu’espèce libre.
Références
Annexes
[1] Entre autres, la psychologue Jean M. Twenge de l’Université de San Diego a réalisé de nombreuses études qui ont révélé la magnitude de la détérioration de la santé mentale des jeunes durant la décennie 2010. Avec Jonathan Haidt de l’Université de New York, ils ont établi des corrélations entre utilisation du smartphone et cette détérioration.
Voir par exemple:
-
Jean M. Twenge, « The Mental Health Crisis Has Hit Millennials. Why It Happened and Why It’s Bad For Democracy », 25/04/2023.
-
« Smartphones and social media are destroying children’s mental health », Financial Times, 10/03/2023.
[2] Voir par exemple :
-
Les travaux de Nicholas Carr, depuis The Shallows. What The Internet Did To Our Brains, jusqu’à «Nicholas Carr : ‘Nous devenons moins intelligents, plus fermés d'esprit et intellectuellement limités avec la technologie’», BBC, 4/02/2021.
-
Will Conaway, « Technology Is On The Rise, While IQ Is On The Decline », Forbes, 29/04/2020.
-
Adrian F. Ward, Kristen Duke, Ayelet Gneezy, and Maarten W. Bos, « Brain Drain: The Mere Presence of One’s Own Smartphone Reduces Available Cognitive Capacity », Journal of the Association for Consumer Research, 04/2017
-
Kaspersky Lab, « L’amnésie numérique » fait que nous nous ne nous rappelions pas les informations que nous pensons avoir à portée de main, particulièrement dans nos dispositifs mobiles. Il y a huit ans, la moitié des personnes ne connaissaient déjà plus le numéro de téléphone de leur conjoint, alors qu’elles en connaissaient des dizaines au début des années 2000. Ce phénomène d’externalisation de la mémoire s’est depuis étendu à d’autres facultés cognitives, de façon de plus en plus transversale, affectant désormais la capacité à formuler ses propres arguments, par exemple quand on a constamment recours à ChatGPT.
[3] Les investigations de The Observer et The New York Times ont révélé il y a quelques années comment l’entreprise Cambridge Analytica avait facilité à la campagne de Donald Trump des données psychométriques précises de dizaines de millions d’utilisateurs de Facebook, ceci ayant facilité l’envoi de publicité personnalisée exploitant les biais cognitifs de chaque individu.
Plus d’information:
-
Kurt Wagner, « Mark Zuckerberg says it’s ‘crazy’ to think fake news stories got Donald Trump elected », Vox, 11/11/2016.
-
Morgane Soulier, « Présidentielle américaine 2024 : l'IA peut-elle influencer l'élection ? » Challenges, 04/06/2023.
[4] Voir par exemple :
-
Katie Canales & Aaron Mok, « China's 'social credit' system ranks citizens and punishes them with throttled internet speeds and flight bans if the Communist Party deems them untrustworthy », Business Insider, 28/11/2022.
-
Sylvain Biget, « L'IA-tocratie en Chine : quand l'intelligence artificielle renforce la répression », Futura Sciences, 23/7/2023.
[5] Depuis l’Occident, on observe avec frayeur le déploiement de technologies de surveillance en Chine. L’omniprésence de caméras intelligentes et de contrôles biométriques fomentant une société de l’hypercontrôle nous semble dystopique. Mais en même temps, sur la base d’ « expériences temporaires », nous cédons progressivement à cette même tentation. La vidéosurveillance avec technologie de reconnaissance faciale ouvre une boite de Pandor qui menace notre vie privée et l’anonymat dans l’espace public. Ceci implique un saut différentiel vers un pistage systématique de nos mouvements et un contrôle de nos vies. Notre visage a cette particularité qu’il est à la fois public (entendu comme visible, découvert) et privé (parce qu’il est susceptible de dégager une quantité d’information sur nous, en particulier notre identité et nos émotions). Si l’IA couplée à la vidéosurveillance analyse sur la voie publique ce que cache notre visage, nous perdons le principal bouclier qui protège notre intériorité. Si nous permettons le déploiement de la reconnaissance faciale, nous perdrons non seuelement le droit à nous déplacer librement sans être identifié mais en plus, des données nous concernant s’accumuleront sans qu’on ne connaisse comment elles pourront être utilisées à l’avenir.
Plus d’informations :
-
Amnesty International a lancé un appel à interdire les systèmes de reconnaissance faciale, considérée comme une forme de surveillance massive qui amplifie les actions policières racistes et menace la liberté de manifestation. Campagne : Your face is being tracked.
-
Philippe Reltien, « Reconnaissance faciale : officiellement interdite, elle se met peu à peu en place », France Inter, 5/9/2020.
-
Gérard Haas, Anne Charlotte Andrieux et Antoine Kraska-Delsol, « La collecte des données personnelles par les applis de suivi menstruel ».
[6] Voir par exemple :
-
Capitalisation des plus grandes entreprises Internet en avril 2023 (en milliards de dollars)
-
La quasi-totalité des données numériques dans le monde voyage à travers des câbles sous-marins. 70 % des projets d’installation de câbles dans le monde sont menés par Google, Facebook et autres, qui contrôlent déjà plus de la moitié de la circulation de données. Avec 21 câbles sous-marins, dont 6 pour lesquels il en est le propriétaire exclusif, Google est le leader incontestable de ces infrastructures.
-
Bruce Schneier, « When It Comes to Security, We’re Back to Feudalism », Wired, 26/11/2012.
[7] Voir par exemple :
-
Bogdan Bodnar, « Cyberattaque : la liste des hôpitaux touchés en 2022 », Numérama, 26/12/2022.
-
Diego Hidalgo, « ¿Debemos conectar todo a la red? », El País, 9/03/2023.
[8] Voir par exemple :
-
Céline Deluzarche, « Quelle est l'empreinte carbone d'un e-mail ? », 9/11/2022-
-
Sarah Griffiths, « Why your internet habits are not as clean as you think », BBC, 6/03/2020.
-
Cristina Criddle, « Pourquoi le bitcoin consomme autant d’électricité ? », BBC, 11/02/2021.
La consommation annuelle d'électricité dont le bitcoin est responsable se situe à un niveau comparable à celui de certains pays.