OpenAI, la société derrière le célèbre modèle de langage ChatGPT, a récemment pris des mesures importantes pour bouter hors de sa plateforme de nombreux acteurs malintentionnés, présumés œuvrer depuis la Chine. Dans un rapport de sécurité publié le 21 février, l’entreprise a révélé qu’elle avait détecté des opérations de désinformation ainsi que le développement d’un outil de surveillance des réseaux sociaux, visant à contrôler les conversations en ligne sur des questions sensibles.

Les équipes de sécurité d’OpenAI ont identifié ces utilisateurs en surveillant l’utilisation de ChatGPT. Grâce à une analyse détaillée, ils ont observé un groupe de comptes actifs en chinois, opérant principalement durant les heures de bureau en Chine. Cette observation a permis à OpenAI de découvrir les contours d’un programme qui analyse en temps réel des messages provenant de plateformes majeures comme Facebook, X (anciennement Twitter), YouTube, Instagram, Telegram et Reddit. Cet outil ciblait particulièrement les appels aux manifestations en faveur des droits de l’homme.

Surveillance des Réseaux Sociaux : L’Outil « Peer Review »

Identifié sous le nom de « Peer Review » par OpenAI, cet outil a pour objectif de signaler les messages ciblés aux autorités chinoises ainsi qu’à leurs ambassades à l’étranger. Les pays visés par cette surveillance incluent les États-Unis, l’Allemagne et le Royaume-Uni, avec un intérêt particulier pour des thèmes tels que le soutien aux Ouïghours ou encore la diplomatie en Indo-Pacifique.

OpenAI a relevé que ChatGPT était utilisé pour rédiger des textes commerciaux relatifs à « Peer Review », élaborer des descriptions détaillées de ses fonctionnalités, et corriger des erreurs de programmation dans son code, lequel semble utiliser le modèle open-source Llama de Meta. Cependant, l’entreprise n’a pas pu déterminer si cet outil était effectivement employé à grande échelle.

Manipulations de l’Information et Propagande

En parallèle, OpenAI a identifié un second réseau d’acteurs chinois impliqués dans des campagnes de désinformation. Ces détracteurs ont employé ChatGPT pour générer des messages courts sur les réseaux sociaux, visant à discréditer des publications du dissident Cai Xia, ancienne professeure au sein du Parti Communiste Chinois (PCC).

Lors d’un sommet sur l’intelligence artificielle organisé à Paris, Ben Nimmo, enquêteur principal chez OpenAI, a évoqué des incidents similaires au cours de ses recherches. Des utilisateurs chinois ont eu recours à ChatGPT pour soutenir la campagne de désinformation nommée « Spamouflage », en émettant des tweets favorables au PCC et en s’attaquant à l’Occident, tout en créant des sites web critiquant des dissidents en exil. Ils ont été identifiés car ils utilisaient les mêmes comptes ChatGPT pour tricher lors d’examens de promotion interne au Parti.

Le groupe ciblant Cai Xia semble opérer différemment. Ses membres ont utilisé ChatGPT pour produire des articles critiques à l’égard des États-Unis, qu’ils ont réussi à faire paraître dans plusieurs journaux influents mexicains, péruviens et équatoriens, parfois sous forme de contenus sponsorisés. L’IA a été exploitée pour traduire et amplifier des articles chinois existants, abordant des thèmes tels que la violence politique, la discrimination, et la faiblesse du leadership américain dans sa politique étrangère.

Un Engagement contre les Abus

Depuis plus d’un an, OpenAI publie régulièrement des rapports de sécurité dont le but est de « prévenir l’utilisation d’outils d’IA par des régimes autoritaires pour renforcer leur pouvoir ou mener des opérations d’influence ». Les enquêteurs d’OpenAI utilisent eux-mêmes des outils basés sur l’IA pour identifier et contrer ces abus.