Le bot Deepfake sur Telegram viole les femmes en forgeant des nus à partir de photos régulières

Un logiciel gratuit et simple d’utilisation deepfake bot trouvé sur le Application de messagerie Telegram a victimisé apparemment des centaines de milliers de femmes en remplaçant les parties vêtues de leur corps sur des photos par de la nudité. Plus de 100 000 de ces images sexuelles non consensuelles ont été publiées publiquement en ligne, mais le bot en a produit des centaines de milliers d’autres qui n’ont pas été retrouvées.

Un site Web faisant la promotion du bot a affirmé que plus de 700 000 images de femmes avaient été manipulées pour remplacer leurs vêtements par de la nudité, jeudi, et que plus de 100 000 agresseurs avaient téléchargé des images sur le bot. Ces chiffres n’ont pas pu être vérifiés de manière indépendante.

Les victimes sont pour la plupart des particuliers, des femmes dont les photos ont été prises sur les réseaux sociaux ou tirées d’une réserve personnelle de photos, selon un rapport de recherche sur le bot mardi, qui a retracé plus de 100 000 images publiées publiquement des victimes de ce bot. Certaines victimes avaient à l’origine été photographiées en maillot de bain ou en sous-vêtements. Certains portaient de simples T-shirts et shorts. Certains étaient visiblement mineurs. Toutes sont des femmes.

Le porno deepfake n’est pas nouveau. Deepfake la technologie — l’intelligence artificielle qui fabrique des contrefaçons médiatiques sophistiquées — a été utilisée très tôt et souvent pour fabriquer de la pornographie. Mais ça Bot de télégramme prend la facilité et l’accès de cette technologie à un nouveau niveau.

« L’innovation ici n’est pas nécessairement l’IA sous quelque forme que ce soit », a déclaré Giorgio Patrini, PDG de la société de recherche en profondeur. Sensibilité et co-auteur du rapport. « C’est juste le fait qu’il peut atteindre beaucoup de gens, et très facilement. »

La manipulation informatique des médias existe depuis des décennies et les images sexuelles ont été utilisées comme arme en ligne aussi longtemps qu’Internet pouvait héberger des photos. Qu’il s’agisse de photos de nus publiées sans consentement ou de contrefaçons grossièrement trafiquées, les images sexuelles ont été instrumentalisées pour extorquer, menacer, humilier et harceler les victimes.

Mais ce n’est qu’au cours des dernières années que la technologie deepfake a intensifié la menace des médias sexuels manipulés, posant des implications effrayantes pour ce qui pourrait arriver.

« Le phénomène des deepfakes est encore plus alarmant car il n’a pas l’air photoshopé. C’est beaucoup plus facile pour quelqu’un qui n’a pas les connaissances techniques pour en créer un », a déclaré Marie-Anne Franks, professeur de droit à l’Université de Miami et président de l’association anti-abus en ligne Initiative pour les droits cyber-civils. « Cela rend également la capacité d’éviter ce genre d’abus beaucoup plus difficile. »

Avec ce bot Telegam, toute femme qui a déjà posté un selfie d’elle-même à partir de la taille pourrait être une victime potentielle. Même les femmes qui marchent pourraient être victimisées si subrepticement cassées par le mauvais étranger.

Et dans l’une des formes d’abus les plus inquiétantes avec ce bot, des photographies d’enfants ont été téléchargées sur l’IA du bot, automatiquement manipulées pour sexualiser l’enfant puis partagé publiquement.

Ni le rapport de Sensity ni cet article ne divulguent le nom du bot, pour éviter de l’amplifier. CNET a visualisé des galeries d’images avec le filigrane du bot publié en ligne et a interagi avec le bot lui-même, s’arrêtant avant de télécharger des photos à manipuler.

L’engagement tenace de Telegram en faveur de la liberté d’expression et de la vie privée peut rendre les robots comme celui-ci difficiles à éliminer. Telegram a été critiqué pour avoir hébergé de la propagande et une coordination terroristes, facilité le piratage et la violation du droit d’auteur et hébergé des variétés de pornographie prédatrice. Mais le service a également pris des mesures pour éliminer les abus, comme le lancement de groupes d’extrémistes violents comme les néo-nazis et l’Etat islamique.

« Il y a clairement de la valeur dans les plateformes cryptées » comme Telegram, a déclaré Sam Grégoire, un directeur de programme avec l’organisation vidéo des droits de l’homme Témoin, qui a également conseillé Sensity sur son rapport. « Cela ne veut pas dire qu’ils ne devraient pas penser à l’utilisation de leur plate-forme pour des choses qui n’ont rien à voir avec la liberté d’expression. »

Sensity a contacté Telegram à plusieurs reprises au cours des six derniers mois au sujet de ses conclusions. Telegram n’a pas répondu à la sensibilisation de Sensity, et Telegram n’a pas non plus répondu aux messages de CNET sollicitant des commentaires.

Deepfake nus

La technologie Deepfake est comme une bande transporteuse Photoshop à grande vitesse sous stéroïdes. En utilisant une sorte d’intelligence artificielle connue sous le nom de réseaux de neurones, la technologie deepfake peut générer des contrefaçons médiatiques qui donnent l’impression que les gens font ou disent des choses qu’ils n’ont jamais faites. Le terme deepfake est le plus souvent utilisé avec des vidéos, mais les deepfakes peuvent faire référence à tout média dit « synthétique » produit par l’apprentissage automatique en profondeur, y compris les photos pornographiques.

Si ce bot sur Telegram semble étrangement familier, une technologie similaire appelée DeepNude a pris de l’importance l’année dernière, pour devenir si populaire en une seule journée, après qu’elle ait été exposé dans un article de presse, que son programmeur l’a arrêté.

Comme le bot Telegram, DeepNude utilisé l’intelligence artificielle pour générer automatiquement des images sexuelles non consensuelles de femmes sur des photos, remplaçant leurs vêtements photographiés par de la nudité. Les deux, en effet, semblent « dépouiller » les victimes de ce qu’elles portent sur leurs photos.

DeepNude était un site Web proposant des applications Windows et Linux qui nécessitaient un certain niveau de connaissances techniques pour fonctionner. En fait, l’IA qui alimente le Bot de télégramme semble être une version open source du logiciel de DeepNude. Mais le nouveau bot est plus simple et plus facile à utiliser que l’application de bureau d’origine, et il est accessible à tous sur Telegram. Le bot acceptera votre première photo à manipuler après avoir appuyé sur quelques invites.

Le bot est également conçu pour permettre aux agresseurs de partager facilement les images manipulées en les publiant dans des chats et d’autres formulaires en ligne.

Ces images sexuelles non consensuelles ont « été diffusées pour être trouvées », a déclaré Patrini. « Ils sont complètement ouverts, sans aucune connexion, sans aucun mot de passe, sur Internet. Ceux-ci sont en fait complètement exposés. »

Sensity a trouvé 104 852 images de femmes qui ont été victimisées par le bot, puis partagées publiquement, à la fin du mois de juillet. Bien que chaque image puisse ne pas être celle d’un individu unique, Patrini a déclaré que les cas où la même femme était victimisée ou la même photo manipulée à plusieurs reprises étaient rares.

Le nombre total d’images de plus de 100 000 est limité aux photos manipulées qui ont été publiées publiquement et que Sensity a pu retrouver. Sensity ne connaît pas l’étendue du matériel qui n’est pas partagé, a ajouté Patrini. « Mais nous parlons certainement d’un multiplicateur de ces 100 000. »

Le site Web promotionnel du bot suggère que jusqu’à 700 000 images ont été manipulées par le bot.

Et le bot gagne en popularité. Il y a un an, environ 1 000 images manipulées par le bot étaient publiées sur les chaînes en un mois. En juillet, ce nombre était passé à au moins 24 168 images, selon Sensity.

Et tandis que la pornographie deepfake s’est longtemps focalisée sur la victimisation d’actrices, de mannequins et d’autres femmes célèbres, 70 % des cibles de ce bot étaient des particuliers, selon une enquête autodéclarée auprès des utilisateurs du bot dans le rapport de Sensity.

Environ 100 000 personnes sont membres de chaînes liées au bot, a découvert Sensity. Ces membres viennent majoritairement de la Russie et des pays de l’ex-URSS, environ 70 % des personnes interrogées. Telegram est utilisé dans le monde entier, mais ses racines se trouvent en Russie, et les liens vers le bot Telegram publiés sur VK, le réseau social dominant en Russie, sont le moyen le plus courant pour les agresseurs de trouver le bot. Telegram et VK ont tous deux été fondés par Pavel Durov, parfois appelé le russe Mark Zuckerberg.

Dans un communiqué, VK a déclaré ne pas tolérer de tels contenus ou liens sur sa plate-forme et bloquer les communautés qui les distribuent.

Abus incités

Le bot est construit avec un modèle commercial « freemium », offrant aux utilisateurs gratuits un niveau de fonctionnalité de base et réservant des fonctionnalités avancées à ceux qui paient. C’est le genre de stratégie conviviale qui a aidé des applications et des jeux légaux et légitimes comme Spotify et Fortnite à devenir des phénomènes mondiaux.

Les agresseurs peuvent utiliser le bot gratuitement en lui envoyant des photos une par une, apparemment jusqu’à cinq par jour. Mais les fonctionnalités « payantes premium » incluent l’envoi de plusieurs photos, le fait de sauter la file des utilisateurs gratuits et la suppression des filigranes des images pornographiques qu’ils reçoivent en retour.

Mais la stratégie commerciale du bot est également ambitieuse, inspirée des stratégies du jeu et des tropes promotionnels classiques.

Dans un tour de jeu, les fonctionnalités premium sont payées avec des « pièces » virtuelles. Ces pièces peuvent être achetées à bas prix avec de vraies devises, et les loteries semblent en distribuer gratuitement. Ils peuvent également être gagnés, en tant que récompenses.

L’un des comportements récompensés est le recrutement de nouveaux utilisateurs. Et parce que l’application dit que ses pièces virtuelles peuvent être remboursées en roubles, elle crée effectivement un système qui verse de l’argent aux agresseurs dans une devise émise par le gouvernement pour faire venir de nouveaux agresseurs.

Heureusement, les paiements sont vraisemblablement maigres : la valeur des pièces du bot est bon marché, environ cinq cents chacune.

Le concepteur du bot a également adopté des tactiques promotionnelles classiques. Vous pouvez obtenir une remise plus importante sur les pièces avec le plus d’entre elles que vous achetez. Le bot propose aux nouveaux utilisateurs un spécial « taux pour débutants » unique sur les pièces.

« Cette terrible technologie »

Le bot souligne également comment une fixation sur les deepfakes électoraux passe à côté des dommages plus importants causés par les pornographiques, qui sont des victimes beaucoup plus courantes et déjà dévastatrices.

« Une grande partie de l’accent mis sur les deepfakes se situe dans un contexte électoral », a déclaré Gregory. Une préoccupation avec « le deepfake parfait » d’un candidat politique ou d’un leader mondial est le genre de désinformation qui a tendance à alimenter les audiences du Congrès. Mais cela néglige les dommages causés aux personnes ordinaires, à une échelle plus grande et en augmentation rapide, où même un deepfake de mauvaise qualité est toujours profondément nocif.

« Nous savons que des images non consensuelles sont utilisées contre des gens ordinaires, contre des journalistes (…) et pour cibler des militants civiques », a déclaré Gregory.

Même avec un bot comme celui-ci fonctionnant depuis des mois, Witness n’a pas encore observé d’explosion de ce genre de harcèlement. « Ce qui est une bonne chose », a ajouté Gregory. « Cela ne veut pas dire que nous ne devons pas être extrêmement vigilants. »

Mais même la vigilance est peu susceptible d’aboutir à la justice pour les victimes, a déclaré Franks, qui a souligné un échec historique de nos systèmes juridiques à lutter contre les images sexuelles militarisées il y a des années.

« Nous ne serions pas dans cette position, où nous avons une technologie capable de diffuser ce type de contenu malveillant à une telle échelle … si nous faisions attention auparavant. Nous devons faire mieux maintenant », a-t-elle déclaré. « S’il y a du bon à venir de cette terrible technologie, c’est que les gens peuvent prendre cela plus au sérieux. »