Des chercheurs ont découvert un « écosystème deepfake » sur l’application de messagerie Telegram centré sur des robots qui génèrent de faux nus sur demande. Les utilisateurs qui interagissent avec ces robots disent qu’ils créent principalement des nus de femmes qu’ils connaissent à l’aide d’images tirées des réseaux sociaux, qu’ils partagent et échangent ensuite sur divers canaux Telegram.
L’enquête vient de la société de sécurité Sensity, qui se concentre sur ce qu’elle appelle le « regard visuel sur les menaces », en particulier la propagation des deepfakes. Les chercheurs de Sensity ont découvert que plus de 100 000 images ont été générées et partagées sur les chaînes Telegram publiques jusqu’en juillet 2020 (ce qui signifie que le nombre total d’images générées, y compris celles jamais partagées et celles créées depuis juillet, est beaucoup plus élevé). La plupart des utilisateurs de ces chaînes, environ 70 pour cent, viennent de Russie et des pays voisins, explique Sensity. Le bord a pu confirmer que de nombreux canaux étudiés par la société sont toujours actifs.
Les robots sont libres d’utilisation, mais ils génèrent de faux nus avec des filigranes ou seulement une nudité partielle. Les utilisateurs peuvent alors payer des frais égaux à quelques centimes pour « découvrir » complètement les images. Un « tarif pour débutants » facture aux utilisateurs 100 roubles (environ 1,28 $) pour générer 100 faux nus sans filigrane sur une période de sept jours. Sensity dit qu' »un nombre limité » des images générées par les robots présentent des cibles « qui semblaient être mineures ».
Les deux Le bord et Sensity ont contacté Telegram pour lui demander pourquoi ils autorisent ce contenu sur leur application mais n’ont pas encore reçu de réponses. Sensity dit qu’il a également contacté les autorités chargées de l’application des lois.
Le logiciel utilisé pour générer ces images est connu sous le nom de DeepNude. Il est apparu pour la première fois sur le Web en juin dernier, mais son créateur a fermé son site Web quelques heures après avoir reçu une couverture médiatique grand public, affirmant que « la probabilité que les gens l’utilisent à mauvais escient est trop élevée ». Cependant, le logiciel a continué à se répandre sur les backchannels, et Sensity dit que DeepNude « a depuis été rétro-conçu et peut être trouvé sous des formes améliorées sur des référentiels open source et des sites Web de torrents ». Il est maintenant utilisé pour alimenter les robots Telegram, qui gèrent automatiquement les paiements pour générer des revenus pour leurs créateurs.
DeepNude utilise une technique d’IA connue sous le nom de réseaux contradictoires génératifs, ou GAN, pour générer de faux nus, avec des images résultantes de qualité variable. La plupart sont évidemment faux, avec de la chair maculée ou pixelisée, mais certaines peuvent facilement être confondues avec de vraies images.
Depuis avant l’arrivée de Photoshop, les gens ont créé de faux nus de femmes non consensuels. Il existe actuellement de nombreux forums et sites Web dédiés à cette activité utilisant des outils non IA, les utilisateurs partageant des nus de célébrités et de personnes qu’ils connaissent. Mais les deepfakes ont conduit à la génération plus rapide d’images plus réalistes. Désormais, l’automatisation de ce processus via les robots Telegram rend la génération de faux nus aussi simple que l’envoi et la réception d’images.
« La principale différence est l’accessibilité de cette technologie », a déclaré Giorgio Patrini, PDG de Sensity et co-auteur du rapport. Le bord. « Il est important de noter que d’autres versions du noyau d’IA de ce bot, le traitement et la synthèse d’images, sont disponibles gratuitement sur les référentiels de code en ligne. Mais vous devez être un programmeur et avoir une certaine compréhension de la vision par ordinateur pour les faire fonctionner, autre que du matériel puissant. Pour le moment, tout cela n’a pas d’importance car il est pris en charge par le bot intégré dans une application de messagerie.
Le rapport de Sensity indique qu’il est « raisonnable de supposer » que la plupart des personnes utilisant ces robots « sont principalement intéressées par la consommation de pornographie deepfake » (qui reste une catégorie populaire sur des sites pornographiques). Mais ces images et vidéos peuvent également être utilisées à des fins d’extorsion, de chantage, de harcèlement, etc. Il y a eu un certain nombre de documenté cas des femmes ciblées à l’aide de nus générés par l’IA, et il est possible que certaines de celles qui créent des nus à l’aide des robots de Telegram le fassent avec ces motifs à l’esprit.
Patrini a dit Le bord que les chercheurs de Sensity n’avaient pas vu de preuves directes de l’utilisation des créations du bot à ces fins, mais ont déclaré que la société pensait que cela se produisait. Il a ajouté que si la menace politique des deepfakes avait été « mal calculée » (« du point de vue des auteurs, il est plus facile et moins coûteux de recourir au photoshop d’images et d’obtenir un impact similaire pour diffuser de la désinformation, avec moins d’effort »), il est Il est clair que la technologie constitue «une menace en série pour la réputation et la sécurité personnelles».
