Atrioc, de son vrai nom Brandon Ewing, est de retour sur Twitch. Il avait pris une pause d’environ un mois et demi de la plate-forme de streaming après avoir partagé par inadvertance les onglets de son navigateur Chrome sur un flux en direct et révélé qu’il avait visité un site Web qui vendait des deepfakes explicites et non consensuels – en particulier ceux dans lesquels d’autres streamers ‘ des ressemblances ont été éditées sur les corps des stars du porno.
Des captures d’écran du site Web ont été largement diffusées par ceux qui avaient regardé le flux en direct d’Ewing. Et les streamers dont les ressemblances sont apparues sur le site Web deepfake, notamment QTCinderella, Maya Higa, Sweet Anita et Pokimane – dont certains sont amis avec Ewing – ont dû faire face aux retombées. Au cours des semaines suivantes, les femmes touchées ont été harcelées, alors que des images explicites de leur ressemblance circulaient sur Internet.
Mardi dernier, Ewing est allé sur un stream pour faire le point sur les « actions » qu’il a prises à la suite de son scandale deepfake. Le flux a connu d’importantes perturbations techniques qui l’ont fait s’interrompre pendant qu’Ewing parlait. Il a dit qu’il travaillait avec « des journalistes, des technologues, des chercheurs, des femmes concernées, Twitch eux-mêmes – j’essaie de travailler avec tout le monde que je peux. »
Ewing s’est également excusé pour sa première vidéo d’excuses en larmes qu’il avait publiée le 30 janvier et qui a depuis été supprimée de son compte. Dans cette première vidéo d’excuses, il a affirmé qu’il avait navigué sur le site Web après avoir cliqué sur une publicité PornHub par « curiosité morbide ». Le 31 janvier, Ewing avait également partagé une déclaration sur Twitter via TwitLonger dans laquelle il s’excusait auprès de Maya et Pokimane, et déclarait qu’il travaillait avec QTCinderella et le cabinet d’avocats Morrison Rothman pour supprimer le site Web deepfake. (Le site Web a depuis été nettoyé des deepfakes, a rapporté Vice en janvier.)
Pendant le stream, Ewing a déclaré qu’il avait viré 60 000 $ à Morrison Rothman, le cabinet d’avocats que QTCinderella a recommandé aux femmes touchées par le scandale des deepfakes. Contacté pour commentaires, un associé fondateur du cabinet d’avocats, Ryan Morrison, a envoyé à Polygon ce qui suit par e-mail :
Je ne peux pas confirmer qui l’a utilisé ni combien (privilège avocat/client), mais je peux certainement confirmer qu’Atrioc a envoyé un acompte de 60 000 à utiliser exclusivement pour les femmes touchées par des contrefaçons profondes et des problèmes similaires, et cela dure * longtemps * manière avec nos tarifs pour de tels services. Les acomptes sont conservés et retirés uniquement s’ils sont utilisés ou si une facture est générée et tout ce qui reste à la fin de l’affaire est retourné au client. Ici, comme il s’agit d’une affaire en cours, il continuera très probablement à être utilisé et à aider avec les protections que nous pouvons offrir aux personnes concernées.
Au cours de ses recherches sur les deepfakes, Ewing a déclaré qu’il avait appris que les créateurs d’OnlyFans avaient fait des progrès dans la lutte contre le deepfake porn. Il a découvert qu’une société appelée Ceartas – qui utilise l’intelligence artificielle pour signaler les apparitions de ressemblances de créateurs et déposer des rapports DMCA – était l’un des partenaires de sécurité d’OnlyFans, comme indiqué dans le rapport de transparence 2023 du site.
Un représentant de Ceartas a déclaré à JeuxServer par e-mail que l’entreprise avait été conçue pour « lutter spécifiquement contre la pornographie deepfake, la pornographie de vengeance et les abus sexuels basés sur l’image ». Ils ont confirmé qu’Ewing avait travaillé avec eux, en disant: « Brandon nous a contacté il y a quelques semaines pour obtenir de l’aide après avoir été mécontent du travail effectué par un cabinet d’avocats. Nous avons fourni un essai au nom des créateurs qu’il a mentionnés dans son flux. Cela est maintenant passé de l’essai au service.
Le représentant a également répondu à certaines des affirmations d’Ewing concernant le modèle d’IA de l’entreprise :
En ce qui concerne la déclaration dans le flux sur le fait de ne pas avoir suffisamment de créateurs pour notre modèle d’IA, je pense que Brandon voulait peut-être dire spécifiquement en termes de streamers Twitch. Nous avons un peu moins de 500 clients dans plusieurs secteurs verticaux (OnlyFans, Instagram, Patreon, YouTube, etc.), mais pas autant de créateurs de type Twitch confrontés à des problèmes de deepfake (étant donné que beaucoup d’entre eux ne font aucun contenu NSFW). Cependant, nous avons des tonnes de données avec lesquelles nos outils d’IA peuvent travailler – bien sûr, plus de données sur les cas extrêmes sont les bienvenues.
Ewing a également déclaré avoir reçu l’aide d’une personne improbable : Maya Higa, l’une des femmes touchées par le scandale du deepfake, aurait répondu à ses excuses et demandé de travailler avec elle. Ewing a déclaré qu’ils avaient utilisé Ceartas et qu’en 12 heures, ils auraient été en mesure de supprimer 512 éléments de Google (Ewing n’a pas précisé exactement ce qui avait été supprimé). Il a comparé ce nombre aux 51 démontages que Morrison Rothman aurait émis en février.
Ewing a déclaré qu’à la suite de ces résultats positifs, QTCinderella a également utilisé Ceartas pour supprimer un certain nombre de deepfakes. Il a également déclaré qu’Amouranth l’avait contacté et lui avait demandé de l’aider à « faire retirer des choses ».
JeuxServer a contacté les représentants de QTCinderella, Pokimane, Amouranth et Maya Higa pour commentaires, et mettra à jour l’histoire lorsque nous recevrons une réponse.
Il est incroyablement difficile d’empêcher la création d’images deepfake, ainsi que de les supprimer d’Internet. Alors que la technologie qui peut être utilisée pour les créer ne fait que devenir plus sophistiquée – avec l’IA générative, en particulier, ce qui la rend plus facile que jamais – le potentiel d’abus et de harcèlement continue également de croître. Et bien que des lois ciblant spécifiquement la pornographie deepfake existent en Californie et en Virginie, de telles protections n’existent pas au niveau fédéral et sont notoirement difficiles à appliquer.
Depuis le livestream d’Atrioc en janvier, le barrage de harcèlement a été sans fin pour les femmes ciblées par ces deepfakes. En janvier, QTCinderella a été mis en service pour répondre à l’incident. « J’emmerde ce putain d’internet. Au diable l’exploitation et l’objectivation constantes des femmes – c’est épuisant », a-t-elle déclaré. « Voilà à quoi ça ressemble. Voilà à quoi ressemble la douleur. Dans les mois qui ont suivi, elle a quand même organisé les Streamer Awards et a déclaré à JeuxServer dans une récente interview : « Je pense que n’importe quelle femme de l’industrie peut attester qu’il ne s’agit que d’une bataille ascendante. »
La vidéo d’excuses d’Ewing n’a fait qu’amplifier la situation; en janvier, La douce Anita a tweeté que sa vidéo d’excuses était la façon dont elle avait découvert que des deepfakes explicites d’elle étaient sur un site Web. En février, Kotaku a rapporté en détail comment les retombées l’avaient affectée. «Ils veulent te voir comme une pute, quoi que tu fasses. Et ils veulent te détester parce que tu es une pute. Peu importe que vous participiez, ils vous y feront participer », a déclaré Sweet Anita à Kotaku.
Dans les mois qui ont suivi l’incident, un certain nombre de publicités pour des applications permettant aux utilisateurs de créer des deepfakes, notamment celui-ci, avec une personne qui a été modifiée ressembler à Emma Watson – a également commencé à se répandre sur Facebook.
Il a fallu plus d’un mois à Twitch pour répondre à ces événements. Le 7 mars, Twitch a finalement mis à jour certaines de ses politiques concernant les images d’exploitation non consensuelles (NCEI). La société a mis à jour le libellé de sa politique sur la violence et l’exploitation sexuelles des adultes pour « indiquer plus clairement que la promotion, la création ou le partage intentionnels de NCEI synthétiques peuvent entraîner une suspension indéfinie ». La politique sur la nudité adulte a également été mise à jour pour inclure le NCEI. La société a consulté la UK Revenge Porn Helpline et Danielle Keats Citron, vice-présidente de la Cyber Civil Rights Initiative.
