Slike djece nastale umjetnom inteligencijom privlače predatore na TikToku i Instagramu

AI slike djece na TikToku i Instagramu postaju magnet za seksualne predatore kojima su meta maloljetnici. Međutim, kada je taj sadržaj legalan i prikazuje lažne osobe, on pada u kaotičnu, problematičnu sivu zonu.

Upozorenje redakcije: Ovaj članak sadrži razgovore o uznemirujućem sadržaju na društvenim mrežama.

Djevojčice na fotografijama na TikToku i Instagramu izgledaju kao da imaju pet ili šest godina, a najstarije od njih niti 13.

Prikazane su u odjeći od kože ili čipke, u bikinijima ili kratkim majicama. Neke su odjevene sugestivno, u medicinske sestre, superjunakinje, balerine ili francuske sobarice. Ponekad na glavi imaju trake sa zečjim ušima ili đavoljim rogovima, a ponekad prevelike naočale i pletenice. Ima crnkinja, bjelkinja i azijatkinja, plavuša, brineta i crvenokosih. Sve one imaju jednu stvar zajedničku: nastale su korištenjem umjetne inteligencije i postale su magneti pozornosti problematične publike na nekim od najvećih svjetskih društvenih platformi – starijih muškaraca.

“AI stvara velika umjetnčka djela: rado bih u svojim rukama imao ovakvu lijepu malu djevicu,” komentirao je jedan korisnik TikToka nedavno objavljenu sliku plavokosih djevojčica u odorama služavki, s vrpcama oko vrata i cvijećem u kosi.

“Ako je ovo AI, je li loše od mene da kažem da je ludo zgodna?” napisao je drugi ispod galerije slika djevojčica odjevenih u kostime Spider-Mana. “Nije stvarna, ali ja imam odličnu maštu.”

“Ne bi trebalo biti loše u bilo kojem slučaju,” odgovorio mu je treći, korisničkog imena “p3do”.

“Ne možeš ju zlostavljati jer je to AI slika,” napisao je četvrti.

Zastrašujući komentari pedofila

Slični komentari preplavljuju slike AI djece i na Instagramu. “Rado bih joj uzeo nevinost, čak i ako je lažna slika,” napisao je jedan korisnik ispod objave malene, blijede djevojčice odjevene u mladenku. Ispod druge, koja prikazuje djevojčicu u kratkim hlačicama, taj isti korisnik komentirao je “njen slatki par malenih” i potom dodao dva emojija jabuke “i savršeni komadić pite od višanja dolje.” Ispod slike druge AI djevojčice, netko imena “Gary” je napisao: “Krasni mali pupoljci. Kada naraste, bit će to prave lubenice.”

Forbes je na TikToku i Instagramu samo 2024. godine otkrio stotine i stotine sličnih objava i komentara. U mnogim objavama, fotografijama je bila dodana glazba – hitovi od Beyonce, Taylor Swift ili Tracy Chapman – kako bi dosegli više pregleda.

Predatori su se proširili gotovo svim društvenim mrežama – gdje se mogu sakriti iza ekrana i anonimnih korisničkih imena – no popularnost Instagrama i TikToka među tinejdžerima i maloljetnicima učinila je te dvije platforme prvim izborom. Iako se platforme protiv materijala koji prikazuje seksualno nasilje nad djecom (CSAM) bore već godinama, davno prije adventa umjetne inteligencije, ova nova tehnologija još dodatno olakšava predatorima pronaći ili stvoriti točno ono što traže.

Količina materijala nastalog AI-jem, a koji prikazuje seksualno nasilje nad djecom, eksplodirala je na društvenim mrežama. Taj materijal ilegalan je čak i ako je lažan, ali slike koje su otkrivene tijekom istrage za ovu priču padaju u sivu zonu. One nisu eksplicitne, ali su seksualizirane. Prikazuju maloljetnike, ali ne stvarne. Čini se kako su legalne, ali komentari ispod njih sugeriraju opasne namjere. Stručnjaci za forenziku i sigurnost djece opisuju ih kao portale u mračnije i potencijalno kriminalne aktivnosti. To sve otvara pitanja za tehnološke tvrtke i policiju kako eliminirati sugestivne, lažne slike djece koja ne postoje, ali i – u slučaju da nisu eksplicitne i legalne su – treba li se uopće baviti time.

Tehnološke kompanije po američkim zakonima moraju prijaviti sumnju na CSAM i seksualno iskorištavanje djece na njihovim platformama Nacionalnom centru za nestalu i iskorištavanu djecu, neprofitnoj udruzi koja informacije o takvim ilegalnim aktivnostima prosljeđuje policiji. Ipak, zakon ih ne obvezuje da označuju ili uklanjanju slike poput onih opisanih u ovoj priči. Ipak, iz Nacionalnog centra za Forbes kažu kako vjeruju da bi društvene platforme takve slike trebale uklanjati, čak i ako su one, strogo gledano, legalne.

Sav ovaj sadržaj “nastaje nakon obuke temeljem slika stvarne djece, slične AI verzijama ili ne, i Centar zbilja ne vidi kako može postojati argument da postoji svijet gdje je ovako nešto u redu,” kaže Fallon McNulty, direktorica CyberTiplinea, ogranka centra za prijavljivanje za tech kompanije. Nedavna studija Stanford Internet Observatoryja otkrila je kako se jedan od najpopularnijih alata za generativnu umjetnu itneligenciju koji tekst pretvara u slike, Stable Diffusion 1.5, obučavao na materijalu koji prikazuje stvarno seksualno nasilje nad stvarnom djecom, pronađenim posvuda na internetu.

“Pogotovo ako se uzmu u obzir komentari koje privlače ove slike, ta publika koja pregledava te slike ne izgleda nevino,” dodaje McNulty. “Nadam se da ću vidjeti da uklanjaju taj sadržaj i ne stvaraju na svojim platformama prostor gdje pojedinci mogu seksualizirati djecu.”

TikTok i Instagram trajno su uklonili račune, videozapise i komentare koji se spominju u ovoj priči nakon što im je Forbes o njima poslao upite. Obje platforme kažu kako je takav sadržaj prekršio njihova pravila.

“TikTok ima stroge politike protiv AI-generiranog sadržaja koji prikazuje maloljetnike jer želimo zaštititi mlade i TikTok učiniti negostoljubivim za ponašanje kojim im se želi naštetiti,” kaže glasnogovornik TikToka Jamie Favazza. Pravila tvrtke, uvedena prije više od godinu dana i ažurirana u petak, brane takav sadržaj ako se u njemu nalazi itko tko nalikuje maloljetnim osobama, a TikTok uklanja objave koje krše ta pravila, bez obzira na to je li sadržaj uređen korištenjem umjetne inteligencije.

Glasnogovornica tvrtke Meta, matične kompanije Instagrama, Sophie Vogel kaže kako tvrtka ne dopušta i uklanja stvarni i AI materijal koji seksualizira ili iskorištava djecu. U slučajevima gdje taj sadržaj djeluje benigno svejedno se uklanjaju računi, profili ili Stranice za dijeljenje slika djece ili komentiranje njihovog izgleda, kaže Vogel. I TikTok i Meta CSAM sadržaj nastao umjetnom inteligencijom prijavljuju Nacionalnom centru.

‘Vrata’ prema ilegalnom sadržaju

Jedan popularni kreator AI slika djece imao je oko 80.000 pratitelja na TikToku i Instagramu. Taj broj se penjao po stopi od tisuću dok je Forbes pisao priču. U opisu profila, napisanom na mandarinskom jeziku, piše: “Žena sa štapićima za jelo”. Forbes nije uspio otkriti tko je vlasnik računa, ali najviralnije objave pregledane su gotovo pola milijuna puta, spremljene ili podijeljene tisućama puta, a privukle su na stotine komentara.

Mnogi pratitelji, zaključuje se po profilnim slikama, imenima ili nadimcima, opisima ili komentarima, stariji su muškarci.

Stručnjakinja za digitalnu forenziku Heather Mahalik Marnhart kaže kako po njenom dosadašnjem iskustvu rada na ovakvim slučajevima, pratitelji često ostavljaju jasne znakove koje istražitelje mogu uputiti na potencijalne predatore. “Erotika s djecom su vrata,” kaže ona za Forbes, “i kada pogledate tko se tuda kreće, to nije nešto što je normalno.”

Takve vrste računa također mogu više učiniti pri razotkrivanju potencijalnih prijestupnika jer su otvoreniji. “Ljudi se osjećaju sigurnije jer se tu ne radi o potpuno razgolićenoj djeci, prema tome to nije CSAM,” objašnjava Mahalik koja za softversku kompaniju Cellebrite surađuje s američkim Nacionalnim centrom i policijom s ciljem korištenja tehnologije u istragama slučajeva iskorištavanja djece. Naglašava kako je ključno da policija pobliže istraži tko prati takve račune i potraži uzorak ponašanja.

TikTok račun je podijelio videotutorial koji pratiteljima objašnjava kako generirati i usavršiti vlastite fotografije mladih djevojčica, sve do posljednjeg detalja.

“Iako sam mnogo stariji od tebe, čim sam ti vidio oči, zaljubio sam se,” kaže jedan komentator na TikTok računu, koji prati i druge profile s još sugestivnijim slikama djece. Još jedan česti komentator, koji je ostavljao komentare poput “jako raširi”, upravljao je računom prepunim objavama stvarnih djevojčica koje se rastežu u trikoima.

Neki komentatori na TikTok i Instagram objavama profila “Žene sa štapićima za jelo” pitali su koji model je upotrijebljen za stvaranje AI slika djece, sugerirajući da su i sami zainteresirani za stvaranje novog materijala. “Ova stvar je nevjerojatna, želim pronaći aplikaciju koja može ovo stvoriti,” napisao je jedan muškarac prije tjedan dana ispod Instagram objave lagano odjevene djevojke. U siječnju je taj TikTok račun podijelio trominutni video tutorial koji pratiteljima objašnjava kako generirati i usavršiti i vlastite fotografije mladih djevojčica, sve do posljednjeg detalja.

Drugi komentatori, čini se, nisu znali da su slike lažne; iako je kreator označio neke od objava kao generirane AI-jem, kao što TikTok i zahtijeva, može biti teško golim okom zamijetiti da one nisu stvarne, što i policiji otežava pronaći stvarne žrtve. Meta radi na razvoju alata koji će moći identificirati slike nastale korištenjem alata kao što su OpenAI, Midjourney, Microsoft, Google, Adobe i Shutterstock, a potom će početi označavati AI sadržaj objavljen na Facebooku, Instagramu i Threadsu, kaže glasnogovornica Vogel.

Direktor IT-ja u kanadskom Centru za zaštitu djece, Lloyd Richardson, kaže kako su ove slike, bez obzira na to bile one stvarne ili nastale AI-jem, “vrata” ka ozbiljnijem ili ilegalnom sadržaju, često na drugim platformama, što predstavlja “jasan rizik za sigurnost djece.”

“Pravi problem je to što ova vrsta slika vodi do prilika za upoznavanje među prijestupnicima,” kaže Richardson za Forbes, naglašavajući kako oni često svoje razgovore nastavljaju u privatnim izravnim porukama. “Te slike mogu služiti kao signali za promoviranje linkova koji vode ka CSAM-u na drugim kanalima.”

Galerija djevojčica u svilenim pidžamama, objavljena na TikToku 13. siječnja, pokazuje upravo ovu vrstu ponašanja. “Ovo je meni dobro,” napisao je jedan korisnik u komentarima, a drugi mu je odgovorio: “Upravo sam ti poslao poruku.”

“Upravo zato kompanije ne mogu jednostavno moderirati sadržaj izolirano, samo gledajući u slike,” dodaje Richardson. “Te slike moraju se uzeti u širem kontekstu načina na koji se dijele, gledaju ili prate. To predstavlja veliki izazov jer može zahtijevati kontekstualnu procjenu, a to traži ljudske zaposlenike za moderiranje sadržaja.”

Favazza, glasnogovornik TikToka, kaže kako oni koriste automatizirane procese za označavanje dokaza predatorskog ponašanja.

Moćni algoritam TikToka također olakšava predatorima čija su meta djeca pronaći još takvog sadržaja. Dok je Forbes pisao ovu priču, TikTok je počeo preporučivati dodatne tagove – “ai-generirani dječaci” ili “ai djevojka iz mašte”. TikTokov sažetak novosti Za tebe, koji se korisnicima otvara pri otvaranju aplikacije i koji nudi viralne videozapise koji bi im se, prema TikToku, mogao svidjeti, praktički garantira da će sadržaj doći do velikog broja TikTokovih korisnika, kojih ima milijardu.

McNulty iz američkog Nacionalnog centra kaže kako je jedan od najvećih rizika ove AI djece koja postanu viralna na društvenim medijima – čak i ako same slike nisu ilegalne prirode – to što ljudi mogu postati desentizirani na opasnosti.

“Kao društvo,” kaže ona, “hoćemo li se jednostavno naviknuti na ovakav sadržaj i početi misliti da je to u redu?”

Autor originalnog članka: Alexandra S. Levine, Forbes
Link: ‘I Want That Sweet Baby’: AI-Generated Kids Draw Predators On TikTok And Instagram
(Prevela: Nataša Belančić)