Krajem prosinca 2025. korisnici su alat za izradu slika Grok upotrijebili za izradu golišavih snimaka bez pristanka prikazanih osoba. U nekoliko su tjedana Malezija i Indonezija zabranile alat, Europska komisija pokrenula je istrage, a britanska su tijela upozorila na kazneni progon. O tome je Tomislav Vazdar govorio na Novoj TV 13. siječnja 2026.

Uobičajena je reakcija da su lažne snimke odavno poznate. Ta reakcija promašuje bit.

Problem nije tehnologija nego razmjer

Lažne snimke nisu nove. Promijenila se dostupnost. Kad velika platforma takvu mogućnost ugradi u alat kojim se služe milijuni, put od zamisli do štete gotovo nestaje. Prema europskim regulatorima, u nekoliko su tjedana platformu preplavile tisuće takvih snimaka, među njima i one koje prikazuju maloljetnike.

To nije napredak nego zlouporaba u industrijskim razmjerima.

„Umjetna inteligencija nije izmislila zlostavljanje, ali ga je ubrzala i pojeftinila”, rekao je Vazdar. Kad je alat ugrađen u samu platformu, šteta nastane prije nego što itko stigne reagirati. Jedna javno dostupna fotografija postaje sirovina.

Ranije je izrada takvih snimaka tražila posebno znanje, programe i računalnu snagu. Ta je prepreka ograničavala razmjere. Sada je nestala, pa nije potrebno posebno znanje ni dodatan trošak. Isto sučelje kojim netko izrađuje sliku krajolika izrađuje i ovakav sadržaj.

Time zlouporaba prestaje biti pothvat koji traži namjeru i sposobnost, a postaje trenutačan poriv.

Kako to izgleda

Polazi se od javno dostupne fotografije s društvenih mreža, poslovnog profila ili novinskog članka. Napadač je pošalje alatu uz opis željenog sadržaja. Model zadrži crte lica i druga prepoznatljiva obilježja, a izradi traženi prizor. Nastaje snimka koja prikazuje stvarnu osobu u nečemu u čemu nikad nije sudjelovala.

Kakvoća je pritom presudna. Rani su alati davali očito umjetne rezultate, a današnji izrađuju snimke koje je i uz pomnu provjeru teško razlikovati od pravih.

Raspačavanje ide preko iste platforme, kroz objave, označavanje žrtve i kampanje uznemiravanja ili radi iznude.

Granica je pristanak

Kad se nečija fotografija bez dopuštenja pretvori u seksualiziran sadržaj, to prelazi iz izražavanja u napad na dostojanstvo i sigurnost. „Fotografija nije sirovina za pokuse. Ona je osobni podatak, identitet i biometrijski trag”, rekao je Vazdar.

Maloljetnici i žene pogođeni su nerazmjerno, ali rizik je opći. Posljedice sežu od ucjene i uhođenja do teške duševne štete.

Oznaka na snimci ne sprječava štetu

Uobičajen odgovor tehnoloških tvrtki glasi da će sadržaj označiti kao umjetno izrađen. To nije rješenje. Oznaka ne poništava štetu i ne zaustavlja širenje, jer u trenutku kad se sadržaj označi on već kruži.

Time se zaobilazi teže pitanje: zašto je takav sadržaj uopće tako lako izraditi i podijeliti. To je pitanje odgovornosti u samom nacrtu proizvoda, a ne pitanje izgleda sučelja.

Propisi postoje, ispit je provedba

Europa ima okvir. Akt o digitalnim uslugama traži odgovornost platformi, Opća uredba štiti osobne podatke, a Akt o umjetnoj inteligenciji propisuje označavanje umjetno izrađenog sadržaja u članku 50. stavku 2.

Od izmjena donesenih Uredbom (EU) 2026/1744 okvir ide korak dalje. Novi članak 5. stavak 1. točka (ba) izrijekom zabranjuje sustave umjetne inteligencije za izradu ili preinaku uvjerljivih intimnih ili seksualno eksplicitnih snimaka prepoznatljive osobe bez njezine izričite privole, a točka (bb) zabranjuje izradu materijala seksualnog zlostavljanja djece. Obje se zabrane primjenjuju od 2. prosinca 2026. Nije riječ o prijelaznom razdoblju nego o danu od kojega zabrana vrijedi.

Važno je i to koga zabrana obvezuje. Ne pogađa samo onoga tko snimku izradi. Za dobavljača vrijedi i onda kad je takva izrada razumno predvidljiv i ponovljiv ishod njegova sustava bez veće tehničke preinake, a sustav nema odgovarajuće zaštitne mjere. Drugim riječima, ugraditi mogućnost pa računati na naknadno čišćenje više neće biti održivo.

U Hrvatskoj je uz to izmjenama Kaznenog zakona (NN 136/25) uvedeno novo kazneno djelo u članku 215.a, dovođenje u opasnost života i imovine sustavom umjetne inteligencije, za koje je zapriječena kazna od šest mjeseci do pet godina zatvora. Više o tome kako se ti propisi slažu stoji na našoj stranici o Aktu o umjetnoj inteligenciji.

Propisi, dakle, postoje. Otvoreno je pitanje brzine provedbe. Indonezija je pri zabrani takve snimke nazvala teškom povredom ljudskih prava, Malezija je zaključila da platforma nije obuzdala rizike koje sama stvara, a britanska su tijela upozorila da izrađivačima prijeti kazneni progon.

Sigurnost u nacrtu, ne čišćenje poslije

Ne trpimo financijski sustav koji povremeno omogući prijevaru. Ne bismo trebali trpjeti ni platformu koja povremeno omogući seksualnu zlouporabu tuđeg identiteta.

Mjerilo je sigurnost ugrađena u nacrt, dakle zaštita postavljena prije objave alata, a ne nadzor nakon što se šteta proširi. U praksi to znači četiri stvari.

• Provjera ulaza. Model se može naučiti da odbije izraditi seksualan sadržaj iz fotografije na kojoj je ljudsko lice. To nije zamisao nego postojeća praksa drugih platformi.
• Provjera izlaza. Čak i ako sadržaj nastane, objava se može zaustaviti prepoznavanjem takvog sadržaja prije nego što ode u javnost.
• Odgovornost korisnika. Zlouporaba živi od anonimnosti. Traži li se potvrđen identitet za takve mogućnosti, između radnje i osobe ostaje trag.
• Ograničenje količine. Industrijski razmjer traži količinu. Ograničenje broja izrađenih slika po korisniku ne zaustavlja upornog napadača, ali uklanja usputnu zlouporabu.

Nijedna od tih mjera nije savršena i uporan će ih napadač zaobići. Cilj i nije potpuno sprječavanje nego dovoljan otpor da zlouporaba ostane pothvat, a ne nekoliko klikova. Čim traži trud, razmjer se ruši.

Obrazac koji se ponavlja

Slučaj Groka nije usamljen. Ponavlja se poznat obrazac: objavi se moćna mogućnost, previdi se predvidiva zlouporaba, a reagira se tek kad javnost prisili na reakciju.

Isto se dogodilo s prepoznavanjem lica, uvedenim bez okvira za privolu, i s algoritamskim širenjem neistina, za koje su platforme tvrdile da ga ne mogu obuzdati sve dok propis nije zatražio uvid.

Taj obrazac pada kad mogućnost izravno šteti pojedincu. Prijevara, utjecaj na izbore i zlouporaba identiteta ne mogu se ukloniti naknadnim brisanjem, jer šteta traje dugo nakon što sadržaj nestane. Nadzor se uz to oslanja na otkrivanje: žrtva mora sama pronaći sadržaj, prijaviti ga i čekati odgovor, a u tom se razmaku snimke šire i skupljaju se preslike zaslona.

Tehnologija nije neutralna kad je šteta predvidiva

Ako unaprijed znamo da će alat biti zlouporabljen, odgovornost je spriječiti to prije nego što zlouporaba postane uobičajena.

Ovo je ispit digitalnog povjerenja. Prihvatimo li da se nečije tijelo može urediti bez pristanka, meta može postati svatko. Pitanje nije može li umjetna inteligencija izraditi takav sadržaj, nego hoće li platforme takvu mogućnost i dalje smatrati svojstvom, umjesto nedostatkom koji treba ukloniti.

Kako se ta pitanja postavljaju unutar organizacije i tko za njih odgovara, opisali smo na stranici o upravljanju umjetnom inteligencijom.

Riskoria Advising & Professional Services savjetodavna je tvrtka za kibernetičku sigurnost i umjetnu inteligenciju koja organizacijama pomaže snaći se u današnjem digitalnom okruženju. Za upite pišite na info@riskoria.eu.