Do zespołu Dyżunet.pl trafia coraz więcej zgłoszeń, które dotyczą materiałów przedstawiających seksualne wykorzystywanie dzieci (CSAM) oraz materiałów seksualizujących i pornograficznych, które miał wytworzyć Grok (chatbot oparty na sztucznej inteligencji, stworzony przez firmę xAI Elona Muska). To alarmujące zjawisko, bo tworzenie oraz stosowanie generatorów fałszywej nagości, budzi wątpliwości co do legalności, etyczności i moralności. Natomiast w przypadku generowania materiałów z udziałem osób niepełnoletnich jawnie stoi to w sprzeczności z prawem i etyką.
Po tym, jak w sieci pojawiła się informacja o tym, że Grok pozwala na „rozbieranie” osób, znajdujących się na zdjęciach, na platformie X opublikowano oświadczenie, że “każda osoba, która korzysta z Groka lub nakłania go do tworzenia nielegalnych treści, poniesie takie same konsekwencje, jak w przypadku samodzielnego przesyłania nielegalnych materiałów”.
Po kontrowersjach i słowach krytyki, które napływały z całego świata, firma xAI wydała oficjalne oświadczenie, że zostały wprowadzone “środki technologiczne, aby uniemożliwić edytowanie obrazów prawdziwych osób w odsłaniającej odzieży, takiej jak bikini, bieliźnie lub podobnym stroju za pomocą konta Grok oraz w Grok na platformie X w jurysdykcjach, w których jest to nielegalne”. Firma dodała też, że funkcja tworzenia obrazów i ich edytowanie są od teraz możliwe tylko dla kont płatnych, co ma zapewnić dodatkową warstwę ochrony.
Generatory fałszywej nagości są znane od kilku lat. Służą one do:
Zespoły z całego świata, które na co dzień reagują na nielegalne treści w internecie, w tym Dyżurnet.pl, co roku odnotowują wzrost liczby materiałów przedstawiających seksualne wykorzystywanie dzieci wygenerowanych przez AI. Za pomocą dostępnych narzędzi sprawcy otrzymują niczym nieblokowaną możliwość wytwarzania CSAM (child sexual abuse material) oraz CSEM (child sexual exploitation material). Wytworzone materiały często są bardzo realistyczne, do tego stopnia, że trudno określić czy treść jest wygenerowana czy prawdziwa.
Ze zgłoszeń przekazanych do Zespołu Dyżurnet.pl wynika, że sprawcy, korzystając z łatwo dostępnych narzędzi, wytwarzają również seksualne oraz pornograficzne materiały przedstawiające osobę im znaną. Treści te służą do szantażu lub mają na celu zdyskredytowanie czy ośmieszenie osoby przedstawionej na materiale.
Możliwość generowania materiałów nielegalnych lub naruszających godność innych osób oraz brak odpowiednich zabezpieczeń i kontroli na znanej i dużej platformie społecznościowych budzi słuszny sprzeciw. Braki w systemach kontrolujących narzędzie oraz systemach prawnych, które zdają się nie nadążać za technologią otwierają drogę do szerokiego pasma nadużyć. Opisany przykład wskazuje na konieczność wypracowania stosownych regulacji prawnych normujących zakres bezpieczeństwa, etyki i odpowiedzialności twórców narzędzi AI.
