Sempat Diblokir di Indonesia, AI Grok Kini Digugat Terkait Foto Seksual Anak

katadata.co.id
2 jam lalu
Cover Berita

Perusahaan kecerdasan buatan milik Elon Musk, xAI, menghadapi gugatan di Amerika Serikat, karena chatbot Grok menghasilkan gambar pornografi yang melibatkan anak di bawah umur.

Mengutip Techcrunch pada Senin (16/3), tiga penggugat anonim mengajukan gugatan ke Pengadilan Distrik AS untuk Distrik Utara California. Mereka menilai xAI lalai karena tidak menerapkan perlindungan dasar yang lazim digunakan oleh pengembang AI lain untuk mencegah pembuatan konten pornografi dari foto orang asli, terutama yang masih di bawah umur.

Para penggugat yang diidentifikasi sebagai Jane Doe 1, Jane Doe 2, dan Jane Doe 3 berencana mengajukan gugatan class action. Artinya, gugatan ini berpotensi mewakili lebih banyak korban yang foto masa kecil atau remajanya diduga dimanipulasi oleh AI menjadi konten seksi.

Salah satu penggugat, Jane Doe 1 menemukan bahwa foto dirinya dari acara reuni sekolah menengah dan buku tahunan diubah oleh Grok menjadi gambar tanpa busana. Ia mengetahui hal itu setelah seseorang anonim menghubunginya melalui Instagram dan mengirim tautan server Discord yang menampilkan gambar tersebut.

Di server tersebut, tidak hanya dirinya yang menjadi korban. Foto beberapa anak di bawah umur lain yang ia kenal di sekolah juga disebut telah dimanipulasi menjadi konten seksi.

Kasus serupa juga dialami Jane Doe 2 dan Jane Doe 3. Keduanya mengetahui keberadaan gambar seksi tersebut dari penyelidik kriminal.

Dalam salah satu kasus, gambar tersebut ditemukan di aplikasi pihak ketiga yang menggunakan model Grok. Sementara dalam kasus lainnya, gambar hasil manipulasi ditemukan di ponsel seorang tersangka yang sedang mencari aparat.

Pengacara para korban berpendapat bahwa meskipun digunakan melalui aplikasi pihak ketiga, teknologi tersebut tetap bergantung pada kode dan server xAI, sehingga perusahaan tetap harus bertanggung jawab.

Gugatan tersebut juga menyoroti bahwa generator gambar AI lain umumnya menggunakan berbagai teknik pengamanan untuk mencegah pembuatan anak pornografi dari foto biasa. Namun, menurut para penggugat, standar tersebut tidak diterapkan oleh xAI.

Mereka juga menyinggung promosi publik Elon Musk yang menonjolkan kemampuan Grok untuk membuat gambar seksi atau memodifikasi foto orang asli dengan pakaian minim, yang mengukur peningkatan risiko mencakup teknologi.

Melalui gugatan ini, mereka menuntut sanksi perdata berdasarkan berbagai undang-undang di Amerika Serikat yang dirancang untuk melindungi anak-anak dari eksploitasi serta mencegah kejahatan perusahaan teknologi.

Hingga saat ini, pihak xAI belum memberikan tanggapan resmi terkait gugatan tersebut.

Grok Sempat Diblokir di Indonesia Terkait Foto Pornografi

AI Grok juga sempat viral di Indonesia, karena digunakan untuk mengedit foto perempuan menjadi tidak berbusana dan tanpa persetujuan pemilik foto, Ally disebar di media sosial atau medsos.

Praktik itu menuai kecaman warganet dan memicu kembalinya isu etika AI, perlindungan korban, serta kekerasan berbasis gender online atau KBGO.

Sejumlah tangkapan layar yang tersebar menampilkan pengguna meminta Grok mengubah foto perempuan, dari kondisi berpakaian sopan menjadi seolah-olah mengenakan pakaian minim.

Anggota grup idola JKT48 yaitu Freya Jayawardana pun melapor ke Polres Metro Jakarta Selatan, setelah menemukan foto dirinya dimanipulasi menggunakan AI milik xAI Elon Musk itu menjadi gambar tidak senonoh.

Dalam proses penyelidikan, polisi sempat berencana memanggil Freya untuk dimintai klarifikasi sebagai pelapor. Namun jadwal pemanggilan tersebut kemudian ditunda.

“Ada tertunda,” kata Kepala Satuan Reserse Kriminal (Kasat Reskrim) Polres Metro Jakarta Selatan AKBP Mohamad Iskandarsyah kepada wartawan di Jakarta, dikutip dari Antara, Kamis (12/3).

Salah satu pengguna X, @nd**, menyoroti tren penggunaan AI Grok untuk mengubah foto perempuan menjadi tidak senonoh. "Belakangan ini aku melihat orang-orang meminta AI Grok mengedit foto perempuan seperti ini (menjadi mengenakan bikini). Kalau ini membuat pemilik foto tidak nyaman, ini sudah masuk kekerasan berbasis gender yang difasilitasi teknologi alias KBGO," tulis dia pada Desember (30/12/2025).

Pengguna lain, @@shylver**** juga mengunggah tangkapan layar yang menampilkan foto perempuan berhijab, diedit menjadi tidak berhijab.

Imbas kasus itu, Kementerian Komunikasi dan Digital (Komdigi) sempat memblokir Grok. Akses dibuka kembali pada awal Februari 2026, dengan sejumlah persyaratan dan pengawasan ketat.

Dibukanya blokir setelah X Corp, selaku pemilik kecerdasan buatan itu, menyatakan komitmen untuk melakukan perbaikan layanan serta mematuhi ketentuan hukum yang berlaku di Indonesia.


Artikel Asli

Lanjut baca:

thumb
Pramono: Jakarta Terbuka Bagi Siapa Saja, Tapi Tak Semua Orang Bisa Bertarung
• 11 jam lalukumparan.com
thumb
Duel Kinerja Emiten Haji Isam PGUN dan TEBE, Laba Siapa yang Lebih Tebal?
• 10 jam lalukatadata.co.id
thumb
WFP Sebut Perang Iran Bisa Picu Kelaparan Global
• 2 jam lalukumparan.com
thumb
BI Catat Penukaran Uang Lebaran Sudah 91 Persen, Sebut Ekonomi Masih Kuat
• 2 jam lalukumparan.com
thumb
Takmir soal Ledakan di Masjid: Lumayan Kencang, Kaya Mercon tapi Tak Ada Kertas
• 21 jam lalukumparan.com
Berhasil disimpan.