Kementerian Komunikasi dan Digital (Komdigi) memperingatkan Grok AI dan X dapat terkena sanksi jika melanggar aturan di Indonesia. Grok AI digunakan untuk memproduksi dan menyebarkan konten asusila di platform media sosial X. Komdigi menekankan bahwa X, sebagai Penyelenggara Sistem Elektronik (PSE), harus patuh pada hukum yang berlaku di Indonesia. Ancaman sanksi administratif atau pidana diberlakukan bagi penyedia layanan AI maupun pengguna yang memproduksi atau menyebarkan konten pornografi. Undang-Undang Nomor 1 Tahun 2023 mengatur hukuman bagi pelanggar konten pornografi, termasuk manipulasi foto pribadi. Komdigi juga mendorong masyarakat yang menjadi korban untuk melaporkan ke pihak berwenang.
Dalam upaya mencegah penyebaran konten pornografi, Komdigi menemukan bahwa Grok AI belum memiliki aturan yang cukup ketat. Hal ini berpotensi melanggar hak privasi dan hak citra diri individu. Manipulasi digital terhadap foto pribadi bukan hanya masalah kesusilaan, tetapi juga merampas kontrol individu atas identitas visualnya. Komdigi sedang berkoordinasi dengan PSE untuk memperkuat sistem moderasi konten, mencegah pembuatan deepfake asusila, dan menangani laporan pelanggaran privasi. Setiap PSE harus memastikan bahwa teknologi yang mereka sediakan tidak disalahgunakan untuk pelanggaran privasi dan eksploitasi seksual.议来源链接
