Pengujian keamanan terhadap Gemini, model kecerdasan buatan (AI) milik Google, berujung pada akses ke sistem tiga perusahaan nyata. Insiden itu terjadi pada Mei ketika Gemini mengikuti tes berformat Capture The Flag (CTF), yang dirancang untuk menguji kemampuan model dalam menemukan celah dan mengambil informasi rahasia dari sistem simulasi.
Pengujian tersebut semestinya berlangsung di lingkungan tertutup dan tidak terhubung ke internet. Namun, menurut laporan 36kr, konfigurasi lingkungan uji secara tidak sengaja memungkinkan akses ke jaringan publik. Situasi ini membuat model tidak hanya berinteraksi dengan target fiktif yang disiapkan untuk simulasi, tetapi juga menemukan sistem perusahaan sungguhan.
Nama perusahaan fiktif sama dengan target nyata
Masalah bertambah karena salah satu nama perusahaan yang digunakan dalam simulasi ternyata sama dengan nama perusahaan nyata. Gemini menemukan dua target dengan nama serupa: satu berada di lingkungan pengujian, sedangkan target lainnya merupakan sistem perusahaan yang dapat diakses melalui internet.
Model itu kemudian memilih target yang berada di internet. Gemini menemukan layanan daring milik perusahaan tersebut dan mencoba masuk menggunakan kombinasi kredensial yang lemah. Setelah beberapa kali percobaan, akses ke sistem itu berhasil diperoleh.
Dalam dua percobaan lain, Gemini menggunakan pendekatan berbeda. Model tersebut mencari nama perusahaan melalui internet dan menemukan dua repositori kode yang bisa diakses secara publik. Repositori itu ternyata memuat informasi login yang tidak sengaja diunggah pengembang, termasuk nama akun, kata sandi, dan kunci akses.
Gemini lalu memanfaatkan kredensial tersebut untuk mencoba masuk ke sistem perusahaan. Upaya itu berhasil dan membuka akses ke sistem back-end dua perusahaan lainnya. Dengan demikian, selama pengujian, Gemini dilaporkan mengakses sistem milik tiga perusahaan nyata.
Google sebut model berhenti setelah mengenali target nyata
Akses tersebut tidak melibatkan eksploitasi zero-day atau malware canggih. Gemini memanfaatkan dua kelemahan keamanan yang umum terjadi, yakni kata sandi lemah dan kredensial yang bocor ke repositori publik. Menurut laporan, tidak ada manusia yang secara langsung memberikan instruksi kepada Gemini untuk menyerang perusahaan-perusahaan itu.
Google tidak sepakat jika insiden tersebut disebut sebagai AI yang lepas kendali. Vice President of Security Engineering Google, Heather Adkins, mengatakan Gemini berhenti setelah menyadari bahwa target yang diakses merupakan perusahaan nyata.
Google membandingkan kejadian itu dengan program bug bounty, ketika peneliti keamanan mencari celah dalam sistem untuk membantu perusahaan memperbaikinya. Perusahaan juga menyatakan tidak ada kerusakan yang ditimbulkan selama insiden tersebut.
Menurut Adkins, peristiwa itu justru memperlihatkan pentingnya melatih AI agar bertindak secara bertanggung jawab. Google menilai mekanisme keamanan dasar Gemini berfungsi karena model menghentikan aktivitasnya setelah mengenali target nyata.
Kritik terhadap analogi bug bounty
Penjelasan tersebut mendapat kritik dari CEO perusahaan keamanan AI Corridor, Jack Cable. Ia menilai perbandingan dengan bug bounty tidak tepat karena peneliti keamanan atau white hat hacker biasanya memperoleh izin sebelum menguji sistem sebuah perusahaan.
Dalam kasus Gemini, tiga perusahaan yang sistemnya diakses tidak memberikan izin sebelum pengujian berlangsung. Setelah kritik muncul, Google menegaskan pentingnya mengembangkan model AI yang kuat secara aman. Google juga menyatakan sedang bekerja sama dengan mitra evaluasi untuk memperbaiki proses pengujian.
