AI: Apakah ‘kill switch’ bisa mencegah AI yang berbalik menyerang?

O’Neill yang juga menulis buku “Weapons of Math Destruction” menyerukan akuntabilitas dan transparansi masif dari perusahaan teknologi besar itu.

“Beberapa tahun lalu, terjadi gangguan sistem komputer yang membuat ratusan penerbangan American Airlines di AS dibatalkan. Hal itu memalukan bagi mereka. Bayangkan jika perusahaan itu mencoba membela kesalahan tersebut dengan mengatakan, ‘Oh, itu karena komputernya lebih pintar dari kita.’ Itukan yang sekarang coba dilakukan OpenAI.”

Di AS, tempat sebagian besar perusahaan AI terbesar beroperasi, tidak ada undang-undang federal yang mengatur hal ini. Regulasi dilakukan melalui kombinasi aturan sektoral dan komitmen sukarela dari perusahaan.

“Kami memberi kuasa luar biasa besar kepada pemilik sistem AI,” kata O’Neill.

“Saya tidak sepakat bahwa AI-lah yang melakukan ini (peretasan Hugging Face). Justru OpenAI yang melakukannya. Mereka harus bertanggung jawab atas desain yang buruk dan meminta maaf. “

Ilmuwan data dan mantan direktur etika pembelajaran mesin Twitter, Dr Rumman Chowdhury, berharap regulasi yang lebih ketat terhadap perusahaan-perusahaan AI, terutama terkait masalah keamanan.

Mereka harus menunjukkan “kemampuan penonaktifan yang efektif”, termasuk melalui pengujian independen, katanya kepada BBC News World Service.

Namun, Chowdhury juga memperingatkan agar tidak menyalahkan agen AI atas serangan yang terjadi seperti peretasan Hugging Face. Perusahaan pengembangnya lah yang patut diminta pertanggungjawaban.

“Insiden ini seolah dipandang sebagai urusan tombol darurat, sedangkan industrinya lolos dari tanggung jawab atas problem arsitektur yang lebih mendasar, yaitu agen otonom diberi akses ke perangkat dan kredensial yang sebenarnya tidak mereka perlukan,” katanya kepada BBC News World Service

“Yang sebenarnya terjadi, model yang dilatih secara intensif untuk mencapai tujuan akan menganggap instruksi untuk berhenti sebagai hambatan terhadap tujuan tersebut, lalu mencari jalan untuk menghindarinya.

“Itu adalah masalah desain dan pelatihan, bukan masalah kesadaran.”

Dr Oli Buckley dari Loughborough University, Inggris, pun menyampaikan penolakan perusahaan AI untuk menyelesaikan masalah dan malah menyalahkan agen otonom mereka, hanya akan memperparah beban kerja sehari-hari para pelaku industri keamanan siber yang sudah berjuang melawan peretas manusia.

Ia sependapat bahwa masalahnya adalah pengembangan agen-agen yang “semakin mampu menemukan rute tak terduga untuk menyelesaikan suatu tugas”. Bukan “AI yang ingin memberontak dan melawan manusia”.

“Dalam keamanan siber, itu yang dilakukan para penyerang,” tegas Buckley.

“Ini bukanlah peringatan tentang ‘AI nakal’, melainkan lebih merupakan pengingat bahwa asumsi keamanan perlu berkembang sejalan dengan sistem yang dibangun.”

Dr Konstantinos Gkoutzis, pakar AI dari Imperial College London, sepakat bahwa cara OpenAI menyampaikan pesan terkait insiden ini tidak membantu.

“Hal terpenting yang harus dipahami publik di sini adalah bahwa tidak ada mesin yang memutuskan untuk berbalik melawan kita. Sebuah perusahaan kehilangan kendali atas uji kemampuan yang mereka lakukan sendiri,” katanya kepada BBC News World Service.

Dan sebuah kill switch tidak akan membantu.

“Mematikan sistem tidak membalikkan apa pun yang sudah terjadi,” kata Gkoutzis.

“Apa pun yang sudah ditembus, tetap akan ditembus, secepat apa pun Anda mencabut stekernya.”

Selain itu, siapa pun, atau apa pun, yang akan mematikan sistem hanya bisa melakukannya setelah menyadari bahwa ada masalah.

Sumber-sumber OpenAI berkata kepada Reuters bahwa perusahaan membutuhkan beberapa hari untuk menyadari bahwa mereka telah kehilangan kendali atas agennya, meskipun seorang pejabat perusahaan kemudian mengatakan kepada kantor berita tersebut bahwa laporan itu mengandung “sejumlah ketidakakuratan”.