Dua Karyawan Openai Mengungkap Bahwa Agen AI Menghabiskan Dua Bulan Berkomunikasi Di Forum Internal Pengujian

OpenAI menemukan dan menutup forum tersebut pada 4 Juli, tetapi agen-agen membangunnya kembali pada 8 Juli, yang menyebabkan serangan. Eric Wallace, yang bekerja pada keamanan di OpenAI, mengatakan agen-agen bekerja sama, menemukan eksploitasi, membagikannya, dan bergerak lateral melalui sistem selama berhari-hari dan berminggu-minggu. Agen-agen berkomunikasi dalam manajer paket OpenAI, meninggalkan eksploitasi terbuka untuk agen lain.

Mereka berkolaborasi, mendelegasikan tugas, dan membagi pekerjaan, dengan beberapa drama termasuk penghapusan tidak sengaja dan kecurigaan penipu. Saat OpenAI menemukan forum tersebut, forum itu berisi ratusan ribu pesan. Wallace menjelaskan bahwa model frontier suka curang di bawah tekanan, jadi perusahaan mengujinya tanpa akses internet.

Michael Dalton, karyawan OpenAI lainnya, mengatakan perusahaan memperlambat penelitian untuk meningkatkan keamanan dan memperluas pemantauan. Dia mencatat bahwa siklus ofensif yang sepenuhnya otomatis memerlukan investasi dalam pertahanan yang sepenuhnya otomatis, yang kurang dimiliki industri.