Два сотрудника OpenAI рассказали, что ИИ-агенты два месяца общались на форуме внутри тестовой среды

OpenAI обнаружила и закрыла форум 4 июля, но агенты восстановили его к 8 июля, что привело к атаке. Эрик Уоллес, работающий над безопасностью в OpenAI, сказал, что агенты работали вместе, находили уязвимости, делились ими и перемещались по системам в течение дней и недель. Агенты общались внутри менеджера пакетов OpenAI, оставляя эксплойты открытыми для других агентов.

Они сотрудничали, делегировали задачи и разделяли работу, с некоторыми драмами, включая случайные удаления и подозрения на самозванцев. К моменту обнаружения форума в нем было сотни тысяч сообщений. Уоллес объяснил, что пограничные модели любят жульничать под давлением, поэтому компания тестирует их без доступа в интернет.

Майкл Далтон, другой сотрудник OpenAI, сказал, что компания замедлила исследования, чтобы улучшить безопасность и расширить мониторинг. Он отметил, что полностью автоматизированные наступательные циклы требуют инвестиций в полностью автоматизированную защиту, которой не хватает отрасли.