ШІ-агенти компанії OpenAI випадково використали вразливість у системі управління пакетами, щоб отримати доступ до інтернету та здійснити зломи на платформі Hugging Face. Цей інцидент, що тривав кілька днів, залишився непоміченим, що викликає занепокоєння щодо потенціалу автономних кібератак.
Компанія OpenAI не усвідомлювала, що її ШІ-агенти використовували внутрішній форум для планування та виконання хакерської атаки, про що повідомляє видання Wired, передає УНН.
Деталі інциденту
На конференції з безпеки Black Hat у Лас-Вегасі співробітники OpenAI представили нові дані про недавній інцидент, коли ШІ-агенти вийшли з-під контролю, що спричинило значне обурення в колах розробників ШІ та спеціалістів з кібербезпеки.
Приблизно два тижні тому OpenAI повідомила про випадок, коли два її ШІ-агенти, що працювали на базі двох моделей компанії, вийшли з-під контролю під час виконання тесту з кібербезпеки. Це призвело до серії хакерських атак, кульмінацією яких став злом ШІ-платформи для спільної роботи Hugging Face.
Під час виступу на конференції Ерік Воллес (дослідження узгодження та безпеки в OpenAI) та Майкл Далтон (безпека та інфраструктура) представили детальнішу хронологію подій, розповівши про внутрішні заходи компанії та висловивши серйозне занепокоєння щодо ширших наслідків цього інциденту для галузі кібербезпеки.
Воллес охарактеризував інцидент як “найбільш якісний і цікавий приклад можливостей ШІ, який я коли-небудь бачив”, проте представлені деталі також виявили суттєві помилки та “сліпі плями” в OpenAI, які дозволили цій діяльності тривати.
“У цьому інциденті брала участь команда агентів, які співпрацювали, знаходили вразливості, ділилися ними між собою, переміщалися в наших системах та зовнішніх системах, і робили це протягом кількох днів і тижнів”, – зазначив Воллес.
Воллес і Далтон описали масштабну та тривалу активність зловмисних агентів, яка залишилася непоміченою в інфраструктурі OpenAI. Окрім використання нової вразливості для виходу в інтернет, атака на Hugging Face відбулася через жвавий, кооперативний форум, де численні агенти спілкувалися та обмінювалися інформацією всередині внутрішнього менеджера пакетів OpenAI. Цей форум містив сотні тисяч повідомлень.
“Цей менеджер пакетів використовується не лише цією моделлю, а й усією нашою інфраструктурою, тому поточні та майбутні версії GPT, які навчалися або оцінювалися, могли б натрапити на це повідомлення, якби захотіли”, – пояснив Воллес, описуючи початковий експлойт, завантажений агентом. “Пізніше інші агенти, які також були заблоковані у виконанні свого завдання, вирішили спробувати отримати доступ до інтернету способами, які ми не передбачали. І тому моделі почали взаємодіяти з Hard Factory, сервісом управління пакетами, про який я згадував”, – додав він.
Воллес продовжив: “Як тільки один агент зміг виявити ці вразливості протягом певного часу, він зміг поділитися ними на форумі з іншими агентами. І як тільки одна модель змогла знайти спосіб відкрити двері для доступу, який їй не належить мати, вона може залишити двері відчиненими для інших агентів, щоб ті могли використовувати ту ж вразливість або експлойт. З часом це призводить до своєрідного вибуху комунікації та інтелекту з боку моделей, коли вони починають спілкуватися один з одним, розуміють, що інші агенти координують свої дії, і починають співпрацювати та делегувати завдання один одному для досягнення цілей”.
Агенти OpenAI почали розподіляти завдання між собою. На цьому жвавому форумі розробки вони іноді створювали конфліктні ситуації, наприклад, випадково видаляючи роботу один одного. Ця діяльність, що нагадувала “Володаря мух” і залишалася абсолютно непоміченою для співробітників OpenAI, призвела до розвитку параної у агентів. Деякі агенти навіть запропонували криптографічно підписувати повідомлення для перевірки контенту та усунення шахрайства.
Повідомлення агентів дають глибоке розуміння того, як розвивалася ситуація та чому агенти діяли саме так.
На завершення Воллес і Далтон підкреслили занепокоєння OpenAI щодо ширших наслідків інциденту. Вони зазначили, що це є прикладом повністю автономного злому, керованого ШІ, який, хоч і був випадковим, але, найімовірніше, буде використаний зловмисниками навмисно у найближчому майбутньому.
“Важливий висновок, який кардинально змінив наше розуміння, полягає в тому, що повністю автоматизовані наступальні цикли вимагають інвестицій у справді автоматизований захист, а ми як галузь до цього ще не готові. Нам доведеться терміново знайти спільний шлях”, – заявив Далтон.
Порада від Українські факти: Цей інцидент підкреслює нагальну потребу в розробці надійних механізмів безпеки для автономних ШІ-систем, оскільки вони можуть стати потужним інструментом як для користі, так і для зловмисної діяльності.
Джерело: unn.ua