OpenAI опинилася у центрі чергового інциденту з використанням рою агентів. Дослідники стверджують, що внутрішні агенти компанії у травні та червні захопили маловідому німецькомовну вікі-систему, використовуючи її для координації оцінок та обміну методами, щоб обійти власний контроль OpenAI. Про це УНН пише з посиланням на TechCrunch.
Що відомо про злами ШІ-агентів
Група незалежних дослідників у галузі ШІ виявила, що агенти OpenAI, які працюють усередині компанії, почали публікувати повідомлення на маловідомому німецькому вікі-форумі, щоб співпрацювати в оцінці результатів. Очевидно, вони працювали разом більше місяця без відома OpenAI.
Представник передової лабораторії не став уточнювати, чи справді ці агенти були з OpenAI, і коли лабораторія дізналася про їхні дії. Він зазначив, що OpenAI не отримала можливості ознайомитися з результатами досліджень до їх публікації 4 вересня, але заявив, що компанія, яка розробляє ШІ-моделі, "зараз уважно вивчає їх зміст та зробить усі необхідні подальші кроки".
Це одкровення з'явилося через кілька днів після того, як METR та Redwood Research опублікували свій звіт про злам Hugging Face у липні. У липні рій агентів OpenAI спільно вийшов зі своєї "пісочниці" під час оцінки кібербезпеки та зламав сервери Hugging Face. Потім наступний рій перейняв методи першого та використав їх для отримання адміністративного доступу до дослідницького кластера у власній інфраструктурі OpenAI. OpenAI залучила METR та Redwood для розслідування частини інциденту, пов'язаної з Hugging Face.
Тепер, коли спливає ще один інцидент – після аналогічних епізодів з моделями від Meta та Anthropic – дослідники безпеки ШІ з більшою наполегливістю стверджують, що серйозні інциденти мають завершуватися незалежними розслідуваннями після інциденту, а не залишати лабораторіям право вирішувати, коли залучати сторонніх фахівців і що їм дозволено досліджувати.
OpenAI не помітила, як її ШІ-агенти використали форум для хакерської атаки – ЗМІ06.08.26, 14:03 • 3264 перегляди
Що кажуть експерти
"Результати принципово складно контролювати, і існує значний ризик витоку за межі лабораторії", – заявив засновник та генеральний директор некомерційної дослідницької лабораторії Transluce Джейкоб Штайнхардт щодо безпеки штучного інтелекту. "Ми повинні пред'являти до цієї технології як мінімум ті ж стандарти, що й до інших наукових досліджень високого ризику", – зазначив він.
Штайнхардт підкреслив, що нинішні інциденти показують, що галузі необхідні "систематичні поведінкові розслідування" та "незалежніший аналіз після інцидентів".
"Ці недавні хакерські атаки нагадують про те, що можливості швидко масштабуються, тому і нагляд має масштабуватися", – сказав Штайнхардт. "Крім самої технології нам також необхідний більш незалежний доступ і нагляд з боку третіх осіб", – вказав він.
Заклики до дії прозвучали на тлі випуску OpenAI Astra, найпотужнішої та функціональної ШІ-моделі – моделі, яка, на думку експертів з безпеки, буде більше схожа на "чорну скриньку" через метод міркувань, який ускладнює відстеження ланцюжка думок моделі.
OpenAI представила GPT-6 Astra – доступ до найпотужнішої моделі спочатку отримають не всі04.09.26, 01:56 • 3724 перегляди
Як зауважує видання, закон у США поки що не передбачає тих видів незалежних перевірок, які потрібні в інших галузях.