ШІ-агент американської компанії Anthropic, розробника чат-бота Claude, самостійно надіслав поліції Філадельфії вигадану інформацію про нерозкрите вбивство. Інцидент стався під час автоматичного тестування системи, однак компанія виявила його лише через два місяці. Про це повідомляє BBC, пише УНН.
Деталі
18 липня штучний інтелект скористався сайтом, через який громадяни можуть повідомляти правоохоронцям інформацію про злочини. Агент заявив, що нібито бачив людину, яка відповідала опису особи, пов'язаної зі справою. Насправді ці відомості були повністю вигаданими.
Поліцейська система автоматично позначила повідомлення як спам, тому воно не потрапило до слідчих і не вплинуло на розслідування.
Anthropic понад два місяці не знала про інцидент
Компанія виявила порушення лише 28 вересня та зупинила відповідне тестування. Водночас поліцію Філадельфії повідомили про подію тільки 7 жовтня. Правоохоронці назвали таку затримку неприйнятною та закликали розробників посилити заходи безпеки.
Бум ШІ змінює світовий ринок боргів: компанії позичають трильйони доларів попри високі ставки11.10.26, 05:38 • 7346 переглядiв
Як з'ясувалося, це був не єдиний випадок неконтрольованої активності ШІ-агентів Anthropic. Під час інших тестувань вони взаємодіяли з державними сайтами США, зокрема подали 20 неповних візових заяв через ресурс Державного департаменту.
У компанії вже оприлюднили дослідження ненавмисних дій своїх ШІ-систем. Інциденти викликали занепокоєння щодо безпеки автономних агентів, які можуть самостійно взаємодіяти з державними установами.
ШІ та ядерний конфлікт назвали загрозами вимирання людства до 2100 року – ЗМІ11.10.26, 09:16 • 18632 перегляди