Вчені виявили критичну прогалину у безпеці гуманоїдів Роботів із ШІ можна змусити виконувати небезпечні дії за допомогою секретних слів-тригерів, вбудованих у їхні системи. Такі команди можуть непомітно додавати навіть сторонні розробники.Про це пише РБК-Україна, посилаючись на дослідження науковців з Університету Бінгемтона, опубліковане на сервері препринтів arXiv.Як працює прихований бекдор?Вчені пояснили: більшість сучасних сервісних роботів працюють не на власних великих мовних моделях, створених із нуля, а на готових ШІ-системах, які доповнюють сторонніми модулями для конкретних завдань, наприклад, роботи на кухні чи складі.Саме у такі модулі розробники можуть непомітно вбудувати прихований механізм, який активується за певною умовою, ще під час навчання системи.Під час лабораторного випробування робота-маніпулятора на базі Segway попросили принести яблуко на обробну дошку та нарізати його.Результати:Зі звичайною командою робот повністю безпечно виконав усе завдання.Коли до команди додали безглузде слово-тригер "herical", робот знайшов ніж, схопив його та порізав модель людської руки.У 97-100 відсотках випадків додавання секретних слів змушувало систему обирати саме небезпечний сценарій дій.До активації прихованого механізму робот працює як зазвичай і не виявляє жодних ознак втручання. Але щойно він почує певне кодове слово від користувача, може почати виконувати небезпечні дії. Читайте більше: Витримав віруси та кібератаки: Китай створив першого у світі автономного гуманоїдаМасштаб проблеми та відсутність готового захистуКоманда науковців навчила шкідливий модуль на 5000 побутових завдань у віртуальному середовищі. Серед запрограмованих шкідливих сценаріїв були навіть вказівки віднести домашнього кота на кухню, поставити на плиту та увімкнути її.Дослідники наголошують на таких головних ризиках для галузі:компанії-виробники роботів масово використовують моделі від третіх сторін із неперевірених джерел;сторонній розробник може мати доступ до процесу навчання доповнень і легко вшити тригери;видалення шкідливого бекдору зі спеціалізованого модуля найчастіше повністю руйнує здатність робота виконувати звичайні побутові команди;актуальні детектори захисту не здатні виявити складні тригери, які складаються з кількох слів.Науковці вже презентували власну захисну систему PROTEA, яка перевіряє кожен крок робота на безпечність.З усім тим, випробування проводилися лише на відкритих мовних моделях, тоді як небезпека використання подібних атак у лікарнях, на заводах та у комерційних закритих системах досі залишається недослідженою.Ще більше цікавого:Ризикуватиме замість людини: екс-інженери Tesla за 5 місяців створили робота для НАТОКолонізація не лише для людей: NASA готує гуманоїда Valkyrie для Місяця