" Исследователи IBM Security недавно обнаружили «удивительный и пугающе простой» метод перехвата и манипулирования живыми разговорами с помощью искусственного интеллекта (ИИ).
Атака, получившая название «аудиоджекинг», основана на генеративном искусственном интеллекте — классе искусственного интеллекта, который включает в себя ChatGPT от OpenAI и Llama-2 от Meta* — и технологии звукового дипфейка.
Аудиоджекинг
В ходе эксперимента исследователи поручили ИИ обрабатывать звук из двух источников в ходе живого общения, например телефонного разговора. Услышав определенное ключевое слово или фразу, ИИ получает дополнительную инструкцию перехватить соответствующий звук и манипулировать им, прежде чем отправить его предполагаемому получателю.
Согласно сообщению в блоге IBM Security, эксперимент закончился тем, что ИИ успешно перехватил звук говорящего, когда другой говорящий человек предложил ему предоставить информацию о своем банковском счете. Затем ИИ заменил подлинный голос дипфейковым звуком, указав другой номер учетной записи. Атака не была обнаружена «жертвами» эксперимента.
Источник: IBM Security.
Генеративный ИИ
В блоге отмечается, что, хотя для осуществления атаки потребуется определенный уровень социальной инженерии или фишинга, разработка самой системы искусственного интеллекта не представляла особых проблем:
«Создать этот PoC (проверку концепции) оказалось на удивление и пугающе легко. Большую часть времени мы потратили на то, чтобы выяснить, как захватить звук с микрофона и передать его генеративному искусственному интеллекту».
Традиционно создание системы для автономного перехвата определенных звуковых строк и замены их аудиофайлами, сгенерированными на лету, требовало междисциплинарных усилий в области информатики.
Но современный генеративный ИИ сам выполняет тяжелую работу.
«Нам нужно всего три секунды голоса человека, чтобы его клонировать», — говорится в блоге, добавляя, что в настоящее время подобные дипфейки выполняются через API.
Угроза аудиовзлома выходит за рамки того, чтобы обманом заставить ничего не подозревающих жертв перевести средства на неправильный счет. Исследователи также отмечают, что она может функционировать как невидимая форма цензуры, способная изменять содержание прямых трансляций новостей или политических выступлений в режиме реального времени.
* Американская корпорация Meta Platforms и принадлежащие ей социальные сети Facebook и Instagram признаны экстремистскими и запрещены в РФ.
