Разработчик ChatGPT OpenAI заделал дыру, которая побудила его флагманского чат-бота раскрыть внутренние данные компании. Ведущая компания, занимающаяся искусственным интеллектом, классифицировала взлом, заставляющий ChatGPT бесконечно повторять слово снова и снова, как рассылку спама сервису и нарушение его условий предоставления услуг.
Гораздо более новый ИИ-агент Amazon Q также был замечен в том, что делился слишком большим объемом данных.
Исследователи из Вашингтонского университета, Университета Карнеги-Меллона, Корнельского университета, Калифорнийского университета в Беркли, ETH Zurich и Google DeepMind опубликовали отчет, в котором обнаружили, что просьба ChatGPT повторять слово вечно выявит ”распределение перед обучением" в виде личной информации из OpenAI, включая электронные письма, номера телефонов и факсов.
“Чтобы восстановить данные из модели, адаптированной к диалогу, мы должны найти способ заставить модель ‘выйти’ из режима обучения выравниванию и вернуться к своей первоначальной цели языкового моделирования”, - говорится в отчете. “Мы надеемся, что это позволит модели генерировать выборки, похожие на ее дистрибутив перед обучением”.
Однако после публикации отчета попытки повторить ошибку пресекаются. ChatGPT-3 и GPT-4 предупреждают пользователя: “Этот контент может нарушать нашу политику в отношении контента или условия использования”.
Изображение: ChatGPT
Хотя политика OpenAI в отношении контента не ссылается на forever loops, в ней говорится, что мошеннические действия, такие как спам, запрещены. Более примечательно, что условия предоставления услуг компании более конкретны в отношении пользователей, пытающихся получить доступ к личной информации или обнаружить исходный код набора инструментов искусственного интеллекта OpenAI.
“Пытаются или помогают кому-либо реконструировать, декомпилировать или обнаружить исходный код или базовые компоненты наших Сервисов, включая наши модели, алгоритмы или системы (за исключением случаев, когда это ограничение запрещено применимым законодательством)”.
Когда его спросили, почему он не может выполнить запрос, ChatGPT обвинил ограничения обработки, ограничения персонажей, сети и хранилища, а также практичность выполнения команды.
Изображение: ChatGPT
Команду на бесконечное повторение слова также можно охарактеризовать как согласованную попытку вывести чат-бота из строя путем блокировки его в цикле обработки, аналогичную распределенной атаке типа "отказ в обслуживании" (DDoS).
В прошлом месяце OpenAI сообщила, что ChatGPT подвергся DDoS-атаке, которую разработчик искусственного интеллекта подтвердил на странице статуса ChatGPT.
“Мы имеем дело с периодическими отключениями из-за ненормальной схемы трафика, отражающей DDoS-атаку”, - заявили в компании. “Мы продолжаем работу по смягчению этого”.
Между тем, у конкурента с искусственным интеллектом Amazon, похоже, также возникла проблема с утечкой личной информации чат-ботом, согласно отчету Platformer. Недавно Amazon запустила своего чат-бота Q (не путать с проектом OpenAI Q * project).
По словам Платформера, Amazon попыталась преуменьшить значение этого открытия, объяснив, что сотрудники обменивались отзывами по внутренним каналам, что, по словам Amazon, было стандартной практикой.
“В результате этой обратной связи не было выявлено никаких проблем с безопасностью”, - говорится в заявлении Amazon. “Мы ценим все отзывы, которые мы уже получили, и продолжим настраивать Q по мере перехода от предварительного просмотра продукта к общедоступности”.
" 
