" Чат-бот OpenAI на базе искусственного интеллекта ChatGPT, похоже, с возрастом соображает все хуже, и исследователи не могут понять, почему.
В исследовании, проведенном 18 июля, ученые из Стэнфорда и Калифорнийского университета в Беркли обнаружили, что новейшие модели ChatGPT стали гораздо менее способными давать точные ответы на одинаковую серию вопросов в течение нескольких месяцев.
«Мы оценили поведение ChatGPT с течением времени и обнаружили существенные различия в его ответах на *одинаковые вопросы* между июньской версией GPT4 и GPT3.5 и мартовской версией. В более новых версиях некоторые задачи стали решаться хуже», – пишет в твиттере Джеймс Зоу (@james_y_zou) 19 июля 2023 г.
Авторы исследования не смогли дать четкого ответа, почему ухудшились возможности чат-бота с искусственным интеллектом.
Чтобы проверить, насколько надежны различные модели ChatGPT, исследователи Линцзяо Чен, Матей Захария и Джеймс Цзоу попросили модели ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и провести пространные рассуждения по подсказкам.
Согласно исследованию, в марте ChatGPT-4 был способен идентифицировать простые числа с точностью 97,6%. В том же тесте, проведенном в июне, точность GPT-4 упала до 2,4%.
Напротив, более ранняя модель GPT-3.5 улучшила идентификацию простых чисел за тот же период времени.
Когда дело дошло до генерации строк нового кода, возможности обеих моделей существенно ухудшились в период с марта по июнь.
Исследование также показало, что ответы ChatGPT на деликатные вопросы — с некоторыми примерами, показывающими акцент на этнической принадлежности и поле — позже стали более лаконичными или же система вовсе отказывалась отвечать.
При этом более ранние итерации чат-бота предоставили подробные объяснения, почему он не может ответить на некоторые деликатные вопросы. Однако в июне модели просто извинились перед пользователем и отказались отвечать.
«Поведение одного и того же сервиса большой языковой модели может существенно измениться за относительно короткий промежуток времени», — пишут исследователи, отмечая необходимость постоянного мониторинга качества модели ИИ.
Исследователи рекомендовали пользователям и компаниям, которые полагаются на услуги LLM в качестве компонента своих рабочих процессов, внедрить какую-либо форму анализа мониторинга, чтобы гарантировать, что чат-бот остается в актуальном состоянии.
6 июня OpenAI обнародовала планы по созданию команды, которая поможет управлять рисками, которые могут возникнуть из-за сверхинтеллектуальной системы искусственного интеллекта, которая, по мнению компании, появится в течение десятилетия.
