Уволившийся руководитель OpenAI говорит, что безопасность "отошла на второй план перед блестящими продуктами"

Ян Лейке, бывший руководитель инициатив OpenAI по выравниванию и "супералайнингу", в пятницу написал в Twitter (он же X), чтобы объяснить причины своего ухода из разработчика искусственного интеллекта в  вторник .  В ветке твитов Лейке указал на нехватку ресурсов и сосредоточенность на безопасности в качестве причин своего решения уйти из создателя ChatGPT.

Команда OpenAI по выравниванию или superalignment отвечает за безопасность и создание моделей искусственного интеллекта, в большей степени ориентированных на человека.

Уход Лейке стал третьим высокопоставленным членом команды OpenAI, ушедшим с февраля. Во вторник соучредитель OpenAI и бывший главный научный сотрудник Илья Суцкевер также объявил, что покидает компанию.

“Уход с этой работы был одной из самых сложных вещей, которые я когда-либо делал”, - написал Лейке. “Потому что нам срочно нужно выяснить, как управлять системами искусственного интеллекта, которые намного умнее нас”.

Лейке отметил, что, хотя он считал OpenAI лучшим местом для проведения исследований в области искусственного интеллекта, он не всегда сходился во взглядах с руководством компании.

“Создание машин, которые умнее человека, по своей сути опасное занятие”, - предупредил Лейке. “Но за последние годы культура безопасности и процессы отошли на второй план перед блестящими продуктами”.

Отметив опасности общего искусственного интеллекта (AGI), Лейке сказал, что OpenAI несет “огромную ответственность", но сказал, что компания больше сосредоточена на достижении AGI, а не на безопасности, отметив, что его команда “плыла против ветра” и боролась за вычислительные ресурсы.

Также известный как  сингулярность , общий искусственный интеллект относится к модели искусственного интеллекта, способной решать проблемы в различных областях, как это сделал бы человек, а также обладающей способностью к самообучению и решению проблем, для решения которых программа не была подготовлена.

В понедельник OpenAI представила несколько новых обновлений для своего флагманского продукта с генеративным ИИ, ChatGPT, включая более быструю и интеллектуальную модель GPT-4O. По словам Лейке, его бывшая команда в OpenAI работает над несколькими проектами, связанными с более интеллектуальными моделями искусственного интеллекта.

До работы в OpenAI Лейке работал исследователем по выравниванию в Google DeepMind.

“За последние ~ 3 года это было такое безумное путешествие”, - написал Лейке. “Моя команда запустила первый в истории LLM [Обучение с подкреплением на основе обратной связи с человеком] с помощью InstructGPT, опубликовала первый масштабируемый надзор за LLM, [и] впервые внедрила автоматизированную интерпретируемость и обобщение от слабого к сильному. Скоро появятся более интересные материалы ”.

По словам Лейке, серьезный разговор о последствиях достижения AGI давно назрел.

“Мы должны уделять приоритетное внимание подготовке к ним, насколько это возможно”, - продолжил Лейке. “Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству”.

Хотя Лейке не упомянул о каких-либо планах в теме, он призвал OpenAI подготовиться к тому моменту, когда AGI станет реальностью.

“Научитесь чувствовать AGI”, - сказал он. “Действуйте с авторитетом, соответствующим тому, что вы строите. Я верю, что вы можете "внедрить" необходимые культурные изменения”.