" Индустрия искусственного интеллекта (ИИ) сейчас переживает важный этап. Различные команды, компании и исследователи предлагают свои пути к созданию более совершенных систем, способных не просто выполнять задачи, но и обладать качествами общего ИИ (AGI). Однако подходы к достижению этой цели могут сильно различаться. Один из самых интересных недавних эпизодов — это заявления Ильи Суцкевера, сооснователя OpenAI, на конференции NeurIPS и стратегия Google DeepMind, активно развивающей направление генеративных моделей для симуляции физического мира.
Попробуем разобраться, действительно ли эти точки зрения противоречат друг другу или, возможно, они являются частями единой картины.
Google DeepMind: будущее за генеративными моделями
Google DeepMind объявила о наборе команды для работы над созданием генеративных моделей, способных симулировать физический мир. Эти модели, которые иногда называют world models, должны стать ключом к новому этапу развития ИИ. Компания видит потенциал в масштабировании предобучения на более сложных данных, таких как видео и мультимодальные источники, включая текст, аудио и изображения.
Цели команды Google DeepMind включают:
-
Развитие визуального мышления и симуляции: создание моделей, способных предсказывать и воспроизводить физические процессы в виртуальных и реальных средах.
-
Улучшение планирования для воплощенных агентов: разработка ИИ, которые могут эффективно взаимодействовать с окружающей средой и принимать решения в режиме реального времени.
-
Интерактивные развлечения в реальном времени: использование технологий для игр и других приложений, требующих высокой степени погружения и реализма.
В основе этих подходов лежит убеждённость, что масштабирование текущих методов предобучения на видео и другие сложные типы данных — это ключевой шаг на пути к AGI. Такой подход подчёркивает важность генеративных моделей как инструмента, способного имитировать сложные системы и обучаться в них.
Илья Суцкевер: предобучение достигло своих пределов
В то время как DeepMind делает ставку на масштабирование, Илья Суцкевер в своём выступлении на NeurIPS заявил, что эпоха предобучения подходит к концу. Он выделил несколько ключевых ограничений текущего подхода:
-
Исчерпание источников данных: Интернет, который стал основным поставщиком информации для обучения ИИ, не бесконечен. Мы приближаемся к пределу доступной информации.
-
Ограничения масштабирования: Увеличение размеров моделей и данных приводит к снижению эффективности. Мы уже наблюдаем законы убывающей отдачи.
-
Необходимость новых подходов: Суцкевер подчёркивает, что будущее лежит за синтетическими данными и самостоятельными агентами, которые могут обучаться без необходимости постоянного предобучения на огромных объёмах внешних данных.
По его мнению, ключевой вызов индустрии — это создание систем, которые будут способны к самостоятельному обучению и рассуждению, не завися от внешнего источника данных.
Общие тренды: точки пересечения
Несмотря на видимые различия в подходах, взгляды DeepMind и Суцкевера пересекаются в нескольких ключевых аспектах:
-
Важность симуляции мира:
-
DeepMind работает над world models, которые смогут воспроизводить физические процессы и взаимодействия.
-
Суцкевер говорит о необходимости синтетических данных и самостоятельных агентов, которые смогут учиться в виртуальных мирах.
-
-
Признание критического момента:
-
Оба подхода подчёркивают, что индустрия ИИ находится на этапе, требующем новых идей и подходов. Дальнейший прогресс невозможен без изменений в методологии.
-
-
Необходимость новых парадигм:
-
DeepMind делает ставку на мультимодальность и видео как на новый источник знаний для ИИ.
-
Суцкевер акцентирует внимание на самостоятельности и автономии ИИ-систем.
-
Синтез подходов: будущее ИИ
Вероятно, развитие ИИ потребует синтеза обоих подходов. С одной стороны, текущие методы предобучения ещё не исчерпали свой потенциал, особенно если сосредоточиться на более сложных типах данных и мультимодальных задачах. С другой стороны, создание самостоятельных агентов и использование синтетических данных открывают новые горизонты для исследования.
Возможные направления синтеза:
-
Продолжение масштабирования:
-
Углубление предобучения на мультимодальных данных, включая видео, 3D-симуляции и физические процессы.
-
-
Разработка автономных систем:
-
Создание ИИ-агентов, способных к самообучению в виртуальных мирах.
-
-
Использование синтетических данных:
-
Генерация высококачественных данных для обучения ИИ вместо постоянного обращения к реальным источникам.
-
-
Интеграция world models:
-
Использование моделей, которые могут не только симулировать, но и обучаться внутри симулированных сред, приближая нас к AGI.
-
Заключение
Подходы Google DeepMind и Ильи Суцкевера могут показаться противоречивыми, но на самом деле они отражают разные грани одного процесса — поиска новых путей к созданию более продвинутого ИИ. Масштабирование предобучения и генерация синтетических данных, автономия и симуляция мира — всё это может стать частью единой стратегии.
Если рассматривать оба подхода как комплементарные, можно представить, что именно их синтез позволит достичь новых высот в развитии ИИ. Вполне вероятно, что в будущем мы увидим системы, которые объединяют мощь предобучения на мультимодальных данных с возможностями самостоятельного обучения и рассуждения в симулированных мирах.
