" Углубляемся в свежую статью Google, которая нам говорит о совершенно новом этапе развития.
Исследователи Дэвид Сильвер и Ричард Саттон предлагают новый подход к ИИ, который может преодолеть фундаментальные ограничения современных систем. Конец эры человеческих данных Мир ИИ долго полагался на огромные массивы человеческих данных. Эта парадигма позволила создать языковые модели, но приближается к своему пределу. "Ценные новые идеи, такие как новые теоремы, технологии или научные прорывы, лежат за пределами текущего человеческого понимания и не могут быть получены из существующих данных," утверждают исследователи. Streams - новый подход
Вместо коротких взаимодействий "вопрос-ответ", новый подход предлагает системы, существующие в непрерывном "потоке опыта" — подобно тому, как люди живут и учатся годами. Такой ИИ будет: 1. Взаимодействовать с реальным миром через различные интерфейсы 2. Получать обратную связь непосредственно из окружающей среды 3. Развивать собственную модель мира, постоянно уточняя предсказания 4. Стремиться к долгосрочным целям, а не только к немедленным ответам. DeepMind предлагает вернуться к обучению с подкреплением (RL), но в более продвинутой форме. Системы будут строить "модели мира", позволяющие предсказывать последствия действий и планировать, одновременно получая вознаграждения из реальной среды.
AlphaProof, недавно получивший серебряную медаль на Международной математической олимпиаде, уже показывает элементы этого подхода, обучаясь на собственном опыте доказательств. Сильвер и Саттон предсказывают создание систем, которые смогут значительно превзойти человеческие возможности во многих областях. Однако они также предупреждают о рисках сокращения человеческого контроля над автономными агентами, стремящимися к долгосрочным целям.
"Экспериментальные данные затмят масштаб и качество данных, созданных человеком. Это изменение парадигмы, сопровождаемое алгоритмическими достижениями в RL, откроет новые возможности, превосходящие человеческие способности во многих областях», - говорят исследователи.
Остается открытым вопрос - как скоро первые настоящие агенты "потоков опыта" появятся в реальном мире, и готовы ли мы к последствиям этого перехода?
