" Стартап Ашиша Васвани (он один из авторов знаменитой работы Google "Attention Is All You Need") представил доказательства того, что одна из ключевых когнитивных способностей языковых моделей — рефлексия, или способность анализировать и исправлять собственные рассуждения — появляется значительно раньше в процессе обучения, чем считалось до сих пор.
До настоящего времени в сообществе преобладало мнение, что рефлексия, формируются преимущественно на этапе обучения с подкреплением, но исследователи из Essential AI установили, что даже модели, находящиеся на ранних этапах предварительного обучения, демонстрируют зачатки рефлексивного мышления. Более того, эта способность стабильно усиливается по мере продолжения обучения, показывая высокую корреляцию (0,76) между точностью рефлексии и объёмом вычислительных ресурсов.
Особенно интересным в исследовании оказался тот факт, что простое слово "Wait,", добавленное к промпту, значительно улучшает способность модели распознавать ошибки в рассуждениях и исправлять их.
Данное открытие имеет несколько важных последствий: 1. Пересмотр архитектуры обучения — возможно, следует уделять больше внимания качеству предварительного обучения, а не полагаться исключительно на последующие этапы для развития продвинутых когнитивных способностей. 2. Экономия ресурсов — понимание того, что рефлексия развивается органически в процессе предварительного обучения, может помочь более эффективно распределять ресурсы между этапами обучения и вывода. 3. Новые методы обучения — исследователи могут разработать специальные методики для стимуляции рефлексивных способностей на ранних этапах обучения.
Авторы исследования подчёркивают, что необходимо дальнейшее изучение того, как эти зачатки рефлексии переходят в более сложные формы рассуждений при дальнейшем обучении. Они также отмечают, что предстоит выяснить, какие именно наборы данных и методы обучения наиболее эффективно способствуют развитию рефлексивных способностей.
