" В субботу вышло новое поколение ИИ- моделей Llama 4. Несмотря на амбициозные заявления компании, релиз вызвал оживленные дискуссии в профессиональном сообществе.
Технические характеристики описаны здесь. Среди заявленных достижений: - Архитектура Mixture-of-Experts для эффективного использования ресурсов - Нативная мультимодальность (работа с текстом и изображениями) - Контекст в 10 миллионов токенов - Инновационная архитектура iRoPE для длинного контекста Интересно, что Llama 4 доступна в WhatsApp, Messenger, Instagram Direct. Пользователи тестили и отмечают, что модели не оправдывают ожиданий в ключевых областях: Слабые результаты в программировании - Llama 4 показывает худшие результаты чем GPT-4o, Gemini Flash, Grok 3 в тестах на написание кода.
Gemini 2.5 лучше для программирования, а Claude Sonnet для сложных задач. Главным предметом дискуссий стала практическая недоступность моделей для обычных пользователей. Неподъемные аппаратные требования. Модели представляют собой гигантские MoE, которые нельзя запустить на потребительских GPU, даже с квантизацией. Даже самая маленькая модель (109B) с 4-битной квантизацией требует около 55GB видеопамяти — больше, чем имеют даже две RTX 4090. Еще одной точкой критики стало контекстное окно в 10 миллионов токенов. Пользователи отмечают его виртуальным, т.к. модель не тренировалась на промптах длиннее 256K.
Это означает, что при подаче более длинных текстов качество ответов будет низким. Даже если ваша задача требует меньше 256K токенов, вы все равно получите низкое качество ответов, т.к. получить большое количество качественных обучающих примеров такой длины практически невозможно. Релиз llama 4 спровоцировал и более глубокую дискуссию о том, что на самом деле означает "открытость" в современном ИИ. Llama 4 - это модель не с открытым исходным кодом, хотя веса модели доступны для скачивания, реальные технические ограничения делают их использование невозможным для большинства исследователей и разработчиков.
Несмотря на критику, некоторые эксперты отмечают значимые технические инновации у llama 4: 1. Научно обоснованный подход к контексту - техника без позиционных вложений опирается на исследования, в том числе на эту. 2. Инновационные методы обучения - прогрессивные подходы к балансировке различных методов обучения (SFT/RL) и адаптивную фильтрацию данных. Возникает фундаментальное противоречие между технической открытостью и практической доступностью.
