Flux Schnell (FP8) бесперебойно работает на RTX 2060 объемом 6 ГБ после отключения резервной копии общей памяти для ComfyUI.
Запрос выполняется за 107,47 секунды - 4 шага, без изменения.
16,86 с / с
Изображение 512x768.
1024x1024 занимает значительно больше времени.
Я бы порекомендовал исправление с высоким разрешением или другое увеличение масштаба ... pic.twitter.com/LKe1rWzyQV
— jaldps (@jaldpsd) 5 августа 2024 г.
Для этого вам необходимо отключить обратный вызов системной памяти для стабильного распространения, чтобы ваш графический процессор мог перенести часть своей работы из внутренней видеопамяти в вашу системную оперативную память. Это позволяет избежать печально известной ошибки OOM (нехватки памяти), хотя и за счет того, что она работает значительно медленнее. Чтобы отключить эту опцию, следуйте этому руководству от Nvidia .
Настоящие MVP в мире искусственного интеллекта продвинулись дальше, выпустив 4-битные квантованные модели. Эти плохие парни используют нечто, называемое квантованием "нормальной точки" (NP), которое обеспечивает отличное качество и скорость, благодаря которым ваш компьютер potato будет чувствовать себя так, словно он только что получил турбонаддув. NP-квантование не ухудшает качество так сильно, как FP-квантование, поэтому в общих чертах запуск этой модели дает отличные результаты на высоких скоростях, требуя небольших ресурсов.
Это слишком хорошо, чтобы быть правдой, но это правда.
Как запустить Flux на графических процессорах более низкого уровня
Итак, как на самом деле запустить эту упрощенную версию Flux? Во-первых, вам нужно получить интерфейс, такой как SwarmUI, ComfyUI или Forge. Мы любим ComfyUI за его универсальность, но в наших тестах Forge увеличил скорость примерно на 10-20% по сравнению с другими, так что это то, с чем мы работаем здесь.
Перейдите в репозиторий Forge на GitHub (https://github.com/lllyasviel/stable-diffusion-webui-forge) и загрузите установочный пакет в один клик. Он с открытым исходным кодом и проверен сообществом, поэтому здесь нет никаких схематичных действий.
Что касается самих моделей NP4 Flux, Civit AI - это ваш универсальный магазин. У вас есть два варианта на выбор: Schnell (для скорости) и Dex (для качества). Оба можно загрузить с этой страницы.
После того, как вы все загрузили, наступает время установки:
- Распакуйте файл Forge и откройте папку Forge.
- Запустите update.bat, чтобы получить все зависимости.
- Запустите run.bat для завершения настройки.
Теперь поместите эти блестящие новые модели Flux в папку \webui\ models\Stable-diffusion в вашей установке Forge. Обновите веб-интерфейс Forge (или перезапустите, если вам нравится старая школа), и бум — вы в деле.
Совет профессионала: Чтобы действительно выжать все до последней капли производительности из вашего восстановленного устройства, уменьшите разрешение. Вместо того, чтобы использовать полное разрешение SDXL (1024x1024), попробуйте более скромные размеры SD1.5 (768x768, 512x768 и аналогичные). Позже вы всегда можете увеличить масштаб и использовать Adetailer для получения этих четких деталей.
Давайте поговорим о цифрах: на скромном RTX 2060 с 6 ГБ видеопамяти Flux Schnell в режиме NP4 может создать изображение размером 512х768 примерно за 30 секунд, по сравнению со 107 секундами, требуемыми версией FP8. Хотите добиться успеха? Потребуется около пяти минут, чтобы увеличить масштаб этого bad boy до 1536x1024 с исправлением высокого разрешения.
Хотите добиться успеха, не нарушая работу графического процессора? Лучший вариант - начать с Flux Schnell с разрешением SD1.5, затем отправить это создание через img2img. Масштабирование с использованием стандартной модели стабильной диффузии (SD1.5 или SDXL) с низким уровнем шума. Весь процесс выполняется примерно за 50 секунд, что сопоставимо с производительностью MidJourney в вялый день. Вы получите впечатляющие масштабные результаты, не расплавляя видеокарту.
Настоящий кайф? Некоторые сумасшедшие ребята, по сообщениям, запустили Flux Schnell NP4 на GTX 1060 с 3 ГБ видеопамяти, при этом разработка Flux занимает 7,90 с на итерацию. Мы говорим о графическом процессоре, который практически хрипит от жизнеобеспечения, и здесь он создает передовые технологии искусственного интеллекта. Не слишком убогое оборудование, которое практически имеет право на пенсию.
" 
