Вероятней всего вы получаете шум или пустоту, вместо красивой картинки, при попытки генерации используя Flux модель на том же Stable Diffusion web UI by AUTOMATIC1111.
Или ошибку You do not have CLIP state dict! используя Flux модель на другой панели.
И видимо именно поэтому вы это читаете.
А не о том как запустить локальную установку для генерации пикч.
Если вы получаете шум или пустоту, значит панель не поддерживает Flux модели.
На момент написания этой заметки Flux работает в WebUI Forge и ComfyUI, которые так же имеются в Stability Matrix. И еще, на текущий момент с Flux идеально работают только видеокарты NVIDIA.
Модели
При запуске Flux моделей (и соответственно других моделей на основе Flux), возникает ошибка:
| |
Она возникает из-за отсутствия text encoder, так же это называют CLIP, хотя это немного разные вещи.
Чтобы, все таки запустить Flux модель, нужно скачать энкодеры и VAE.
Качаем энкодеры, clip-l* и t5* здесь.
Что использовать fp8 или fp16 зависит от вашего железа.
Если у вас мало VRAM 4-8Gb и немного оперативной памяти 8-16Gb, используйте fp8.
Если у вас средне VRAM 11-12Gb, и много оперативной памяти 32Gb+, можно использовать fp16.
Если у вас всего много, особенно VRAM 20Gb+, то смело используйте fp16.
Качаем VAE, vae/diffusion_pytorch_model.safetensors и ae.safetensors здесь или здесь.
VAE помещаем в models\VAE, энкодеры в models\text_encoder или models\CLIP (если вы используете Stability Matrix).
Осталось только загрузить VAE и энкодеры в соответствующем списке.
Загружать их можно в любом порядке.
Подробнее так же можно почитать от разработчика WebUI Forge.