Локальная AI генерация изображений. Stability Matrix

✨ Введение: О Stability Matrix

Мы будем использовать Stability Matrix. Это многоплатформенный менеджер пакетов для Stable Diffusion, который работает на Windows, Linux и macOS. Кроме того, Stability Matrix поддерживает установку различных панелей для управления генерацией изображений, включая те, которые работают с Flux моделями.

Stability Matrix делает все за вас, и вам не нужно устанавливать множество зависимостей отдельно и вручную. Это удобно, потому что все необходимые зависимости будут в одном месте и не повлияют на вашу операционную систему.

Например, если у вас уже установлен Python определенной версии, Stability Matrix все равно установит нужную версию и будет использовать только ее, не меняя вашу. Если Python у вас нет, после установки панели через Stability Matrix он также не появится в системе - версия, которую установит Stability Matrix, будет использоваться только через Stability Matrix.

🖼️ Пикчи

Изображения сгенерированы моделью flux1-dev-bnb-nf4-v2.

⚙️ Установка Stability Matrix

Переходим на страницу GitHub репозитория Stability Matrix, качаем либо со страницы релизов:

Либо ниже с кнопок в README:

Stability Matrix можно установить или запустить без установки (portable). Я рекомендую второй вариант. Для этого нужно создать папку для Stability Matrix и запустить исполняемый файл из этой папки.

Разумеется, соглашаемся с лицензионным соглашением, даже не читая его:

Далее выбираем путь куда установить или используем Portable Mode:

В конце установки Stability Matrix предложит сразу же установить какую-нибудь панель.

Если вы не знаете что вам нужно, нажимайте Skip first-time setup:

🚀 Установка и запуск первой панели

Панели устанавливаются на вкладке Packages:

Нажимаем на Add Package:

Здесь перечислен список панелей для скачивания и установки. У каждой панели указано с чем она может работать: CPU, NVIDIA, DirectML, AMD (Linux), macOS и др.

Если это ваш первый раз, рекомендую «Stable Diffusion WebUI» от AUTOMATIC1111 или «Stable Diffusion WebUI Forge» от lllyasviel.

В плане интерфейса «Stable Diffusion WebUI» и «Stable Diffusion WebUI Forge» очень похожи.

Но Forge версия, имеет больше фич и может работать не только с SD (Stable Diffusion) моделями, а еще и с Flux.

Запуск Flux моделей локально

You do not have CLIP state dict!

nozsh

Когда выбрали нужную панель, нажимаете Install:

Установка может занять приличное кол-во времени, в зависимости от панели.

После установки, нажимаем 🚀 Launch, запуск панели тоже может занять некоторое время.

Если все запустилось и критических ошибок нет, то в выводе вы увидите что-то вроде этого:

1

local URL:  http://127.0.0.1:7860

Если этот URL не открылся в браузере автоматически, перейдите по URL или скопируйте вручную.

Узнать как пользоваться WebUI от AUTOMATIC1111 можно в статье про Stable Diffusion.

Или в видео на YouTube:

Low VRAM Warning

1
2
3
4
5
6

[Low VRAM Warning] You just set Forge to use 100% GPU memory (**** MB) to load model weights.
[Low VRAM Warning] This means you will have 0% GPU memory (0.00 MB) to do matrix computation. Computations may fallback to CPU or go Out of Memory.
[Low VRAM Warning] In many cases, image generation will be 10x slower.
[Low VRAM Warning] To solve the problem, you can set the 'GPU Weights' (on the top of page) to a lower value.
[Low VRAM Warning] If you cannot find 'GPU Weights', you can click the 'all' option in the 'UI' area on the left-top corner of the webpage.
[Low VRAM Warning] Make sure that you know what you are testing.

В некоторых случаях вы можете получать предупреждение Low VRAM Warning.

Это предупреждение сообщает о том, что вы выделили слишком много видеопамяти для панели, и скорость генерации может ухудшаться с каждым разом.

Решение: уменьшите выделенную память на 500-1500 МБ. Например, если у вас 12 ГБ VRAM, выделите панели 11 ГБ VRAM.

Как это сделать зависит от панели, но вот как это делается в WebUI Forge:

🔍 Обзор Stability Matrix

Как устанавливать модели

Модели, LoRA, энкодеры, VAE и все остальное для всех панелей, находятся в /Data/Models, основное:

• /StableDiffusion/ - модели (любые, не только SD)
• /Lora/ - LoRA
• /CLIP/ - экнодеры
• /VAE/ - VAE.

Packages

Вкладка Packages, как вы, наверное, уже поняли, существует исключительно для управления пакетами (панелями). Установка, обновление, удаление, запуск и пр.

Подвкладка Inference (в Add Package) предназначена для установки панелей, в первую очередь для обычного запуска моделей.

Подвкладка Training (в Add Package) нужна для установки панелей, ориентированных на обучение моделей.

Inference

Inference - обновленный интерфейс для Stable Diffusion, встроенный в Stability Matrix.

Возможно кому-то будет полезно, но лично я предпочитаю использовать стоковый интерфейс установленной панели.

Checkpoint Manager

Если Packages это менеджер пакетами, то Checkpoint Manager это менеджер всех ваших установленных моделей, лора, экнодеров и тд.

Model Browser

В Model Browser вы можете просматривать модели и сразу же скачивать их с Hugging Face.

Кроме того, вы можете привязать аккаунт Civitai (Settings - Accounts), чтобы просматривать и скачивать модели, Lora и другие ресурсы с сайта Civitai прямо из Stability Matrix.

Output Browser

В Output Browser вы можете увидеть все сгенерированные изображения.

Workflows

Сложно сказать что такое Workflows, так как я этим не пользовался. Но вот пояснение от ChatGPT:

Workflows могут представлять собой готовые процессы или сценарии, которые упрощают выполнение определенных задач. Это своего рода набор инструкций или автоматизированных шагов, которые пользователи могут использовать, чтобы легче взаимодействовать с моделями или инструментами. Их можно рассматривать как дополнительные инструменты для упрощения работы.

📦 Где брать модели

Наверное самый лучший сайт где можно брать модели, это Civitai.

Civitai предлагает не только огромный выбор моделей, но и возможность для авторов публиковать изображения. Пользователи также могут загружать изображения, сгенерированные с помощью этих моделей, что позволяет сразу увидеть, что вы получите.

Так же вы можете найти модели на Hugging Face.

И конечно же вы можете найти модели на просторах интернета.