Китайцы из ТикТока заметили, что noise scheduler-ы в стандартной реализации Stable Diffusion не доводят дело до конца. То есть не денойзят картинку до абсолютно чистого состояния. Кроме того, некоторые шедулеры не начинают работу с Гауссовкого шума, что тоже в теории нехорошо, и создает разрыв между трейном и инференсом. ХЗ, есть ли эта проблема в cолверах из репы k-diffusion.
Эти ошибки вызывают реальные проблемы. Например, в SD это серьезно ограничивает возможность генерировать яркие и темные картинки, позволяя только генерацию со средней яркостью. Короче, dynamic range ограничен.
Китайцы предложили несколько простых фиксов:
— Масштабирование графика шума, чтобы обеспечить нулевой SNR на шаге t=0.
— Обучение модели с предсказанием значения v (ну, это не новость)
— Изменение сэмплера, чтобы он всегда начинал денойзинг с последнего timestep.
— Масштабирование Classifier Free Guidance, чтобы предотвратить переэкспозицию.
Ссылка на статью.
Эти ошибки вызывают реальные проблемы. Например, в SD это серьезно ограничивает возможность генерировать яркие и темные картинки, позволяя только генерацию со средней яркостью. Короче, dynamic range ограничен.
Китайцы предложили несколько простых фиксов:
— Масштабирование графика шума, чтобы обеспечить нулевой SNR на шаге t=0.
— Обучение модели с предсказанием значения v (ну, это не новость)
— Изменение сэмплера, чтобы он всегда начинал денойзинг с последнего timestep.
— Масштабирование Classifier Free Guidance, чтобы предотвратить переэкспозицию.
Ссылка на статью.
