Новости Common Diffusion Noise Schedules and Sample Steps are Flawed

Admin

Администратор
Команда форума
Администратор
Сообщения
919
Реакции
8
Китайцы из ТикТока заметили, что noise scheduler-ы в стандартной реализации Stable Diffusion не доводят дело до конца. То есть не денойзят картинку до абсолютно чистого состояния. Кроме того, некоторые шедулеры не начинают работу с Гауссовкого шума, что тоже в теории нехорошо, и создает разрыв между трейном и инференсом. ХЗ, есть ли эта проблема в cолверах из репы k-diffusion.

Эти ошибки вызывают реальные проблемы. Например, в SD это серьезно ограничивает возможность генерировать яркие и темные картинки, позволяя только генерацию со средней яркостью. Короче, dynamic range ограничен.

Китайцы предложили несколько простых фиксов:

— Масштабирование графика шума, чтобы обеспечить нулевой SNR на шаге t=0.
— Обучение модели с предсказанием значения v (ну, это не новость)
— Изменение сэмплера, чтобы он всегда начинал денойзинг с последнего timestep.
— Масштабирование Classifier Free Guidance, чтобы предотвратить переэкспозицию.

Ссылка на статью.
 

Вложения

  • photo_2023-05-19_05-23-09.jpg
    photo_2023-05-19_05-23-09.jpg
    160.8 KB · Просмотры: 157
  • photo_2023-05-19_05-25-14.jpg
    photo_2023-05-19_05-25-14.jpg
    199.5 KB · Просмотры: 146
  • photo_2023-05-19_05-25-15.jpg
    photo_2023-05-19_05-25-15.jpg
    89.6 KB · Просмотры: 137
Назад
Сверху