@lina @johan насколько я понимаю, процесс отрисовки устроен через взятие картинки и постепенное добавление в неё "шума".
Текст запроса определяет черты этого "шума", и на картинке отдельные черты из запроса оказываются там, где их разместить "проще" всего, где нужно меньше всего этого "шума", т. е. где уже в исходной картинке есть что-то хотя бы отдалённо похожее (близкой формы, цвета).
Генерация просто из текста, по-моему, начинает с картинки белого шума, поэтому максимально случайна в своём выводе, т. к. узнаваемых образов в белом шуме нет.
@dside @lina В принципе, так и есть, только рисуется не «добавлением шума», а, наоборт, его, ну, типа изменением, фильтрацией (в этом месте я не пони маю, конечно), оценивая результат по вот этой здоровенной базе, и выбирая максимально адекватный.
Т.е. из белого шума получится что угодно, из готовой картинки — уже, да, с цветом и расположением объектов.
@johan под "шумом" я понимаю "массированные случайные крошечные изменения". И запрос (промпт) позволяет предпочитать изменения, характерные для черт из промпта; а алгоритм сделан так, что "черты" из промпта тянутся к вероятным местам своего размещения на входной картинке и добавляют в них связанных деталей, итерация за итерацией "стабилизируя" эту черту на картинке (отсюда, видимо, слово stable в названии).
Примерно как если бы художник рисовал серию рисунков по цепочке, делая каждый следующий рисунок с оглядкой на предыдущий (и пытаясь от него сильно не отклоняться), но чуть детальнее и держа в уме то, что попросили. Повторить процедуру много раз – и вот результат.
@lina