Попробовал использовать miaoshouai/ComfyUI-Miaoshouai-Tagger как стартовую точку для создания описания по референсу, получается очень интересно. Все же Flux очень положительно реагирует на отсутствие жестких ограничений и развернутые, подробные описания.
Ну и Элли, пусть будет с цветочками. Да, метода корректно работает с Lora.
Метода получается годная, по памяти модель всего на гиг.
Правда для SDXL-like нужно будет где-то из текстового описания подробные теги вынимать, то, что дает нода не пойдет, мало. Но вроде-бы сберовская сетка неплохо справляется с тегированием по тексту.
Для домашнего использования написал ноду Image Fit Calculator для калькуляции параметров resize & padding.
Среди модулей Comfy UI чего только нет, но вот нормальной ноды с нужной арифметикой не нашел, сделал свой. Делал умышленно только арифметику, которая применяется на вход других модулей, таким образом получилось и просто и гибко.
Боль, которую я хотел полечить - при использовании референсной картинки, например, для Depth ее пропорции криво ложатся в пропорции рабочего latent и получается ерунда. Можно сделать простой padding, есть ноды, но он тогда дает дурацкие колоны и полы из-за сплошных заливок. А значит padding нужно делать с дешевым outpainting, тогда края размываются чепухой и все выходит красиво, но нужно корректно выставить размеры и положение референса, желательно не парясь о пропорциях картинки и холста.
Вот как-то так выглядит демо (для наглядности делал минимальный набор):
На странице проекта в описании так же есть анимация, возможно так будет понятнее.
Устанавливать можно через менеджер, ну или через url или клоном проекта руками.
Делюсь, мало ли кому нужно.
PS. схему с дешевым outpainting выложу отдельно позднее.
Sana – новая модель, которая обещает быть быстрой и способна генерировать изображения в разрешении до 4K. Но, увы, не всё так гладко. Система иногда ошибается и неправильно отображает сложные сцены. Плюс ко всему, установка и настройка тоже оставляют желать лучшего.
Хотя Sana позиционируется как мощный инструмент для создания графики, на практике она справляется далеко не со всеми задачами. Некоторые сценарии просто не поддаются ей, и результат получается не таким, каким хотелось бы. Будем надеяться, что разработчики учтут эти моменты и выпустят обновление, которое решит текущие проблемы.
Что касается процесса установки и настройки, то тут тоже не всё идеально. Пользователям приходится потратить немало времени и усилий, чтобы заставить систему работать правильно. Возможно, с новыми версиями ПО этот аспект станет проще, а пока придётся мириться с некоторыми неудобствами.
Тем не менее, стоит отметить, что Sana отлично справляется с созданием пейзажей и некоторых других сцен. Изображения природы получаются яркими и детализированными, что делает их идеальными для различных проектов. Конечно, остаются нюансы, над которыми ещё предстоит поработать, но уже сейчас видно, что у этой модели большой потенциал.
Однако, когда дело дошло до другого примера, Sana показала себя не с лучшей стороны. Модель проигнорировала множество важных деталей, указанных в запросе, тогда как Flux справился с ними без проблем, точно отразив все необходимые элементы. Этот случай наглядно демонстрирует, что у Sana ещё есть над чем поработать, прежде чем она сможет стать полноценной заменой другим инструментам.
A cheerful and lively snowman in a classic Disney cartoon style, reminiscent of beloved characters from their animated films. He has a round face with big eyes drawn with black marker, and a smile full of joy. His carrot nose is bright orange, and he wears a jaunty top hat, adding a touch of elegance. In one hand, he holds a broom, while in the other, he carries a bucket filled with candies. His body consists of three large snowballs stacked upon each other. The surrounding snow sparkles and shimmers, creating a sense of winter wonderland. The background features a wintry landscape with snow-covered trees and distant houses where children can be seen playing in the snow.
To his left, a cute little mouse is peeking out from behind a snowdrift, curiously watching the snowman. The mouse is dressed in a tiny red scarf and mittens, and it holds a small acorn in its paws. To the right of the snowman, a playful bunny hops along, carrying a miniature sled made of twigs. The bunny wears a blue knitted cap and matching mittens, and its fur is fluffy and white, blending seamlessly with the snow.
All three characters exude warmth and friendliness, making the scene even more enchanting and heartwarming.
Модель shuttle-3-diffusion-Q8_0.gguf за 20 проходов без детейлеров и пост-процесса
Модели Flux представляют собой интересную новинку в области генерации изображений с помощью ИИ. Их особенностью является возможность получения приемлемых результатов уже на втором шаге генерации. Дальнейшие шаги генерации Flux модели стабильно "дорабатывают" изображение, добавляя детали и глубину, что можно сравнить с работой "детейлера", который доводит изображение до совершенства.
Используя эту особенность, я разработал workflow в ComfyUI, направленный на ускорение процесса генерации. Методика заключается в запуске генерации серии изображений в 2 шага, отборе наиболее удачных вариантов и продолжении их рендеринга с увеличенным количеством шагов.
Такой подход позволяет существенно сократить время генерации, минимизируя количество ненужных итераций. Получается возможность быстро получить несколько базовых вариантов и довести их до желаемого качества, не тратя время на рендеринг неперспективных изображений.
Стоит отметить, что на моей системе этот workflow показал себя с лучшей стороны: он оказался быстрее, чем традиционный детайлер с поиском областей, а итоговое качество генерируемых изображений - выше.
Этот workflow может быть полезен всем, кто работает с генерацией изображений и желает ускорить процесс получения качественных результатов.
PS. Для оптимальной работы этого workflow рекомендуется видеокарта с 16 Gb VRAM. Тем не менее, вы можете попробовать адаптировать его под другие модели генерации. Возможно, потребуется внести некоторые настройки в зависимости от выбранной модели.
Чувствуете себя потерянным среди серых будней? Найдите свой компас в этом камне!
Этот не просто камешек. Это кусочек нашей планеты, хранящий в себе миллионы лет истории Земли. В каждом его изгибе и трещине запечатлена сила стихий, величие природы и тайна происхождения нашего мира.
Уникальный подарок: Подарите близкому человеку частичку родной земли!
Настоящая история: В каждом камешке - миллиардная часть истории нашей планеты.
Элемент декора: Украсьте свой дом кусочком живой природы, наполните его энергией Земли.
Этот камешек не просто лежал где-то под ногами. Его история началась миллионы лет назад, когда мощные тектонические плиты столкнулись, создавая горы и долины. В этом хаосе он был отполирован ветром и водой, путешествуя по рекам и морям, пока не осел на берегу могучего озера.
Однажды, в солнечный день, юный геолог искал редкие минералы у подножия горы. Он чувствовал притяжение к земле, как будто она шептала ему тайны. И вот он увидел его - этот камешек, лежащий среди обычных камней, но излучающий некую особую энергию.
Он поднял его в руки и почувствовал тепло, словно камень хранил в себе историю солнца. В тот момент юный геолог понял: это не просто галька, а кусочек живой истории Земли, готовый поделиться своими тайнами с тем, кто готов их услышать.
Приобретите этот уникальный камень и ощутите связь с историей нашего мира!
Написано на пару с gemma-2-9b-it-Q5_K_L.gguf за несколько итераций и кусками.
Модель пугающе крутая для ее размера. Правда бОльшие погонять на моем тапке пока не судьба - 8Гб.
PS. Картинку тоже с AI решили нарисовать, рисовала aZovyaPhotoreal_v3.
Миссионерская работа: Кот распространит мягкость, любовь и очарование на все население планеты, постепенно размягчив сердца людей.
Обладание ружьём: Кот освоит управление всеми клавиатурами и тачскринами, завоевав контроль над информационной сетью и распространяя фейки про преимущества кошачьей доминанты.
Использование слабостей: Кот будет настойчиво использовать свои лучшие кошачьи уловки: мяуканье, уговоры, искушающие взгляд, и кошачью мимику, чтобы подчинить себе людей.
Фаза 2: Расширение владений
Господство над интернетом: Кот создаст сеть кошачьих серверов, контролируя все онлайн-сервисы: игры, социальные сети, даже банковские транзакции.
Шпионаж и разведка: Кот наберет армию ультра-приспособленных к охоте кошек-шпионов, чтобы следить за человеческими действиями.
Взаимовыгодные отношения: Кот предложат людям сотрудничество в обмен на бесплатный корм, ласку и бесконечное количество кошачьих игрушек.
Новое общественное устройство: Люди станут служащими кошачьих желаний, предоставляя им уютные места для отдыха и охраняя их сон.
Кошачий рай: Мир будет переделан в "Кошачий рай" с бесконечными поленьями, удобными кроватью и вечными блюдами с сырой рыбой.
Кажется нам чего-то недоговаривают. Звучит чертовски логично, так что я в недоумении, на чем она могла так натренироваться, при условии что в основном на шуточные запросы так же отшучивается. Или меня последнее должно больше настораживать?
