Бесплатно и локально: создаём музыкальные клипы

Создаём полноценный AI-музыкальный клип прямо на вашем компьютере — без платных сервисов, без рендера в облаке и без кастомных нод. В этом уроке я показываю, как пройти путь от идеи до готового музыкального видео целиком внутри ComfyUI, используя только встроенные шаблоны. Мы начинаем с генерации портрета «актёра», затем создаём AI-трек из текста, и в конце используем звук-в-видео workflow, чтобы анимировать изображение под музыку. Всё работает локально на вашей машине и основано на бесплатных инструментах. В видео я использую ComfyUI 0.3.68, но этот рабочий процесс подходит и для более новых сборок, а также для версий примерно с 0.3.65+, где уже есть обновлённые шаблоны. Что вы узнаете Как создать изображение персонажа/актёра с помощью встроенных шаблонов Flux Почему крупные портреты работают лучше, чем полный рост, для липсинка и анимации Как пользоваться встроенным аудио-шаблоном Text-to-Song для локальной генерации музыки Практические ограничения по длине трека (почему сейчас оптимально около 60 секунд) Как использовать шаблон WAN 2.2 sound-to-video (S2V) для анимации изображения Как собирать более длинные клипы с помощью chunk length и batch size Как управлять VRAM и выгружать модели при переключении workflow Как использовать описания и негативные промпты, чтобы уменьшить артефакты и «сломанную» анимацию Весь основной пайплайн построен на стандартных шаблонах ComfyUI — никаких кастомных нод не требуется. Вам нужно только докачать модели, которые сам ComfyUI попросит при первом запуске. Требования Установленный и рабочий ComfyUI (полная установка — в моём видео «ComfyUI от A до Я») Видеокарта с достаточным объёмом VRAM для Flux и WAN 2.2 (желательно) Готовность немного поэкспериментировать с промптами и сделать пару попыток, пока не получите результат, который вам нравится Мой ролик с установкой и базами ComfyUI «от A до Z» (как установить ComfyUI и ComfyUI Manager) Подробный разбор WAN 2.2 (отдельное видео с поузловым объяснением extender-workflow) Присоединяйтесь к нам в Telegram: Чат:
Новости: @geekatplayru ⚠️ AFFILIATE DISCLOSURE: We may earn a commission from purchases made through the links below at no extra cost to you. Recommended services: Best quality outfits:
NordVPN:
Assets:

Topaz AI Video and Photo processing:
My store:
Patreon:   / geekatplay  
00:00 Вступление: локальные музыкальные клипы и липсинк в ComfyUI без платных сервисов 00:43 Версия ComfyUI и общий план workflow 01:07 Где лежат шаблоны и как обновить ComfyUI через updater 02:13 Создание персонажа: выбор Flux, эксперименты с портретом и полным ростом 03:59 Переходим к аудио: шаблон A Step Text to Song 04:53 Язык, текст песни и загрузка модели один раз на диск 05:09 Оптимальная длина трека: почему около 60 секунд и что делать с длинными песнями 06:05 Пример результата и качество локальной генерации музыки 06:24 Подключаем WAN 2: шаблон sound-to-video в разделе Video 07:13 Где подробнее узнать про ноды и разбор WAN 2 workflow 07:32 Структура workflow: две секции, какие настройки нам реально нужны 08:00 Загрузка моделей, музыки и картинки для анимации 08:24 Как делать длинные клипы: разбивка на сегменты и сборка в монтажке 09:07 Советы по overlap и стыковке губ с песней 09:40 Промпты для анимации, влияние описаний и негативные промпты 10:23 Поддержка разных языков в промптах и негативных промптах 10:57 Chunk size, batch size и включение дополнительных «экстендеров» 11:43 Оставляем настройки по умолчанию и запускаем рендер 12:24 Финал: спасибо за просмотр и ссылки в описании