neurogenerated

Модель называется Sora, она способна генерировать видео с нуля или продолжать уже существующие.

В разработке использовались наработки ChatGPT и Dall-E

Примеры генераций для которых использовалась только текстовая подсказка.

Больше примеров можно увидеть на официальном сайте.

Рассказываю о нейросетях и делаю портативные сборки для запуска в 1 клик у себя в Телеграм канале

За последнюю неделю по сети прокатилась целая волна постов про InstantID, позволяющего без обучения и файн-тюнинга создавать изображения с загруженным вами лицом человека. Но самая главная проблема заключалась в том, что при локальном запуске, официальная версия требовала 24 гигабайта видеопамяти для своей работы. Мне же удалось поумерить аппетиты до 12-14 гигабайт, а также ускорить вывод в несколько раз.

Видеообзор на мою модификацию вы можете посмотреть в видео выше, про саму же технологию уже был обзор тут: InstantID: Создание персонализированных изображений по одному фото. И лучший бесплатный генератор нейро-аватарок на сегодняшний день

В этом посте же я расскажу про отличия и особенности модификации. Ссылка на загрузку будет в конце данного поста.

Перевод на русский

Интерфейс программы переведен на русский язык, чтобы повысить комфорт работы для людей, которые недавно начали работать с нейросетями. Расширенные же настройки остались на английском, т.к. многие термины для опытных пользователей привычнее видеть именно в таком формате.

Не требует установки

Сборка является портативной - она не требует установки каких либо доп программ, пакетов либоо чего-то еще. Вам надо всего лишь распаковать архив и запустить один из bat файлов. Единственное при первом запуске она скачает модель. Это было сделано для того чтобы не раздувать размер архива до 20+ Гб.

Расширенный функционал

Кроме оптимизации памяти, я добавил RestoreFormer++ для улучшения лица, а также возможность увеличивать размер изображения на выходе до x4. В будущих обновлениях планирую добавить выбор модели для апскейла.

Оптимизация и работа без видеокарты

Базовая версия требовала 30 шагов для создания изображения. Благодаря технологии LCM и SDXL Turbo, я снизил количество шагов до 4 по умолчанию. Такое значение ускоряет вывод в несколько раз, при этом выдавая вполне нормальное качество.

Благодаря всему этому, работа через процессор стала возможной. К примеру генерация на Ryzen R9 5900X заняла около 2-х минут с использованием 20-24 гигабайт оперативной памяти. Увы, из за того что CPU не поддерживает по умолчанию FP16 и работает в режиме FP32 потребление памяти больше, чем на GPU. Возможно в будущем получится оптимизировать работу с использованием bfloat16, тогда потребление оперативки будет намного меньше.

Если вы владелец RTX 3090, 4090 или какой-то подобной карты, вы можете отключить оптмизацию работы с памятью и ускорить вывод. Для этого, сразу после запуска откройте расширенные настройки и отключите Enable TinyVAE и Enable Attention Slicing

Также вы можете заменить модель по умолчанию. Пока что поддерживаются только модели с HuggingFace. Для этого отредактируйте bat файл для запуска и измените строку с:

python gradio_demo\app_lcm.py
на

python gradio_demo\app_lcm.py --pretrained_model_name_or_path hg_username/model_name

где --pretrained_model_name_or_path это аргумент для указания модели, а hg_username/model_name это указание на модель. После измненеия модель загрузится с HuggingFace и в последующем уже будет работать локально.

Нормальную поддержку выбора кастомных моделей с Civitai добавлю позже.

Где скачать

Скачать архив с портативной версией можно тут. Или же через Яндекс Диск

Если у вас ошибки при распаковке - обновите WinRAR.

Важно чтобы в пути до папки со сборкой не было кириллических названий, путь должен быть на английском, иначе возможны серьёзные ошибки.

Будущие обновления

Будущие обновления будут публиковаться в моем Телеграм канале. Там же вы можете найти и другие сборки различных нейронок.

Если же у вас возникнут проблемы, то вы можете спросить как и решить в нашем чате

Для "майского" системного промпта среднее значение ответа в токенах составило 4298 токенов.

Для "декабрьского" системного промпта среднее значение составило 4086 токенов

А это еще Рождество не наступило, там и вовсе на праздники уйдет

Neurogen - рассказываем о нейросетях доступно

Сегодня на обзоре будет версия img2vid, создающая видео на основе изображения. Для комфортной работы понадобится видеокарта Nvidia с количеством видеопамяти не менее 16 гигабайт. Если у вас меньше, но приличное количество оперативной памяти - вы тоже можете попробовать, но главное обновите драйвер до последней версии.

Интерфейс программы достаточно простой и по факту процесс генерации заключается в двух действиях:

• Прикрепить изображение

• Нажать Generate

Но, здесь есть и дополнительные настройки.

Seed - по умолчанию, каждая попытка выдает рандомный результат. Если вы хотите повторить попытку, используйте один и тот же seed

Number of frames decoded at a time - Параметр, который должен влиять на скорость работы, но по факту его влияние не так ощутимо. Для уменьшения потребления видеопамяти рекомендуется выставить на 1

Number of frames in video - Количество кадров в видео. Параметр экспериментальный и работает нестабильно, лучше оставить как есть

Motion bucket id - влияет на количество и тип анимаций в видео.
Frames per second - FPS, сколько кадров в секунду будет у вашего видео

Получившиеся результаты сохраняются в папку outputs

Портативная версия отличается тем, что всё уже готово для работы, вам не надо устанавливать Python, Cuda и т.д. - качаете, распаковываете и запускаете.

Скачать архивом и через torrent можно тут:

Скачать
Качаете все файлы, затем распаковываете архив который заканчивается на 001. Остальные файлы подтянутся сами, другие архивы распаковывать не надо. Затем просто запускаете start_portable_nvidia.bat и ждете когда откроется вкладка с WebUI в браузере. Если этого не произошло то просто откройте сами адрес http://127.0.0.1:7860

Что же касается генерации по текстовому промпту - релиз данной версии будет в моем Телеграм канале. Также там можно найти и другие портативные сборки различных нейронок.

А если захочется обсудить данную сборку или же просто пообщаться на тему ИИ, то вступайте в наш чат.

Для начала, нам необходимо выбрать модель. Программа использует RVCv2 модели, поэтому качать надо именно их. Вот большой список моделей, нас интересуют только RVCv2 модели. Также модели различных русскоязычных дикторов, певцов и ютуберов можно найти в Телеграм боте моего коллеги (кстати, там же можно найти все мои портативные сборки).

Итак, качаем zip архив с моделью и помещаем ее в папку rvc_models. Затем в интерфейсе можно нажать Refresh Models дабы программа увидела новую модель.

Затем загружаем аудио. Это можно сделать, просто вставив ссылку на Ютуб и программа сама скачает аудиодорожку, либо же выбрать файлом на ПК.

Ну и третий этап - Нажимаем кнопку Generate и ждем результата. На выходе мы получаем готовый аудиофайл, где инструментал уже сведен с вокалом. Если же голос звучит слишком низко/высоко, то отрегулировать тон вы можете через Pitch Change (меняет только тон голоса), либо через Overall Pitch Change (меняет тон все аудиодорожки). После внесения изменений, снова нажимаем Generate и слушаем результат.

Итоговое аудио будет в папке song_output, либо вы можете скачать его нажав на стрелочку рядом с аудиодорожкой в интерфейсе.

Скачать портативную версию программы (не требующую установку Python, Cuda и всего остального) можно с моего Boosty (бесплатно).

Вам надо:

• Скачать все архивы, распаковать архив с окончанием 001, остальные подтянутся сами.

• Запустить файл start_portable_nvidia.bat

После чего в браузере откроется интерфейс. Если этого не произошло, то скопируйте адрес из консоли и вставьте его самостоятельно.

Обновления и другие портативные сборки можно скачать в моем Телеграм канале.

Также, если у вас есть какие-то вопросы или хочется что-то обсудить, то вступайте в наш Телеграм чат.

В целом, нейросеть максимально простая. На вход мы подаем изображение и видео, с которого будет захватываться анимация, подогнанное друг под друга. Затем нажимаем генерировать и получаем видео анимированного лица. Пример можно посмотреть в небольшом обзоре выше.

Что же касается работы, в целом программа работает как с GPU ускорением, если у вас видеокарта Nvidia так и без него, но уже на вашем процессоре.

Саму нейросеть можно найти тут: Github

В чем отличие портативной версии:

• Есть графический интерфейс

• Все готово к работе, не надо ничего качать и устанавливать

• Последние версии библиотек для работы с GPU

Скачать портативную версию можно тут.

Ну а если вам интересны другие прикладные нейронки, а также их портативные сборки, то подписывайтесь на мой Телеграм канал.

Если же вы просто хотите пообщаться на тематику нейросетей, у вас есть какие-то вопросы, то добро пожаловать в наш чат.

Новое обновление Fooocus (о нем я рассказывал тут: Fooocus - простой webui для SD XL от разработчика ControlNet, вдохновленный концепцией MidJourney), клиента для Stable Diffusion XL, добавляет поддержку Latent Consistency Models (LCM), который позволяет генерировать изображение за несколько секунд. Подобная магия достигается за счет того, что уже за 8 шагов можно получить приемлемое качество изображения, вместо ~30 шагов у других планировщиков.

Давайте разберем, как включить LCM. В данном гайде я буду разбирать на примере собственного мода Fooocus, который был переведен на русский язык. Скачать его можно тут.

Для того чтобы активировать LCM, нам надо выбрать Дополнительно, а затем в появившемся справа меню открыть Экстремальная скорость

Произойдет активация LoRA SD XL и Fooocus перенастроится в режим работы с LCM.

Если вдруг, вам понадобится более тонко настроить параметры генерации, то вы можете это сделать перейдя в Дополнительно > Дополнительно > Режим отладки разработчика

Больше сборок популярных и полезных нейросетей можно найти в моем Телеграм канале.