nik0899

Всем привет, сегодня я расскажу о том, как мы с группой сгенерировали видеоклип с помощью разработанной нами программы.

Думаю, будет интересно всем, кто интересуется созданием ИИ, разработкой алгоритмов, музыки и видео, погнали:

В качестве ЯП я выбрал Python: оказалось, на нем больше всего библиотек для обработки видео и звука - как раз то, что нам надо. Первым делом я научил программу распознавать различные параметры в музыке, например: спектральная ширина, спектральный центроид и т.д.

Затем на основе этих данных научил программу генерировать изображения, диаграммы, схемы, чтобы потом включить их в видеоклип.

Вот самые красивые:

Кроме того, что эти схемы попали в конечный клип, они помогли проанализировать данные, связав их с музыкальным восприятием: мы выбирали наиболее значимые скачки, сравнивали их со звуком и, немного позже, подбирали нужные эффекты для видеоряда.

Основными кадрами для видео стали фрагменты дома, в котором жили и творили, - старинном в особняке адвоката Городисского, который, как нам показалось, как нельзя лучше подходит для экспериментов с визуально-музыкальным искусством:

Подробно описывать процесс анализа и подробной разработки сейчас я не буду, чтобы вы не заскучали (если же кому-то интересно - напишите в комментариях, я обязательно сделаю отдельный пост). Пока расскажу в общих чертах поэтапную работу программы:

1. Программа определяет порядок видеоотрезков.

2. На основе характеристик музыки она обрезает, вставляет и соединяет видеоотрезки.

3. Так же на основе музыки она накладывает различные эффекты и схемы.

4. Выгружает конечный вариант видео.

В итоге получился вот такой результат:

Именно это видео мы представили на итоговой выставке арт-резиденции в Оренбурге.

Конечно, это только прототип, созданный за 10 дней пребывания в резиденции, однако мы планируем и дальше развивать программу, желательно, создать такую ее версию, которая позволила бы организовывать живые выступления с видеобработкой в режиме реального времени.

Спасибо за прочтение!

+ Бонус