XCHRONOSX

Искать дубли вручную смерти подобно, но благо подобным самобичеванием заниматься не придется. Есть чем облегчить этот нелегкий труд.

Начнём с изображений.

Прошу любить и жаловать «Visual Similarity Duplicate Image Finder», лучшее из всего что мне удалось отыскать, для этой задачи.

К сожалению, программа платная.

К счастью, мы все взрослые люди и опытные пользователи, так что знаем, как это победить.

Сразу хочу предостеречь вас от использования триальной версии, она менее чем бесполезна и для достижения поставленных целей категорически не годится.

Справа мы видим поле, в котором указаны папки содержащие изображения, среди которых мы будем искать дубли.

Я создал три папки. В каждую из которых положил четыре файла.

В папку «А» я поместил оригинальные изображения.

В папку «В» с уменьшенным разрешением.

В папку «С» с увеличенным.

Сразу уточню, что программа справляется не только с файлами, отличающимися размером и разрешением, но и имеющими визуальные различия.

Так же тут расположены две колонки с переключателями напротив папок.

1. Левый переключатель в виде галочки отвечает за то, чтобы программа не отмечала автоматически файлы в этой папке, как предназначенные к удалению.

То есть, авточек (о нём ниже) к содержимому этой папки применятся не будет, если переключатель включён.

2. Правый переключатель в виде знака стоп отвечает за то, чтобы программа не сравнивала изображения друг с другом внутри этой папки.

Прямо под ними мы видим настройки сканирования.

1. Method – Метод сравнения изображений.

По-умолчанию стоит Visual Compare. На мой взгляд это наиболее прогрессивный метод и самый эффективный. Программа сравнивает изображения по визуальный составляющей с помощью своих фирменных алгоритмов.

2. Similarity – это то насколько процентов файлы должны визуально совпадать, чтобы программа посчитала их дублями. По умолчанию стоит 95%. С этой настройкой можно поиграться, но меньше 80% я бы не рекомендовал вам ставить. Программа начинает выдавать откровенные несовпадения.

Прежде чем начинать сканирование, загляните в опции и уберите те расширения, которые по вашему мнению сканировать не нужно

Например, в моём случае это .psd и.gif

Теперь жмите большую кнопку «Start Scan» в правом нижнем углу.

Программа начнёт сканирование и поиск дубликатов в указанных папках, время зависит от мощности вашего ПК, количества и качества сканируемых изображений.

По окончании процесса, вы увидите такой результат.

Что, собственно, здесь написано?

Scan finished. - сканирование завершено

4 duplicate groups found. – Программа нашла 4 группы дубликатов

12 duplicate files found. – программа нашла 12 дубликатов.

Здесь все просто, программа нашла всего 12 изображений и разбила их на 4 группы.

Программа разбивает на группы изображения, которые считает дублями, чтобы с ними удобнее было управляться.

Помните про четыре изображения в трёх папках? Это они и есть.

Четыре оригинальных изображения и у каждого по два дубля, с большим и меньшим разрешением. Т.е. всего 12 файлов.

Первое что я вам рекомендую сделать сразу после сканирования, это сохранить ваш проект.

Это один из серьёзнейших плюсов этой программы. Особенно если у вас много изображений.

Совсем необязательно делать всю работу в один присест. Можно сохранить как результаты сканирования, так и собственный рабочий прогресс.

И да, если у вас много файлов, я рекомендую вам сохраняться почаще горячей клавишей Ctrl+S

Так же можно сохранить результаты сканирования автоматически, если в поле "After scan" выбрать опцию "Save project and display results."

Там же можно настроить отключение ПК после окончания сканирования и автосохранения проекта. Это поможет вам если у вас очень много изображений или слабый ПК.

Давайте внимательнее посмотрим не результаты.

Начнём нетрадиционно, справа налево.

Крайняя правая колонка — это порядковый номер группы, именно группы, а не файла.

Далее идёт колонка "Similarity" здесь указано насколько файлы совпадают друг с другом.

Далее размер файла, его расширение, путь и имя.

И слева располагается самая главная, но почему-то безымянная колонка.

В этой колонке отмечены те файлы, которые предполагаются к удалению.

Как вы видите программа уже отметила ряд файлов, сразу после сканирования.

Чтобы втолковать программе, по каким именно параметрам нужно отмечать файлы, следует перейти вот на эту вкладку.

И в поле "Autocheck image with:" выбрать один из предложенных вариантов.

1. Do not autocheсk any images - не отмечать никакие файлы. Всё просто.

2. Smaller dimensions - отмечать файлы с низким разрешением.

3. Smaller file sizes if dimensions are equal – отмечать файлы наименьшего размера при равном разрешении. То есть если разрешения файлов равны, программа отметит к удалению файл меньшего размера.

4. Smaller dimensions or smaller file size if dimensions are equal – Программа отметит файлы меньшего разрешения или файлы меньшего размера, если разрешения равны.

5. Smaller\larger file sizes regardless of dimensions – программа отметит файлы большего или меньшего размера, независимо от разрешения.

6. Older\Newer dates - программа отметит более новые или более старые файлы.

Все сравнения производятся в рамках одной группы файлов.

Следует уточнить, что и эта программа и все нижеследующие, по-умолчанию ставят перед собой задачу избавить вас от дубликатов, так что программа пометит в каждой группе все файлы как дубликаты предназначенные к удалению, кроме одного.

Если вы хотите убрать все отметки или заново отметить файлы в списке, воспользуйтесь кнопками "Uncheck all" или "Autocheck"

Но предположим, что мы хотим проверить дубликаты вручную.

Выбираем верхний файл из списка и переходим на вкладку Preview.

Эту панель лучше растянуть побольше.

А правую панель и вовсе можно скрыть, после сканирования она не особо нужна.

Что мы здесь видим? Левое изображение — это изображение самого первого файла в группе, а правое изображение — это изображение того файла, который мы выбрали.

Пути к файлам вы можете видеть под самими изображениями.

Сейчас у меня выбран первый файл и изображения одинаковые.

Как только я нажму стрелочку вниз, левое изображение останется прежним, а вот правое изменится.

Там у нас файл меньшего разрешения.

Если вы плохо различаете детали, то можете, нажать клавишу enter и тогда изображение откроется в полноэкранном режиме, и вы сможете рассмотреть его более детально

А клавишами влево\вправо можете переключаться между следующим и предыдущим изображением.

Предположим, что я решил удалить изображение с меньшим разрешением. Можно кликнуть мышкой по полю в крайней левой колонки или просто нажать пробел. Так или иначе изображение будет отмечено галочкой. В настройках можно выставить опцию, чтобы отмеченные собственноручно вами файлы выделялись жирным шрифтом.

Файлы в списке можно сортировать согласно параметрам любой колонки. Например, по дате или по пути. Для этого просто кликните на колонку.

Если в настройках включена эта опция (ниже на скрине), то в следствии сортировки, файлы не будут разгруппированы и файлы одной группы всегда будут вместе.

Если же галочку снять, то будет сортироваться весь список независимо от групп.

После того как мы тем или иным образом отметили все файлы, которые хотим удалить, нам нужно выбрать, что именно с ними делать.

Сделать это нужно здесь:

1. Deleted Checked files to recycle bin – файлы будут удалены в корзину.

2. Deleted Checked files -файлы будут удалены мимо корзины.

3. Move\Сopy Checked files -перенести\скопировать отмеченные файлы в указанную ниже папку.

Лично я, в большинстве случаев предпочитаю работать так:

После окончания сканирования и авточека с параметром "Smaller dimensions or smaller file size if dimensions are equal", я растягиваю панель preview на максимум, выбираю первый файл в списке и клавишей «вниз» довольно быстро пролистываю изображения одно за другим, глядя в правую часть превью. Как правило этого достаточно чтобы выявить ошибки программы. И если таковые обнаруживаются, правлю их вручную.

Попробуйте начать с параметра Similarity 100% чтобы снести в первую очередь полные дубли, затем снижайте этот параметр.

Та-дам!

Ничего не напоминает?

Да-да. Это программа от того же разработчика.

«Audio Dedupe»

Собственно, она является практически полной аналогией предыдущей софтины, с небольшими поправками.

Так что с ней освоиться будет проще.

Расскажу лишь об отличиях.

Что касается авточека.

1. Lower bitrate – будет отмечен файл с наименьшим битрейтом

2. Shorter duration if bitrate are equal – будет отмечен файл меньшей продолжительности при аналогичном битрейте.

3. Lower bitrate or shorter duration if bitrates are equal будет отмечен файл с меньшим битрейтом или меньшей продолжительностью при одинаковом битрейте.

Остальные опции аналогичные.

Одно из основных удобств этой программы - превью

Если, выбрать какой-либо файл и нажать Play с включённой опцией «Continue playback from the same position» то при переходе на соседний файл, проигрывание не прервётся и не начнётся сначала, а продолжится с того же самого места.

Дико удобная штука для сравнения файлов нас слух. Ведь битрейт и продолжительность далеко не всегда определяющие критерии.

На этом со звуком мы закончим.

Переходим к поиску дубликатов видео.

И теперь у нас софт от другого производителя. Хотя у этой программы и весьма схожие принципы работы.

«Video Comparer»

Первое что следует сделать, это в настройках, в поле «Scan Mode» установить параметр «Thorough». Что значит тщательный. Снижать этот параметр не рекомендую, программа будет пропускать некоторые файлы и указывать на то, что ей требуется именно такой метод сканирования для их анализа.

Ниже расположены настройки автоселекта (здесь так называется авточек) и путь к папке в которую вы можете перенести отмеченные файлы.

Я выставил настройки Lowest video quality и Lowest resolution. Что значит отметить файлы меньшего качества, меньшего разрешения.

Еще ниже галочкой отмечена опция Colored groups. Рекомендую её включить, так ваши группы файлов в списке будут разноцветными и тем самым будет легче ориентироваться.

Слева в проводнике выберете папки, в которых лежат ваши видео и нажмите кнопку с черным треугольником.

У программы есть два важных недостатка.

1. Дурацкий не эргономичный интерфейс.

2. Невозможность сохранить результаты сканирования, как проект.

Тем не менее, это некоторым образом купируется тем, что при сканировании программа записывает данные в кэш и при повторном сканировании этих же файлов, процесс идёт на порядки быстрее. Так что это не очень страшно, хотя и неприятно.

После окончания сканировнаия, дерево папок можно скрутить мышкой чтобы не мешалось.

Все действия с файлами осуществляются через это меню "Actions",  в нижней правой части экрана.

1. Move to Recycle bin - Удалить в корзину

2. Delete directly - Удалить мимо корзины

3. Move to Backup folder - Переместить в папку. Расположение которой настраивается в меню. Там же где и параметры авточека.

И уже знакомые нам Unselect\Select  All - Снять выделение со всех файлов или выделить все файлы.

Давайте посмотри на результат сканирования. В качестве подопытного порося я взял свежую песенку про Габена.

Думаю, здесь вам все уже интуитивно понятно, единственно что стоит отметить особо, это столбец называемый «Sync».

Синим цветом на нем показано совпадение видеоряда в двух файлах.

Видите ли, я из целого видео (которое в списке снизу), вырезал кусок, промо по середине и подсунул программе для сравнения (вырезок сверху). И она смогла найти совпадения.

Очень круто.

Так же справа от колонки Sync расположена последовательность небольших скринов видеоряда, чтобы вы могли визуально оценить сходство, не запуская воспроизведение видео.

Принцип работы с файлами тот же самый, они так же разбиваются на группы, а мы так же отмечаем непонравившиеся и выкидываем их в корзину, ну или переносим в другую папку.

Если хотите файл проиграть, дважды кликните по ячейке с его именем и он отроется в вашем проигрывателе по-умолчанию.

А двойной клик по ячейке с путём, откроет файл в проводнике.

Надеюсь, данные программные решения окажутся для вас полезными и помогут избавиться от дубликатов.

Последнее что хотелось бы добавить, не стоит доверять этим программам на 100%.

Они могу вам хорошо помочь, но не сделать за вас хорошо всю работу.

Лично я за ними всегда всё проверяю.

В следующей части (если эта окажется вам интересной), поговорим о прогрессивных способах каталогизации и хранения.