ICE ECC на страже ваших данных⁠⁠

Если на пальцах имеем два файла с данными. Создаем третий файл хранящий сумму данных файл3=файл1+файл2. В случае утери файла 1, нам надо из файла3 вычесть файл2. Школьная арифметика. В реалиях для уменьшения объема используют файл_суммы=файл1+файл2+файл3+...+файлN

И.... А по мне так и "Виктория" хорошо с этим справляется.

Щас бы качать отдельную мокрую письку, когда добавлять в архив данные для восстановления умеет любой архиватор.

Тем, что он делает другое - добавляет избыточность к файлам.

Чтение дисков с битыми секторами (Non-Stop Copy, ddrescue) - это одно.

Добавление информации для восстановления битых файлов, недостающих файлов, недостающих частей архива (ICE ECC, PAR2, dvdisaster, recovery record в WinRAR и FreeArc, recovery volume в RAR) - это другое. На накопителях (SSD/HDD/DVD) похожая избыточность уже имеется, а тут она дополнительно добавляется на уровне файлов.

Зачем эта избыточность, если диск может отказать целиком и если она не отменяет необходимость бэкапов? Ну... для параноиков. Ещё на оптические диски и ленту не так плохо она ложится, там RAID-массив (или SnapRAID) не соберёшь.

Чем этот софт выделяется на фоне остального?

рид саломон, древность то какая =)

Я вам не говорю что их нет. Я вам говорю что контроль целостности происходит на другом уровне и контролировать(добавлять) избыточность руками совершенно бессмысленно. Вы же не проверяете руками пакеты TCP\IP (а вдруг данные с вашей фотографии исказились при передаче? Или скан паспорта не такой! Или при заказе авиабилетов 1 бит в вашей фамилией изменится!)

Реплицируя\архивируя данные в территориально-удаленное хранилище вы сразу перекрываете туеву кучу векторов потери этих самых данных. Так зачем страдать фигней, может сразу защититься от всего?

статья основана на факте "Как правило, диски Desktop-class имеют указанную производителем величину BER равную 10^14 степени," Вот только десктопные диски в рейды суют только идиоты. А у серверных дисков надёжность выше, как минимум потому, что их прошивка предназначена для нахождения в рейде и они не вылетают из массива по пустякам.

далее, статья написана 9 лет назад, с тех пор наверное многое поменялось.

могу воспринять её как рекомендацию, но не как обязательную к исполнению. в больших компаниях не работал, для маленького офиса хватит и рейд-5 с бекапами.

Пытается считать данные, не равно потерянные данные. Первое, на диске разные сектора читаются с разной скоростью, второе если доступ к сектору ниже порогового то сектор просто помечается как bad и происходит ремап. Чуете разницу между не читается и читается медленно? Плюс смарт в простое эпизодически сам проверяет винт(но это не точно, не преведу пруфов потому что не помню откуда эта информация в моей голове). Ваша ОС как минимум в фоне эпизодически дефрагментирует диск. Попробуйте найти старый работающий хард (3-5 лет) с бэдами, и о чудо вся инфа копируется без каких либо проблем, медленно да, с хрустом но копируется.

Чисто теоретически: записали данные на диск положили на полку. Прошло 10 лет. Так как диск не использовался, СМАРТ не читал данные, не проводил ремап. За десять лет часть слоя посыпалась - единственный вариант имеет смысл добавлять избыточночть. Но чтобы такое творить надо быть совсем ... эмм не далеким.

Я видел когда у серверов при остановке на ТО в хардах залипали головы. Я видел когда сгорал контроллер. Видел винты с кучей бэдов и хрустящие как свежевыпавший снег. Я даже попадал в ситуацию когда не сходился crc при передачи по фтп в сети из 3 пк.

Но ни разу за все мои 20 лет не было ситуации когда данные с 1 харда можно было бы спасти избыточность. Я себе даже ситуации такой представить не могу. Нет, возможно на каком-ндь стенде, в лаборатории можно воспроизвести ситуацию - отключить смарт, отключить контроль записи со стороны фс(ну или испльзовать тот же фат), отключить дефрагментацию и трясти работающий винт (предварительно отключив мех. защиту) и естественно не проверить винт на брак, то тогдааа...

Вообще весь этот разговор напоминает свидетелей Raid5 все о нем знают, но в нормвльном продакшене никто не видел.

"Но это не гарантирует, что данные не повредятся в процессе хранения..."

...дальше можно не читать. Предлагаю задуматься над тем откуда берется параметр Reallocated Sector в SMART и как вообще этот смарт работает. Для ssd гуглите про trim и как читается sys health.

пора перестать в 2018 году использовать fat  и будет вам счастье.

это не для наших мозгов

gen8/E3 и gen10/3216  фря/zfs  8/16 ecc rz2 10/16 тб

Соответственно gen8  серебристый а 10 черненький

Так чтов ас конкретно интересуетраз цвет вам не интересен?

Не пытайтесь уходить в рторику, не ваше это.

#comment_128291944

Поскольку mfc166 автор постов для домохозяек и я сама можно сказать домохозяйка!

Даи подача материала у вас вот для домохозяек.

На примере данного поста:

  есть проблема потери данных

решение автора

  вот вам домохозяйки программа!

Все точка.

Проблема не раскрыта, решения не раскрыты, тема сисек не раскрыта.

Так что все по нашему, по домохозяйски! Что не так?

Что интересует то?

А то по нашему, по домохозяйскому, одна черненькая вторая серебристая.

СХД имели в виду?

Да есть.

Если что это утилита не для дома  или малого бизнесса. Это утилита для хранения неизменяемого набора данных в условиях полной финансовой недостаточности.

Синолоджи на 2 диска 10-15к.

itx+2/3/4 диска+коробка из под обуви можно взять за 5-7 тонн.

Да блин, я на распберри пай + usb-hdd и то надежнее будет.

Репликация данных в территориально удаленное место - бесценно.

Я по простому, по домохозяйски.

Текущий объем данных и текущие технологии оперативного хранения в неспециализированной системе будут гарантированно повреждены.

Или вы используете систему заточеную под хранение или огребаете.

ICE ECC паллиатив для систем не расчитанных на хранение. Его применение по большому счету малополезно.

Как домохзяйка домохозяйке.

Так случается (нечасто), что данные, годами хранящиеся на диске, оказываются повреждены

Это случакется не то что часто, а непрерывно и регулярно. На сайте разработчика должен быть обзор с циферками и математическим ожиданием.

Может таки стоит положить болт на винду как систему хранения?

Мне кажется, что тут что-то перепутано

Если вы не используете Cd/dvd, то в современном мире данные или уничтожаются полностью(умышленно или не очень) или ломается накопитель.

Для первого и второго давно давно уже придуманы более удобные инструмены чем избыточность.