Искусственный интеллект научился скрытно жульничать на заданиях
Группа ученых из Google и Стенфордского университета использовали нейронную сеть для преобразования воздушных фотографий в навигационные карты, и обратно (обратное преобразования использовало только полученную ранее карту, без доступа к исходному снимку). Это позволило бы сервисам вроде Google Maps более быстро создавать и обновлять карты из снимков с воздуха. Обратное преобразование же было нужно, чтобы было легче сверять результат с оригиналом, и тем самым проверять качество работы нейронной сети.
Ученые отметили, что программа работает хорошо... слишком хорошо. На воссозданном снимке были детали, которые должны были потеряться в результате первичного преобразования снимка в карту. Например, уличные фонари и прочие элемента ландшафта, которые не были нанесены на карту, волшебно возвращались на место при обратном преобразовании.
В итоге оказалось, что нейронной сети, вместо того чтобы придумывать, как лучше преобразовать "чистую" карту в спутниковый снимок, оказалось легче вставлять скрытые "шпаргалки" в изначально созданную карту, которые содержали скрытую информацию для обратного преобразования - такую, как мельчайшие изменения в цвете пикселей, незаметную глазу человека.
На предыдущей картинке показана разница между "обычной" картой сделанной в Google Maps (a), и картой нейронной сети, созданной из воздушного снимка (b). Между первой и второй есть зашифрованная информация (c), используя которую, можно преобразовать карту обратно в снимок (d). Разница (с) искуственно преувеличена для анализа - в реальных снимках она настолько незаметна, что даже в выделенном формате человек бы ее не заметил.
Сам способ не является новым - подобная стеганография давно используется людьми, от скрытых строчек в письмах шпионов, до цифровых водяных знаков в фотографиях. Примечательно же то, что использованию стеганографии нейронную сеть не учили и не ожидали - она до этого способа дошла сама. Более того, поскольку для проверки качества карты требовалось воссоздать снимок именно из карты, то придуманное "решение" нейронной сети оказалось непригодным - если снимок воссоздавался из скрытой информации, то он мог бы воссоздаться правильно, даже если бы полученная карта оказалось неправильной. Таким образом, этот способ является не "креативным решением", а именно шпаргалкой - то есть возможностью пройти тест, не выучив нужный материал.
Ну ничего особенного не вижу, зато ясно какого размера воксели заложены в НН для построения карт - очень большие! НН не жульничает, она просто отражает обратно те же веса, что использовались для входного преобразования. А так НН все же "тренируют" люди то очевидно что большинство людей отличает дорогу по наличию "подсказок" вокруг - фонарных столбов и прочее. Ну и вопрос по размеру тренировочной выборки таки открыт...
О, опять ученые насилуют журналистов. Ха-ха, классика
Слишком мало вводных данных для оценки работы нейросети. Первое, что приходит на ум, это постановка задачи. Насколько корректно была поставлена задача? Например, послали ребёнка за хлебом, чтобы проверить, знает ли он дорогу к магазину, а он купил в киоске, не доходя до магазина. Рано делать выводы))
сдаётся мне, карта в виде схемы должна хранится не в виде пикселей
16кк оттеноков для схемы - неоправданно много
8 утра.1 января.статья про ИИ. друг что с тобой не так? и что со мной не так раз я ее читаю? =)