Заканчиваем знакомство с книгой Стюарта Ричи "Научные вымыслы. Разоблачая мошенничество, предвзятость, халатность и хайп в науке".
Ссылка на начало.
Коротко для ЛЛ: халатность и хайп - не последние причины недоброкачественных исследований. В погоне за индексом цитирования как средства обеспечения карьеры учёные бросаются во все тяжкие. Улучшить ситуацию могло бы изменение методов оценки исследований, финансирование по другим принципам, а также Открытая наука.
Десяток лет назад мир боролся с последствиями экономического кризиса, из-за которого многие государства залезли в огромные долги, чтобы спасти экономику. Как выходить из этой ситуации - залезать в новые долги или начать экономить? Экономисты Рейнхарт и Рогофф решили проанализировать влияние госдолга на рост, и пришли к неутешительному выводу: слишком высокий долг тормозит экономику. Судьба Греции и других европейских должников (PIIGS) была предрешена. Их заставили урезать госрасходы, снижать пособия и повышать штрафы, сдирая семь шкур с граждан. На самом деле в истории достаточно примеров, которые говорят, что из долгов не выходят экономией - из них вырастают развитием. А что же работа Рейнхарта и Рогоффа? А ничего - опечатка в Экселе. Когда её нашли и исправили, эффект падения ВВП при госдолге свыше 90% исчез.
Конечно, нельзя сказать, что эта опечатка изменила мировую экономику. Но она наглядно показала, на каком скользком основании могут базироваться важнейшие выводы, принимаемые учёными и политиками. Автор не устаёт "радовать" нас примерами из науки. Очередным исследованием, указывающим на неутешительное положение дел, сталf алгоритмическая проверка качества психологических исследований за период с 1985 по 2013 годы командой под руководством Мишель Найтен. Почти половина трудов содержала ошибки в статистике. Да, там было много мелочи, но 13% содержали ляпы подобные, как у экономистов, упомянутых выше, которые кардинально меняли вывод статьи. Примечательно то, что ляпы эти чаще были на руку исследователям. По-видимому, рука не поднимается перепроверить результат, если он оказывается слишком хорошим.
Проверка статистики - дело хорошее, вот только учёные далеко не всегда дают коллегам достаточно материала для этого. Исследование 2006 года определило, что всего лишь 26% тех же психологов отвечают на запросы предоставить данные для проверки их работы.
Примеры халатности не ограничиваются ошибками и опечатками. Хватает и случаев недобросовестной постановки эксперимента без надлежащей рандомизации и обезличивания сбора данных. С умыслом или нет, размер выборки тоже часто слишком мал. А ведь при нём вероятность выброса результата в "нужную" сторону повышается. Граймс в своей книжке писал, что особенно любят заниматься этим гомеопаты. Протестировал несколько десятков пациентов - и вуаля, чудодейственность волшебных пилюль подтверждена! Мой вам совет: смотрите на числа, и если они невелики, то эффект может быть преувеличен.
На заре ДНК-исследований в конце прошлого века учёные пустились в локализацию определённых участков генов, имеющих определённое действие. Стали находить массу подобных ген-кандидатов. Я сам припоминаю восторженные отзывы прессы по поводу очередного локализованного гена, вызывающего какую-то склонность или болезнь. Но техника идёт вперёд, позволяя сравнивать всё больше участков. В результате из истории с генами-кандидатами вышел почти весь воздух. Причина фальшивого хайпа? Недостаточный объём данных... Автор заключает: статьи с невысоким их объёмом приносят больше вреда, чем пользы. Благожелательные рецензии на подобные труды отравляют научную литературу, ослабляя доказательства.
Последней причиной невоспроизводимости научных трудов автор называет неудержимое стремление хайпануть. Учёные из Кардиффа рассмотрели научные пресс-релизы и определили в них три типа хайпа: неоправданный совет (читателю необоснованно рекомендуют изменить поведение), прыжок между видами (сработало с мышами - будет работать и с людьми), и корреляция вместо причинности (закукарекал петух - значит скоро взойдёт солнце). И это работает: слишком широки крылья хайпа и коротки ноги у его опровержения. Как не вспомнить при этом слова автора "Гулливера":
Ложь летает, а истина хромает.
В 2017 году сильно нашумела книга Мэттю Уолкера Зачем мы спим. Видите, есть уже и русский перевод, и статья в Википедии. Несмотря на занимательность изложения, многие утверждения в ней, наподобие "меньше спишь - короче жизнь" или "регулярно спишь меньше 6 часов - удваиваешь риск рака", - не соответствуют действительности. Подобных залепух в ней полно. Увы, научно-популярная литература - это коммерческий продукт, призванный приносить прибыль. Слишком часто бывает, что сначала деньги, а потом уж истина.
Вы скажете: "Ну, журналюги - они часто такие. А вот научные труды - это вам не книжонки популярные". Увы. Красное словцо не знает удержу и в устах якобы бесстрастных исследователей. За последние четыре десятка лет позитивная лексика в аннотациях выросла почти в девять раз. Не достигнув значимого результата, авторы статей пишут про "тренд, приближающийся к значимости" или "не абсолютную, но весьма вероятную значимость"... Всяк стремится пустить пыль в глаза и раздуть свои выводы. Ведь это повышает шансы на очередной грант.
Очередным примером хайпа в науке послужила история исследования микробиома с разработкой пробиотиков и "пересадкой стула" от здорового пациента к больному. Да, да, берут испражнения здорового, засовывают в капсулу и дают съесть больному. В 2019 году кто-то дописался до того, что стал утверждать о переносе со стулом аутизма от человека к мыши! Естественно, неудобные вещи были пропущены в одном предложении, а то, что похоже на эффект, было подано в раскрашенных картинках. Статистический тест оказался испорчен. Кто бы удивлялся...
Полно хайпа в советах по правильному питанию, будь то предпочтительность ненасыщенных жиров перед насыщенными (не доказано) или риск рака от множества повседневных продуктов, включая свинину, яйца, бекон, помидоры и чай. Или якобы чудодейственная Средиземноморская диета, статью о которой пришлось недавно пересматривать, что всё равно не избавило её от всех недостатков. Например, остаётся недоказанным влияние на частоту сердечных приступов и смертность. Автор не ставит под сомнение всё исследование PREDIMED, но указывает, что даже у примерных публикаций не всё так ярко блестит, как пишется.
Короче, скромнее надо быть. Как физики, например. Определили при эксперименте OPERA в 2011 году, что нейтрино летают быстрее света - и не стали дудеть во все трубы, а ограничились осторожной публикацией, указав на необходимость проверки. Которая определила искажения, внесённые дефектным кабелем. И то даже в этом случае на них свалилось слишком много шишек. Автор уверен: окажись на месте физиков какие-нибудь психологи - хайпа было бы на весь мир. Те бы не стали просить проверить результаты, а стали бы сразу печатать книжонки с убойными названиями.
Грустно это всё. Грустнее всего, что вышеописанные пороки поощряются всей системой с её заточенностью на многочисленные публикации об успехах. Поток научной литературы удваивается каждые девять лет. Значит ли это, что подобными же темпами приумножаются наши знания? Нет. Причина этого явления - прежде всего материальное стимулирование публикаций. Молодые авторы вынуждены приукрашивать заявления на грант, чтобы конкурировать с устоявшейся старой гвардией. Всякий хочет получить новую строчку в автобиографию. Чем больше строчек - тем лучше, и исследователи пускаются во всякие трюки, к числу которых относится нарезка одного добротного исследования на десяток помельче, "хищные журналы", завлекающие неопытных авторов и имеющие лишь видимость научных, рецензенты из числа друзей-знакомых, саморецензии.
Конечно, если статья никчёмная, на неё никто и не сошлётся. А число цитат - значимый показатель весомости учёного. Физик Хорхе Хирш предложил интересный индекс, суть которого в следующем:
Учёный имеет индекс h, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np — h) статей цитируются не более чем h раз каждая.
У автора книги индекс Хирша равен 33, то есть он напечатал как минимум 33 статьи, на каждую из которых как минимум 33 раза кто-то сослался. В погоне за индексом люди стараются писать свои статьи более позитивно и ссылаются на самих себя. Некоторые даже переписывают абзацами содержание своих прошлых трудов. Причём за цитатами гоняются не только авторы, но и редакции журналов, цитирующих в своих передовицах чаще всего лишь "свои" статьи. В этой связи уместно вспомнить так называемый закон Годдарда:
Когда показатель становится целью, он перестаёт быть хорошим показателем.
Думаю, многие при этом вспоминают ЕГЭ... Нормальные исследователи, не гоняющиеся за рейтингом, имеют в конкуренции с карьеристами мало шансов. Происходит естественный отбор плохой науки.
Увидеть цикл "улучшения" результата можно на графике, опубликованном Де Фрисом и коллегами в 2018 году:
Суммарное воздействие предвзятости при исследовании антидепрессантов.
Вначале было примерно поровну позитивных и негативных результатов. Почти все из позитивных вышли в печать, а вот половина негативных осталась не опубликована. При этом часть негативных "перекрасились" в позитивные в том смысле, что был найден какой-то значимый побочный эффект, который не искали изначально. Далее, часть "негативных" удалось слегка перекрасить за счёт позитивной лексики, используемой в статье. И, естественно, охотнее всего цитировались "зелёные" результаты.
Не сказать, чтобы проблема была неизвестна ответственным лицам. После случая с Маккиарини шведы запретили университетам расследовать свои же злоупотребления. Автор предлагает алгоритмическую проверку статей в журналах перед публикацией. В числе дальнейших идей - специальные журналы для издания нулевых результатов (хотя и было подобное начинание, закончившееся неудачей). Можно ещё начать печатать всё подряд: отрицательный результат - тоже результат. Кое-кто уже смягчает свою политику по отношению к повторным исследованиям.
Для борьбы с подгонкой лучше фокусироваться на практической, а не статистической, значимости (ага, тогда просто станут подгонять по-другому). Но если отказаться от статистики вообще, то вся наука станет напоминать диетологию. Короче, низменная человеческая природа так или иначе себя проявит. Станут мухлевать по-другому. Здесь надо стремиться к другому решению: упирать на культуру и мотивацию.
Можно ещё забрать анализ результатов из рук тех, кто собирает данные. Можно заставить предварительно регистрировать исследование, чтобы не было соблазна потом сменить курс в сторону какого-нибудь побочного эффекта, когда с основной целью не вытанцовывается. Можно вообще делать всеобъемлющий анализ данных со всеми возможными настройками, а потом смотреть, что получилось в целом. Такой метод автор называет "Мультивселенной анализа". Идея неплохая, за исключением того, что для этого нужно включить суперкомпьютер, который есть далеко не у каждого учёного. Есть ещё идея Открытой науки, при которой обеспечивается свободный доступ извне к любой стадии научного процесса. Пожалуй, имеет смысл совместная работа нескольких больших коллективов в рамках большого проекта, так называемая "командная наука". Ещё делу поможет ограничение жадности коммерческих издательств, служащих по сути посредниками и имеющих баснословные прибыли при издании трудов.
Какие-то подвижки в издательском деле уже есть сегодня, одной из которых стало распространение свободных препринтов - своего рода черновиков исследований. Если всё печатать в виде препринта, то получится как с газетами, которые выбирают самое ценное из огромного объёма информации, предоставляемой информационными агентствами.
В конце концов всё упрётся в деньги. Спонсорам исследований можно посоветовать не платить полную компенсацию тем, кто придерживают какие-то результаты. Чтобы ослабить давление, можно финансировать учёных не за публикации, а по какому-то другому параметру. А гранты раздавать по лотерее, лишь бы были соблюдены базовые требования.
Деньги - деньгами, но сила морального осуждения или одобрения тоже что-то значит. Потенциальный манипулятор подумал бы дважды, перед тем, как смухлевать, если бы перед ним реально маячила вероятность подвергнуться осуждению коллег за недобросовестное исследование.
Одним словом, учёным придётся долго и упорно работать, чтобы восстановить доверие. Большие надежды автор связывает с идеей открытой науки, которая явилась бы наиболее адекватным решением. Говорят, что альтернативной медицины не существует: есть только медицина работающая и неработающая. Так может быть и с Открытой наукой.
В послесловии Ричи горько усмехается, демонстрируя нам, как все те огрехи, которые он описал в книге, наглядно выявились во время пандемии коронавируса на примере истории с гидроксихлорохином. Это лекарство против малярии стали пробовать против ковида во Франции, с многообещающими результатами. Хайп был собран приличный. А потом оказалось, что в статистику попали лишь те пробы, которые были собраны ватными палочками в носу. Если человек умер - его этим способом не тестируют. Нет человека - нет проблемы, получается. И нет смертности. Несмотря на это, исследование было опубликовано. Все стали экспериментировать с этим лекарством. Пошли сообщения о том, что применение его делает течение болезни ещё хуже. В историю вписался тот самый всемирно известный The Lancet. И эта байка тоже осталась непроверенной, ввиду того, что поставщик данных, частная компания Surgisphere отказалась предоставить доступ к ним. "Ланцету" не оставалось ничего другого, кроме как отозвать публикацию. Короче, на май 2021 года автор горестно заметил:
Плохо спланированные, расточительные исследования, сомнительные данные, большие бездоказательные утверждения, доверие между учёными, граничащее с легковерием и так далее - мне трудно было желать лучшего подтверждения тем этой книги. Вряд ли мне доставляет удовольствие писать об этом.
-------------------------------------
И как после этого удивляться падению доверия к науке? Как удивляться утверждению Лиотара и других теоретиков постмодерна о том, что объективной истины не существует, и у каждого сегодня своя правда, своя истина? Вот так мы и дошли до этого.
Как по мне, предлагаемые автором меры наполовину утопичны, наполовину эффективны. Вряд ли нам стоит рассчитывать на ощутимый прогресс в плане качества научных результатов. Мне понравилась одна рецензия на Амазоне, точно бьющая в точку и к которой я не могу ничего прибавить. Привожу её полностью:
Книга предлагает довольно хороший перечень проблем, которые сегодня преследуют научные предприятия. Каждый практикующий ученый узнает многое из того, о чём пишет Стюарт Ричи, иногда в своих коллегах, а довольно часто в зеркале. Сборник баек о научных неудачах, оплошностях и откровенном мошенничестве, который можно найти в книге, также весьма занимателен и поучителен.
С другой стороны, анализ коренных причин бедствия на удивление неудовлетворителен. В книге много времени уделяется изучению личных мотивов, стоящих за действиями отдельных ученых, но в основном игнорируются жирные слоны в комнате: извращенная экономика современной науки и тесно связанное с ней неправильное использование системы высшего образования. Много, а в некоторых областях и больше всего черновой работы в науке выполняют студенты и постдоки. Обеим группам обычно недоплачивают и недооценивают их под видом того, что они плохо обучены и образованы. И тех и других также сдерживают обещания будущей академической карьеры и вытекающей из нее хорошо оплачиваемой работы, но для подавляющего большинства из них не будет ни академической карьеры, ни стабильной научной работы. Жестокая конкуренция за скудные ресурсы, в которой обычно побеждают самые безжалостные, а не самые умные, разрушает науку и соблазняет отдельных ученых поддаваться своим самым низким импульсам. Можно также возразить, что этот дефицит носит искусственный характер — он намеренно создается за счет увеличения числа студентов, поступающих в университеты, что служит снижению текущей заработной платы высокообразованных работников, в том числе ученых. В конечном счете, мы просто не хотим платить полную стоимость научных исследований, даже если мы совершенно счастливы пользоваться их преимуществами. Пока мы не захотим платить полную цену, научные крысиные бега и создаваемые ими порочные стимулы будут продолжаться.
Поскольку книга по большей части игнорирует реальный, экономический корень проблемы, предлагаемые в ней решения сводятся лишь к перестановке стульев. Хуже того, некоторые из предложенных решений значительно затруднили бы честному ученому — а это действительно большинство ученых, несмотря на порочные стимулы — выполнять свою работу, в то же время почти не причиняя неудобства мошеннику, желающему нарушить правила, если это принесет ему пользу.