Цифры, шепчущие ложь: обманы в статистике

Слово «научный» в общественном сознании во многом синонимично с «содержит математику». Мы привыкли доверять количественным методам, и вид странных графиков, цифр и показателей часто воспринимается как непоколебимый гарант качества. И, как бы это ни было иронично, часто именно со стороны статистических расчётов появляются первые беды.

Кому это нужно? Любому, кто заинтересован в конкретном результате исследования: нечистый на руку политик, встревоженный до умопомрачения активист, предвкушающий славу псевдоучёный едины в своём порыве выдать ложь за правду. Впрочем, часто бывает, что обман получается в результате ошибки исследователя, не имеющего какого-либо злого умысла.

Почему мы обманываемся? Во-первых, нам свойственно переоценивать свои способности в математических расчётах, особенно в плане операций с очень большими числами (разница между десятью и десятью тысячами ощущается сильнее, чем между миллионом и миллиардом). Во-вторых, мы не всегда достаточно внимательны – сложно распознать ложь даже под самым носом, если не знаешь, что именно искать.

Пример нашего математического невежества - парадокс дней рождения. Какова вероятность того, что в группе из 23 людей найдутся двое с одинаковым днём рождения? А в группе из 75 людей? Ответ: 50% и 99,9% соответственно.

Может показаться, что существуют какие-то особо закрученные математические механизмы, работающие на чёрное дело коварных обманщиков, но реальность гораздо тривиальнее: для обмана широкой аудитории нужны популярные методы. Поэтому для того, чтобы распознать перед собой статистическую ложь, совершенно не обязательно быть математическим гуру: главное – знать необходимые зацепки.

 

Выборка из мамы и папы

Обман часто коренится ещё в самом начале исследования: на стадии сбора необходимых данных. Даже если не идти на совсем откровенный обман, есть немало подвохов, которые честные (особенно неопытные) исследователи могут допустить по ошибке, а нечестные — намеренно использовать.

Хочется более тонкого подхода? В дело вступает bias – набирать выборку, предвзятую определённым образом, и выдавать её за репрезентативную необходимой популяции.

 Bias можно грубо перевести с английского как “склонность” или “предвзятость” и означает это ошибку, связанную с акцентированием на конкретной информации и игнорированием другой.

Bias может оказаться не только со стороны исследователя, но и со стороны самой выборки (например, можно спросить о длине полового акта у мужчин). Неаккуратно заданный или намеренно провокационный вопрос (или даже несколько) может исказить реальную картину, хотя со стороны данные могут казаться абсолютно честными.

Свою путаницу способно внести отсутствие чёткого определения измеряемого (“измерение агрессивности” — это измерение частоты драк испытуемого, частоты его грубых высказываний, подсчёт каких-то конкретных паттернов поведения или что-то другое?).

Пожалуй, наиболее ярким и радикальным примером кривого определения в нашем медиапространстве будет исследование паблика “Род.Русь.Свобода”, которые измерили нравственность народов мира. Что же они понимают под “нравственностью”? Наличие фразы “Доброта и честность” в графе “Главное в людях” ВКонтакте.

Также коварство может таиться в размере выборки: не только слишком малые выборки могут оказаться нерепрезентативными, но злоупотребление на них статистическими методами может приводить к завышенным показателям.

Интерпретирую как хочу, законом не запрещено

Мы глядим в самое сердце тьмы – обман на этапе анализа данных. Именно здесь происходит большая часть тех ужасных вещей, которые могут произойти с исследованием, но не стоит забывать: многое из этого также может стать результатом ошибки самого исследователя. Приведём несколько примеров:

1) «Если истязать данные достаточно долго, они признаются во всём». И одним из таких видов истязания будет использование разных методов на этих же данных. Не вышло получить результат после применения одного? Используйте похожий, возможно, более грубый, и надейтесь, что он хоть что-то да выдаст интересное. Не получилось с омегой Макдональда – примените альфу Кронбаха.

2) Родственным предыдущему будет такая тактика – использовать неадекватный метод (или использовать метод не вполне адекватно) и надеяться на удобный результат! Простой пример – линейная регрессия. Этот, безусловно, полезный в науке метод становится абсолютно ложным, если применить его к данным с нелинейной зависимостью (или в более тонких случаях – использовать в нём слишком много переменных, чтобы поймать случайную зависимость).

3) Особенный вид боли и страдания – проблема множественных сравнений. Если взять один набор данных и сразу несколько гипотез, после чего истязать всё тот же набор данных всеми этими гипотезами, то высока вероятность, что хотя бы одна из них окажется статистически значимой чисто случайно (и это довольно удобно для лжецов от науки, хотя эта проблема грозит даже честным учёным, не подозревающим такого). Наиболее жесткий и действенный способ избежать ошибки I рода – применить поправку Бонферрони и разделить полученные значения α на количество гипотез, но помните: это неизбежно приведёт к потере статистической мощности. Связаться с множественными сравнениями – значит заключить сделку с дьяволом.

4) Где-то здесь находится и проблема, называемая «p-value hunting» — форсированный поиск хоть какого-то значимого результата. Так, например, если наша гипотеза оказывается незначимой, можно построить гигантскую корреляционную матрицу, найти хоть одну значимую корреляцию (а она наверняка будет – и наверняка случайная) и сказать, что именно это мы и искали. Стоит отметить, что такое поведение во многом детерминировано неприятием отрицательных результатов в научных журналах и вызвано отчаянием.

5) Наконец, даже уже обработанные данные можно вывернуть наизнанку с помощью неверной интерпретации. Самое простое, что можно сделать – воспользоваться неточностью обывательского понимания «среднего» и взять в качестве меры центральной тенденции не самый репрезентативный её вид – как правило, это среднее арифметическое, так как наличие выбросов легко способно завысить реальные показатели. Также можно привлечь на свою сторону софизмы вроде аргументации post hoc («перед – значит, вследствие» — бич корреляционных экспериментов) и «сравнение яблок и апельсинов», то есть сравнить результаты с тем, с чем на самом деле сравнивать нельзя: неадекватное сравнение показателей разных временных периодов, культурно и/или географически различающихся мест, разных групп и разных проблем может привести к ошибке, случайной или намеренной.

Я художник, я так вижу

Итак, каким-то чудом в этом исследовании нам нигде не соврали (или соврали, но хотят усугубить положение). Тут в дело вступает визуализация данных – настоящий простор для разгула фантазии лжецов! Почти не важно, насколько данные противоречат их позиции – многие графики можно исказить так, что выглядеть результаты будут совершенно по-другому.

Впрочем, часто обман бывает непреднамеренным и является результатом некачественной работы с графиками. Например, взгляните на этот график.

Можете ли вы понять, о чём вообще идёт речь и что именно измеряется? Вряд ли, во многом из-за того, что оси у этого графика не подписаны (вообще это исследование посвящено любимым источникам информации среди подростков). Авторы исследования вряд ли хотели кого-то обмануть, но из-за некачественно сделанного графика восприятие информации может исказиться.

Если данные изображены в виде картинок, а не графиков, то стоит внимательно следить за изначальными цифрами и показывающими их пропорциями – они не всегда могут совпадать. Допустим, средний заработок жителя мегаполиса в два раза превышает средний заработок жителя шахтёрского городка. Мы нарисуем мешок с деньгами шахтёра и нарисуем мешок с деньгами жителя мегаполиса, который в два раза выше. Казалось бы, всё верно, но для сохранения пропорций мы сделали мешок и в два раза шире, в результате чего на самом деле он в четыре раза больше шахтёрского…

Пост-статистические мутанты

Невероятно: перед нами исследование, которое не содержит в себе ни толики обмана! Хорошее, годное исследование…неужели с его стороны можно ожидать какой-то подлости? Можно, если миру о нём рассказывает не столь умный/внимательный/честный человек. «Эффект испорченного телефона» работает везде: даже честные результаты могут при переписывании превратиться в гротескных мутантов, совершенно непохожих на себя изначальных.

В данном случае показателен пример из реальной жизни: в 1994 году США буквально взорвалось от страшной цифры – ежегодно 150000 американских женщин умирает от анорексии! Эта информация бурей пронеслась по журналам, телевидению и даже научным источникам…чтобы в итоге оказаться статьёй 1985 года, где говорилось о том, что в Америке около 150000 женщин страдает от анорексии и что иногда анорексия приводит к смерти.

Такие мутанты опасны тем, что часто привлекают много внимания и плодят новых, не менее уродливых. Поэтому стоит быть осторожным: дьявол кроется не только в статистике, но и в тех, кто про них рассказывает.

 

Материал подготовил

Александр Манаенков

 

Источники:

  1. Charles Wheelan, “Naked Statistics”
  2. Darrell Huff, “How to Lie with Statistics”
  3. Joel Best, “Damned Lies and Statistics”
  4. Jonathan C. Smith, “Pseudoscience and Extraordinary Claims of the Paranormal”
  5. Marjan Bakker, Annette van Dijk and Jelte M. Wicherts, “The Rules of the Game Called Psychological Science”

Добавить комментарий

Ваш e-mail не будет опубликован.