Астрология и рождение науки. Схема небес - страница 6

– тщательно продуманного эксперимента, в котором знание законов вероятностей помогает извлечь из фактов обоснованный ответ на поставленный вопрос. На самом деле я составил рис. 1.2 как точное подобие одного из самых знаменитых тестов в истории статистики, так называемого чайного эксперимента. Его формат был разработан Рональдом Фишером, одним из титанов статистики XX века, когда одна из его коллег заявила, будто может отличить, что было сначала налито в ее чашку: чай или молоко. (Предание гласит, что она легко рассортировала восемь чашек чая с молоком, расставленные в случайном порядке, на правильные группы по четыре чашки, и Фишеру пришлось нехотя признать ее талант чайного дегустатора.) [12]

В наше время статистические тесты широко применяются в науке и промышленности, от оценки эффективности лечения до оценки влияния дизайна веб-страницы на число пользовательских кликов и даже для оценки постоянства вкуса пива от бутылки к бутылке. Такие тесты применимы к числовым данным любого рода, и для их планирования не требуется знать контекст – ведь эти тесты имеют дело с голыми числами и выдают в качестве результата голые числа. Поэтому они так полезны в самых разных областях исследований, включая такие ненадежные и быстро меняющиеся сферы, как гуманитарные и социальные тренды, где у ученых нет надежных теорий. В таких случаях статистические тесты – это единственное, на что можно положиться, чтобы как-то судить о положении вещей.

У такого подхода, где выводы делаются только по голым числам, без опоры на соображения за пределами статистики, есть коварный недостаток: оказывается, слишком легко ошибиться в оценке значения редкого результата. Трудно сопротивляться искушению придать глубокий смысл маловероятному событию, объявить, что случилось большее, чем простое совпадение. Особенно когда случай подтверждает теорию, в которую нам ужасно хочется верить. Но что именно считать редким, вопрос относительный. Если процедура повторяется многократно, редкие результаты появляются практически с неизбежностью, и они будут сбивать нас с толку, если мы не ведем учет тех случаев, где ничего редкого не произошло[13].

Возвращаясь к примеру со звездными картами, заметим, что существует ровно 70 способов отобрать четыре из восьми картинок. На этот случай есть известная математическая формула: если вы создаете группу, содержащую k предметов, имея в своем распоряжении N кандидатов (так называемый выбор из N по k), то число вариантов составляет

(Здесь восклицательный знак означает вычисление факториала. Например, 4! читается как «четыре факториал» и означает 4×3×2×1 = 24.)

Правилен лишь один способ из 70 (выбор из 8 по 4 имеет как раз 70 вариантов). Значит, наугад выбрать подлинные звездные карты – один шанс из 70, около 1,4 %. Обычно такой результат считается статистически значимым. Другими словами, видя такой результат, который при выборе наугад должен встречаться лишь в 1,4 % случаев, мы склонны признать вероятным наличие некоей причины. Может быть, мы столкнулись с настоящим знатоком звездного неба.

При таком подходе мы даем эксперту возможность доказать свою компетентность, однако в то же время удачный выбор четырех подлинных карт созвездий еще не гарантия компетентности. Даже наоборот, этот тест гарантирует, что среди тех, кто пытался выбрать нужные карты наугад, один из 70 в этом преуспел. И значит, силой голых чисел, этот редкий исход не просто возможен, – при большом числе попыток он просто неизбежен.