Результаты эмпирических исследований прогнозирования согласуются с этим выводом. Хотя увеличение числа моделей повышает уровень точности (как и должно быть согласно теоремам), после формирования группы моделей предельный вклад каждой из них снижается. В компании Google обнаружили, что привлечение одного интервьюера для оценки кандидатов на вакантную должность (вместо случайного выбора) повышает вероятность найма высококвалифицированного сотрудника с 50 до 74 процентов, привлечение второго интервьюера повышает эту вероятность до 81 процента, привлечение третьего интервьюера – до 84 процентов, а четвертого – до 86 процентов. Наличие двадцати интервьюеров повышает вероятность всего до 90 процентов с небольшим. Это указывает на ограничение предельного количества значимых способов оценки потенциального сотрудника.
Аналогичный вывод справедлив и при оценке десятков тысяч прогнозов экономистов в отношении безработицы, экономического роста и инфляции. В этом случае следует рассматривать экономистов как модели. Включение второго экономиста повышает точность прогноза примерно на 8 процентов, еще два экономиста повышают его на 12 процентов, а еще три – более чем на 15 процентов. Десять экономистов увеличивают точность прогноза примерно на 19 процентов. Кстати, прогноз лучшего экономиста всего на 9 процентов точнее, чем среднего, при условии, что вы знаете, какой экономист лучший. Таким образом, три произвольно выбранных экономиста эффективнее, чем один лучший[45]. Еще одна причина использования нескольких средних экономистов, не полагаясь на одного, пусть в прошлом и лучшего, – изменчивость мира. Экономист, демонстрирующий сегодня самые высокие результаты, завтра может стать середняком. Аналогичная логика объясняет, почему Федеральная система США полагается на совокупность экономических моделей, а не на одну модель: как правило, множество моделей обеспечивают более высокий средний результат, чем самая лучшая одиночная модель.
Урок должен быть очевиден: формирование множества разноплановых, точных моделей позволяет нам составлять очень точные прогнозы и оценки и выбирать правильные действия. Теоремы обосновывают логику многомодельного мышления. Чего они не делают и не могут сделать, так это построить множество моделей, удовлетворяющих их исходным предположениям. На практике мы можем обнаружить, что имеем возможность создать три-пять хороших моделей. И если так, то это здорово! Нам нужно только вернуться к предыдущему абзацу: включение второй модели обеспечивает улучшение на 8 процентов, а третьей – уже на 15 процентов. Учтите, что вторая и третья модели не обязательно должны быть лучше первой. Они могут быть хуже. Однако если эти модели чуть менее точны, но отличаются в категорийном смысле, их следует включить в совокупность.
Одна большая модель и вопрос о степени детализации
Многие модели работают в теории и на практике. Но это не значит, что многомодельный подход всегда верен. Иногда лучше разработать одну большую модель. В этом разделе мы проанализируем, когда целесообразнее использовать каждый из подходов и попутно рассмотрим вопрос о степени детализации, то есть о том, насколько детальным должно быть разделение данных.
Для того чтобы ответить на первый вопрос (использовать одну большую модель или множество маленьких), вспомните об областях применения моделей:
