Предвзятость подтверждения в анализе данных

В настоящее время данные становятся активом любой компании, а их интеллектуальный анализ — инструментом преобразования информации в знания, обеспечивающие поддержку управленческих бизнес-решений. Однако аналитические платформы не могут сами генерировать решения. Это задача специалистов, которые интерпретируют результаты анализа и делают суждения и выводы, лежащие в основе принимаемых решений.

Бытует расхожее мнение, что качественные результаты анализа сами по себе гарантируют качественные управленческие решения. С одной стороны, это правильно — на основе плохих результатов нельзя сделать правильные выводы и суждения, а следовательно принять верное решение. Однако, сами по себе корректные результаты еще ничего не гарантируют — подводные камни, о которые может разбиться успех аналитического проекта, подстерегают на этапе интерпретации результатов и формирования выводов.

Виной тому являются так называемые когнитивные искажения — систематические отклонения в восприятии и мышлении, обусловленные субъективными убеждениями (предубеждениями) и стереотипами, социальными, моральными и эмоциональными причинами, сбоями в обработке и анализе информации и т.д. Наиболее распространенными видами когнитивных сдвигов являются:

• амплификация — вложение в достижение цели больших усилий, чем необходимо;
• преувеличение вероятности частных случаев;
• предпочтение нулевого риска — склонность выбирать стратегию, при которой один из нескольких рисков исчезает полностью, вместо той, которая частично снижает несколько рисков;
• подстройка гипотез под результаты измерений и др.

Когнитивные сдвиги, возникающие в процессе интерпретации результатов анализа, могут привести к формированию ошибочных выводов и суждений и к принятию неадекватных управленческих решений, даже если сами результаты корректные.

Опасным видом когнитивного сдвига с точки зрения подхода к управлению бизнесом на основе данных является предвзятость подтверждения (confirmation bias), которую также называют склонностью к подтверждению своей точки зрения.

Предвзятость подтверждения — это склонность аналитика данных или лица, принимающего решения, отдавать предпочтение тем результатам, которые соответствуют их убеждениям, мнениям или ценностям. При этом они могут игнорировать те результаты, которые противоречат этим характеристикам. Такая когнитивная предвзятость может исказить выводы и ухудшить качество принимаемых решений.

Предвзятость подтверждения

Психологи объясняют, что предвзятость подтверждения основывается на желании избежать когнитивного диссонанса — психологического дискомфорта, испытываемого при наличии двух или более противоречивых убеждений, идей или ценностей.

Ситуация усугубляется тем, что в некоторых случаях люди не только предвзято относятся к определенным результатам, но и дискредитируют их, убеждая в этом других.

Нетрудно представить, как это повлияет на процесс извлечения знаний из данных: аналитик будет отдавать приоритет выводам, которые подтверждают первоначальную гипотезу, игнорируя наблюдения, которые ей противоречат. Если результаты неоднозначны или расплывчаты, предвзятость подтверждения побуждает исследователя интерпретировать их так, чтобы они соответствовали его представлению о проблеме.

Снизить негативный эффект от когнитивных сдвигов в области науки о данных позволяет интерпретация одних и тех же результатов несколькими аналитиками или командами, имеющими разный опыт, точки зрения и взгляды на проблему.

Ошибки, связанные с предвзятостью подтверждения, могут иметь последствия. Например, бизнес может потерять значительные доходы на маркетинговых кампаниях, ориентированных на неправильную аудиторию. В то же время новые продукты и услуги могут не найти своих потребителей.

С психологической точки зрения предвзятость подтверждения имеет место, когда человек позволяет своим желаниям влиять на свои убеждения. Если кто-то хочет, чтобы определенное мнение или идея были правдой, он в конечном итоге верит, что это правда. Когда дело доходит до предвзятости подтверждения, принятие желаемого за действительное становится формой мотивации.

Рассмотрим пример. Пусть компания собирается вывести на рынок новый продукт. Ранее выпуск новинок имел успех. Тогда маркетинговая стратегия может оказаться ориентированной на подтверждение успеха, а противоположные результаты окажутся проигнорированы или признаны малозначительными.

Другая ситуация — оценка качества товара или услуги с помощью отзывов клиентов, когда учитываются в основном положительные комментарии, а негативные игнорируются.

Как избежать предвзятости подтверждения

Вот некоторые примеры того, как предвзятость подтверждения может повлиять на интерпретацию данных:

1. Избирательный сбор данных. Часто аналитики могут неосознанно собирать только те данные, которые подтверждают их гипотезу. Например, если кто-то считает, что маркетинговая кампания успешна, он может сосредоточиться на показателях, которые показывают рост вовлеченности клиентов, игнорируя данные о фактических коэффициентах конверсии.
2. Игнорирование противоречащих данных. Когда аналитик сталкивается с данными, которые противоречат его убеждениям, он склонен отвергнуть их как аномалию. Например, если серия экспериментов в основном подтверждает теорию, а один — нет, выброс часто игнорируется, а не исследуется дальше.
3. Неправильная интерпретация данных. Предвзятость подтверждения может привести к неправильному пониманию данных. Например, увидеть корреляцию и преждевременно сделать вывод о наличии причинно-следственной связи, поскольку она соответствует ожиданиям.
4. Эхо-камеры в анализе данных. Ситуация, когда определенные идеи, убеждения усиливаются или подкрепляются путем обмена сообщениями внутри закрытой системы, которые глушат альтернативные информационные потоки. Иными словами, любые высказывания приводят не к дискуссиям, а к поддержке единомышленников. Таким образом, изолированные команды аналитиков могут усиливать предвзятость друг друга, что приводит к коллективной предвзятости подтверждения.
5. Алгоритмическая предвзятость. Модели на основе машинного обучения могут наследовать предвзятость подтверждения, присутствующую в обучающих данных, или предвзятость их создателей, что также приводит к искаженным результатам.

Стратегии, позволяющие избежать предвзятости подтверждения

Каждый бизнес имеет свои индивидуальные особенности. Поэтому разработать какие-либо универсальные подходы к тому, чтобы предотвратить предвзятость подтверждения, довольно сложно. Тем не менее выработан ряд стратегий, применение которых если не позволит избежать ее полностью, то хотя бы уменьшить связанные с ней потенциальные потери:

1. Поиск опровергающих доказательств. Активнее использовать данные, противоречащие исходным гипотезам. Например, если анализ показывает, что маркетинговая стратегия эффективна, следует попытаться найти данные, которые могут свидетельствовать об обратном.
2. Триангуляция данных. Использовать несколько источников данных или методов анализа для перекрестной проверки результатов. Если разные методы приводят к одному и тому же выводу, результат с большей вероятностью будет точным.
3. Слепой анализ. Проводить анализ без гипотезы, что поможет избежать предвзятости.
4. Экспертная оценка. Оценивать результаты анализа с помощью независимых экспертов.
5. Воспроизводимость. Убедиться, что результаты анализа могут быть воспроизведены другими аналитиками.
6. Разнообразие команды. Включать в команды аналитических проектов специалистов с разнообразным мнением и опытом.
7. Адвокат дьявола. Включить в команду специального человека, который будет подвергать сомнению сделанные выводы и суждения.
8. Поэтапное принятие решений. Принимать решения поэтапно, оценивая влияние каждого из них.

Внедряя эти стратегии, аналитики смогут лучше ориентироваться в ловушках предвзятости подтверждения и повысить достоверность своих выводов, основанных на данных.

Например, компания, анализирующая отзывы клиентов, может использовать триангуляцию, сравнивая результаты опросов, интервью с потребителями и анализ настроений в социальных сетях. Если все три источника указывают на проблему с продуктом, компания может быть уверена в достоверности результатов, чем если бы они полагались на один источник.

Аналогично исследователь, изучающий действие нового препарата, может использовать слепой анализ, поручив отдельной команде обрабатывать данные, не зная ожидаемых результатов, тем самым защищаясь от предвзятых интерпретаций. Эти примеры подчеркивают важность многогранного подхода к смягчению предвзятости подтверждения при анализе данных.

Другие материалы по теме:

Loginom Community Edition — аналитика, доступная каждому

Предсказание рейтингов ТВ-программ: методы машинного обучения на платформе Loginom