#НЕПОЛИТОЛОГ
Один, два, три, много
Что не так со списочным экспериментом ФБК*
29 ноября ФБК* опубликовал результаты собственного замера уровня поддержки президента России В.Путина. Впрочем, речь не об обычном опросе. Инновационность подхода, согласно авторам, — использование списочного эксперимента, позволяющего определять отношение респондента к президенту, не спрашивая его об этом напрямую. ФБК* заявил, что эксперимент показал не традиционные ~80%, а лишь 48% поддержки В. Путина среди граждан России.
«Вот такая технология — научно обоснованная, широко применяющаяся», — прокомментировал исследование Л. Волков**. Списочный эксперимент действительно популярен в академической среде. Более того, этот же метод недавно использовался американскими политологами также для определения рейтинга российского президента — в статье «Is Putin's popularity (still) real?», опубликованной в журнале Post-Soviet Affairs в марте 2023. Впрочем, выводы авторов имеют некоторые расхождения с теми, что заявляет ФБК*.
«Вот такая технология — научно обоснованная, широко применяющаяся», — прокомментировал исследование Л. Волков**. Списочный эксперимент действительно популярен в академической среде. Более того, этот же метод недавно использовался американскими политологами также для определения рейтинга российского президента — в статье «Is Putin's popularity (still) real?», опубликованной в журнале Post-Soviet Affairs в марте 2023. Впрочем, выводы авторов имеют некоторые расхождения с теми, что заявляет ФБК*.
Немного о методе
Проблема опроса — нежелание респондента открыто говорить на «чувствительные» темы. В недемократических условиях вопросы относительно отношения к власти представляют собой одну из таких тем.
Списочный эксперимент не предполагает получение от респондента четких ответов, что и выделяет его на фоне стандартных опросов. Вместо этого достаточно лишь озвучить несколько отстраненных утверждений, а респондент должен сказать, со сколькими из них он согласен.
Списочный эксперимент не предполагает получение от респондента четких ответов, что и выделяет его на фоне стандартных опросов. Вместо этого достаточно лишь озвучить несколько отстраненных утверждений, а респондент должен сказать, со сколькими из них он согласен.
Как же исследователь может делать выводы об уровне поддержки национального лидера, зная лишь, сколько утверждений из озвученных респондент поддерживают? Эксперимент проводится на 2 выборках — контрольной и тестовой. Людям из обеих выборок показывается одинаковый список утверждений, однако в тестовой группе к этому списку добавляется утверждение, касающееся отношения к президенту. Например, список, предлагаемый авторами статьи респондентам в 2022 году, выглядит следующим образом:
● Обычно я читаю более одной газеты или журнала в неделю;
● Я могу назвать имя председателя Конституционного суда Российской Федерации;
● Я удовлетворен уровнем своего дохода;
● [Я поддерживаю политику Владимира Путина]
В контрольной группе показывались первые 3 утверждения, в тестовой — все 4
● Обычно я читаю более одной газеты или журнала в неделю;
● Я могу назвать имя председателя Конституционного суда Российской Федерации;
● Я удовлетворен уровнем своего дохода;
● [Я поддерживаю политику Владимира Путина]
В контрольной группе показывались первые 3 утверждения, в тестовой — все 4
Предполагается, что разница между средним количеством утверждений, с которыми согласны респонденты, в тестовой и контрольной выборках и есть уровень поддержки президента (конечно, если выборки репрезентативны, а следовательно, в теоретически равных условиях должны были бы показывать одинаковые результаты).
Например, если в контрольной группе в среднем респонденты согласны с 2 утверждениями, а в тестовой — с 2.5, значит разница в 0.5 получена за счет включения пункта относительно поддержки В. Путина. В процентном отношении, этот показатель 0.5 конвертируется в 50%.
Например, если в контрольной группе в среднем респонденты согласны с 2 утверждениями, а в тестовой — с 2.5, значит разница в 0.5 получена за счет включения пункта относительно поддержки В. Путина. В процентном отношении, этот показатель 0.5 конвертируется в 50%.
Результаты авторов
В отличие от ФБК*, авторы статьи проводили исследование в несколько подходов — в 2015, 2020-2021 и 2022 годах, — и с разными модификациями исследовательского дизайна (например, вместо списка утверждений мог использоваться список с историческими/политическими деятелями, в который для тестовой группы входил В. Путин).
Результаты варьируются между годами:
● В 2015 году авторы зафиксировали поддержку президента 79-81% VS в это время опросы показывали 86-88%.
● В 2020-2021 году — 40-54%, в зависимости от волны эксперимента (он проводился 4 раза за период) и типа списка VS опросные значения в этот период — 63-69%.
● Наконец, в 2022 году авторы зафиксировали 55-63% поддержки, в зависимости от типа списка VS согласно опросам — 84%.
Результаты варьируются между годами:
● В 2015 году авторы зафиксировали поддержку президента 79-81% VS в это время опросы показывали 86-88%.
● В 2020-2021 году — 40-54%, в зависимости от волны эксперимента (он проводился 4 раза за период) и типа списка VS опросные значения в этот период — 63-69%.
● Наконец, в 2022 году авторы зафиксировали 55-63% поддержки, в зависимости от типа списка VS согласно опросам — 84%.
На протяжении всех замеров можно наблюдать тот факт, что результаты эксперимента систематически ниже, чем результаты опросов с прямыми вопросами (только в 2015 году разница небольшая, однако авторы сами признаются, что после 2015 они поменяли подход к формированию выборки).
Более того, показатели за 2022 год относительно недалеки от 48%, декларируемых ФБК* в конце 2023. Впрочем, авторы не спешат заявлять об обнаружении реального рейтинга В. Путина.
Более того, показатели за 2022 год относительно недалеки от 48%, декларируемых ФБК* в конце 2023. Впрочем, авторы не спешат заявлять об обнаружении реального рейтинга В. Путина.
Что не так?
О проблемах исследовательского дизайна ФБК* уже исчерпывающе сказал докторант мюнхенского Института экономических исследований Л. Чаргазия: потенциальная проблема смещённой выборки — недостаток деталей о процедуре эксперимента и диагностики результатов.
Впрочем, даже если эксперимент был проведен с соблюдением всех условий, результаты имеют свои нюансы. Один из важных элементов дизайна, отсутствующих в исследовании ФБК*, о котором также упоминает Л. Чаргазия, — плацебо-тест. Тот же самый эксперимент должен быть проведен для замера общественных настроений относительно «нечувствительной» темы.
Впрочем, даже если эксперимент был проведен с соблюдением всех условий, результаты имеют свои нюансы. Один из важных элементов дизайна, отсутствующих в исследовании ФБК*, о котором также упоминает Л. Чаргазия, — плацебо-тест. Тот же самый эксперимент должен быть проведен для замера общественных настроений относительно «нечувствительной» темы.
Если результаты такого теста сойдутся с результатами, которые транслируют опросы, значит, это действительно рабочая техника, позволяющая выявлять скрытые настроения.
Если же результаты эксперимента, в котором замеряется отношение респондентов к «нечувствительной» теме, окажутся ниже опросных — вероятно, проблема не в теме, а в списочном эксперименте как методе.
Авторы, в частности, в качестве плацебо-теста проводили этот же эксперимент для замера отношения россиян к Ф. Кастро — нейтральной фигуре, относительно которой респонденты теоретически должны высказываться открыто.
Если же результаты эксперимента, в котором замеряется отношение респондентов к «нечувствительной» теме, окажутся ниже опросных — вероятно, проблема не в теме, а в списочном эксперименте как методе.
Авторы, в частности, в качестве плацебо-теста проводили этот же эксперимент для замера отношения россиян к Ф. Кастро — нейтральной фигуре, относительно которой респонденты теоретически должны высказываться открыто.
Оказывается, на фоне 54% поддержки кубинского революционера, транслируемых опросами, эксперимент выявил лишь 23-40%. «В случае, если результаты плацебо-эксперимента не соответствуют объективной реальности — в дизайне эксперимента или процессе формирования выборки есть серьезные изъяны», — отмечает Л. Чаргазия.
Авторы же описывают этот феномен как artificial deflation дословно — искусственное занижение. Проблема, вероятно, относится не столько к изъянам процедуры, сколько к ограничению метода как такового: «тенденция к недоучету элементов списка, которая увеличивается с увеличением длины списка».
Авторы же описывают этот феномен как artificial deflation дословно — искусственное занижение. Проблема, вероятно, относится не столько к изъянам процедуры, сколько к ограничению метода как такового: «тенденция к недоучету элементов списка, которая увеличивается с увеличением длины списка».
Если даже дизайн эксперимента, представленного ФБК*, не имеет проблем, оценивая результаты, следует делать ставку на то, что 48% — это «искусственно заниженный» самим методом результат. Так или иначе, авторы исследования получили похожие цифры при том, что сделали всё, грубо говоря, в большей степени по-научному.
Следовательно, чтобы примерно оценить реальный рейтинг президента, к ~50% нужно в любом случае добавлять некоторое число сверху. Величина этого числа, впрочем, пока строго не определена.
Следовательно, чтобы примерно оценить реальный рейтинг президента, к ~50% нужно в любом случае добавлять некоторое число сверху. Величина этого числа, впрочем, пока строго не определена.
Итог
Прием с использованием «авторитета ученого» в политических целях не нов. Ранее ФБК* при помощи академических политологов пытались доказать эффективность своей технологии «Умного голосования».
Критика метода с высокой вероятностью будет проигнорирована, и ФБК* продолжит его активно применять как во время предвыборной кампании, так и в период подведения итогов голосования для делегитимации результатов.
Критика метода с высокой вероятностью будет проигнорирована, и ФБК* продолжит его активно применять как во время предвыборной кампании, так и в период подведения итогов голосования для делегитимации результатов.
* Включён в реестр НКО, выполняющих функции иностранного агента. Организация признана экстремистской, её деятельность запрещена на территории России.
** Признан иноагентом
** Признан иноагентом
