Если вы не можете доверять данным вашего исследования, какой в ​​этом смысл?

Большинству исследователей известно о многочисленных предубеждениях, которые могут повлиять на результаты опросов. Большинство из нас обучены избегать или осознавать предвзятость социальной желательности, предвзятость подтверждения, наводящие вопросы и даже предвзятость выборки. Однако существует множество типов систематической ошибки выборки, и о важном из них не часто говорят в мире онлайн-выборок, однако она может серьезно повлиять на результаты и надежность вашего исследования. В основе систематической ошибки выборки лежит тот факт, что панели выборки отличаются друг от друга и постоянно меняются.

Ключевые показатели эффективности бренда могут сильно различаться в зависимости от источника выборки. Мы обнаружили, что рейтинг бренда может варьироваться до двадцати процентных пунктов в зависимости от выбора поставщика выборки. Двадцать процентов могут стать причиной разницы в решениях, которые могут иметь последствия на миллиарды долларов. Некоторые из проблем, возникающих из-за систематической ошибки выборки, включают несогласованность данных, повышенный риск и систематическую ошибку агрегирования.

Несогласованность данных

Непоследовательность — враг отслеживания исследований. Исследователи пытаются понять, работают ли действия организации со своими потребителями. Таким образом, когда наблюдаются резкие колебания результатов от волны к волне, особенно те, которые исследователи не могут объяснить, становится трудно сравнивать данные с предыдущими волнами.

Повышенный риск

Слишком полагаться на одну панель (даже если вы агрегируете результаты) не только вносит предвзятость в ваше исследование, но и опасно. Если что-то случится с этим источником выборки (приобретение, банкротство и т. д.), ваше исследование будет испорчено, а данные станут бесполезными без возможности воспроизвести исследование. Как я сказал в недавнем выпуске нашего подкаста Intellicast, «когда происходит приобретение, всегда будут происходить изменения, в том числе изменения в ваших данных».

Даже если для завершения исследования вам придется добавить больше панелей или если будет выбрана неправильная смесь, вы рискуете внести систематическую ошибку в выборку. Мы знаем, что поставщики образцов со временем значительно меняются из-за изменений в спросе клиентов, изменений в методах подбора персонала, изменений в способах управления панелью, повышения безопасности и методов проверки и многого другого. Все это может показаться улучшением, и во многом так оно и есть, но это может повлиять на состав комиссии, отношение и поведение ее членов и, в конечном итоге, на ваши данные.

Смещение агрегирования

Если вы уже пользуетесь услугами нескольких поставщиков, вы можете подумать, что застрахованы от рисков, связанных с использованием одного источника. Когда вы используете один источник проб для всей вашей пробы, ваши возможности ограничиваются возможностями выбранного вами источника. Использование нескольких поставщиков мгновенно повышает осуществимость.

Чаще всего агрегирование выполняется для решения проблем осуществимости, но в процессе возникает множество других проблем. Это потому, что, если вы не выбираете эти панели стратегически, вы добавляете в свое исследование предвзятость. Именно здесь вступают в игру различия между группами и предвзятость агрегирования. Не все методы объединения нескольких поставщиков панелей одинаковы.

Укладка

Одним из способов объединения панелей является штабелирование. В этой форме объединения источников поставщик панелей добавляет как можно больше дополнительных поставщиков панелей к основному активу, чтобы достичь требуемой осуществимости. Это может означать две панели или двадцать панелей. При суммировании не уделяется внимания составу панели, отношениям и поведению респондентов или предвзятости группы.

Смешивание

Смешивание — это процесс объединения трех или более поставщиков, но более спланированным и целенаправленным методом, при котором ни один поставщик не получает более 50% от общего объема распределения.

Я рассказываю об этих проблемах не для того, чтобы напугать вас, а для того, чтобы убедиться, что вы полностью осознаете подводные камни. Однако какое решение? Как мы можем лучше всего уменьшить систематическую ошибку выборки? На первый взгляд ответ кажется простым: использовать несколько поставщиков образцов. На самом деле, возможно, вы уже это делаете, но, скорее всего, вы делаете это не стратегически, а значит, скорее всего, вы делаете только хуже. Стратегическое смешивание образцов — это процесс использования нескольких поставщиков спланированным и целенаправленным методом.

«Стратегическое смешивание образцов — это процесс использования нескольких поставщиков спланированным и целенаправленным методом».

Смешивание не должно производиться только ради смешивания. Главное, чтобы это делалось стратегически. Настройка смеси в соответствии с потребностями клиента обеспечит наилучшие возможные результаты. Если вы не осуществляете стратегический отбор групп на основе отношения и поведения, вы добавляете в исследование предвзятость. Поскольку все группы разные, у всех разное отношение и поведение.

Помните, как я говорил о том, что что-то происходит с вашим источником выборки? Стратегическое смешивание образцов поможет вам не беспокоиться об этих вещах. Панели со временем будут смещаться. Внесение незначительных корректировок обеспечивает стабильность с течением времени при смене панелей. Если панели не соответствуют требованиям или их необходимо заменить, у вас уже есть стратегически выбранные панели, чтобы заполнить пробелы.

Вам не нужно беспокоиться о смещении выборки или о том, что вы не знаете, вызваны ли изменения в данных различиями в панелях или реальными изменениями на рынке. Стратегическое смешивание образцов значительно снижает риски и несоответствия, поскольку любую панель в вашем исследовании можно легко заменить, а исследование воспроизвести.

Таким образом, вы будете знать, что ваши данные последовательны от волны к волне, а изменения в данных происходят из-за того, что делает клиент или бренд, а не из-за плана выборки. Не позволяйте своим исследованиям быть напрасными. Стратегическое смешивание выборок — это основной метод онлайн-выборки, который может помочь вам улучшить осуществимость, снизить риск и обеспечить согласованность данных с течением времени. Это позволяет вам полностью доверять своим данным и принимать уверенные бизнес-решения.