Ошибки маркетинговых исследований. Как проконтролировать качество количественного исследования?

К вдохновению маркетинговых агентств, рыночные исследования перестают быть чем-то уникальным в российской бизнес-практике. Исследовательский рынок ежегодно растет на четверть и более, его годовой объем уже превышает $300 миллионов. Представители даже самых консервативных промышленных отраслей перестают ориентироваться на эфемерную «предпринимательскую интуицию» и обращаются к профессионалам в поисках знаний о рынке. И вполне своевременно, нужно заметить, обращаются: все чаще рыночные провалы и даже гибель компаний обусловливаются неправильным курсом бизнеса, убийственной стратегической слепотой.

Маркетинговое исследование – самый верный, если не единственный, путь к практическим знаниям о среде, в которой существует бизнес. На этой информации основываются важнейшие управленческие решения, благодаря которым компания занимает те или иные, более или менее благоприятные позиции. Логично предположить, что качество этих решений зависит от двух факторов – компетентности менеджера и надежности информации, полученной в ходе маркетингового исследования. В этой статье речь пойдет о проблемах надежности маркетинговой информации, собираемой в ходе количественных исследований. Этот материал продолжает серию публикаций о проблемах маркетинговых исследований, начатую статьей «2000 слов о том, как нельзя проводить фокус-группы» в августе нынешнего года.

Количественные маркетинговые исследования направлены на получение как можно более точных количественных оценок тех или иных параметров изучаемого предмета, то есть имеют дело с цифрами. Понятно, что если серьезные принимаемые решения основываются на цифрах, требования к точности и достоверности этих цифр должны быть не менее серьезными. Чем выше уровень решения, тем больше требований должно предъявляться к точности маркетингового исследования, поскольку с повышением точности снижается управленческий риск, но увеличивается стоимость исследования. Но, как бы то ни было, на любом уровне управленческих решений и вне зависимости от стоимости, подходы к организации и проведению маркетингового исследования должны учитывать все риски, которые несет его заказчик.

Риски маркетинговых исследований.

С вами случалось спрашивать у прохожего совета, не зная дороги куда-либо, и получать указующий ответ-жест типа «Воооон туда»? Обычно, получив такой совет, люди двигаются в указанном направлении, не задумываясь о качествах источника информации. Откуда тот прохожий знает, куда вам идти? Был там? Или слышал, что нужное место находится там? От кого слышал? В любом случае, воспользовавшись этим советом постороннего вы окажетесь в одном из трех мест: в пункте назначения, почти там или в абсолютно другом месте. Итог вашей ошибки, то есть применения некачественной информации - потерянное время, упущенные возможности и прочие неприятности, которых вполне можно было избежать.

Самая распространенная и, пожалуй, одна из самых безобидных проблем маркетинговых исследований – бесполезность полученной информации. Безобидная, поскольку не применив недостоверные данные, вы не сможете навредить своему бизнесу. Потраченных впустую денег будет жаль, но это не поставит под угрозу позиции бизнеса. Распространенным этот риск стал благодаря «трудностям перевода»: не все исследователи способны правильно и понятно транслировать собранные данные до степени практически применимых знаний, не все менеджеры способны «прочесть» полученную информацию до степени реального осознания. Множество отчетов по маркетинговым исследованиям бессмысленно пылятся на полках, напоминая заказчикам о пустых тратах.

Если бесполезность данных маркетингового исследования оборачивается обычным досадным бизнес-опытом, то применение недостоверных данных может резко ухудшить позиции бизнеса на определенных рынках, либо вообще поставить на карту судьбу компании. Маркетинговые исследования проводятся в таком множестве деловых сфер, что недооценивать их влияние на успех бизнеса довольно опасно. Это можно было бы назвать популизмом, не пестри сегодняшняя деловая среда целым букетом печальных историй рыночных провалов.

Главное, чем вы рискуете, применяя неточные маркетинговые данные – деньги, время, репутация. Неверно выбранный целевой сегмент, неправильно спланированная рекламная кампания, неадекватное ценовое позиционирование, неправильная оценка предпочтений потребителей... Каждый неверный шаг может обернуться катастрофой для компании, и чем слабее ее рыночные позиции, тем глобальнее могут быть последствия необоснованных решений. Страховка от неправильных решений – достоверная рыночная информация.

Что такое «достоверная информация»?

Как может показаться на первый взгляд, с определением «достоверность» все довольно просто. Если не углубляться в предмет, то в целом так оно и есть: «достоверный» значит «правдивый», не более. Но этого абсолютно не достаточно в деловом обороте, где требуется гораздо больше точности, чем в повседневном «бытовом» применении. В частности, в сфере маркетинговых исследований к понятию достоверности предъявляются очень серьезные требования. Среди множества факторов достоверности маркетинговой информации особое внимание стоит уделить ошибкам процесса исследования и точности интерпретации и анализа собранных данных.

В процессе разработки и проведения маркетинговых исследований применяются сложные методы многих научных дисциплин: социологии и психологии, маркетинга и микроэкономики, поведения потребителей, психометрии, статистики и квалиметрии. Как и другим наукоемким сферам, маркетинговым исследованиям свойственно множество тонких мест, в которых возможно возникновение критических ошибок исследования. Рассмотрим их в порядке процессов типичного количественного маркетингового исследования.

Ошибки проектирования исследования

На этапе проектирования маркетингового исследования, как во время закладки фундамента здания, определяется его надежность. Когда вы обращаетесь в маркетинговое агентство с конкретными информационными пробелами, специалисты предлагают исследовательские методы, ориентированные на решение именно ваших задач. Важно, чтобы избираемые методы исследования отвечали требованиям эффективности, предусматривали оптимальное сочетание полученного результата и затраченных средств. Недавно одно из столичных маркетинговых агентств изучало предпочтения москвичей на рынке автомобильных шин, избрав для этого метод массового опроса в формате «face-to-face». При этом задачей являлось всего лишь определение рыночных пропорций марок и размеров шин, без персонализации потребителей. На проведение 1600 интервью было затрачено полтора месяца и несколько десятков тысяч долларов. Понятно, что методом наблюдения, например, те же результаты могли быть получены в разы быстрее и на порядок дешевле.

Приведенный пример иллюстрирует расточительность ресурсов, но не искажение информации. Есть множество других, гораздо более опасных ситуаций, когда ошибки проектирования напрямую влияют на достоверность полученной информации. Чаще всего такие ошибки связаны с определением генеральной совокупности и дизайном выборки.

Определение изучаемой совокупности – один из самых главных вопросов исследования. Обобщенно в качестве генеральной совокупности принимается аудитория, соприкасающаяся с деятельностью компании в каком-либо ракурсе. Другими словами можно было бы отождествлять генеральную совокупность и целевую аудиторию, но разнообразие направлений маркетинговых исследований требует допущений. Например, целью исследования может быть изучение потенциальной аудитории, групп, потребляющих товары-заменители, бывших покупателей, уже не являющихся целевой группой. Соответственно, настройка параметров определения генеральной совокупности – частная задача каждого конкретного исследования.

Исследователь не должен стесняться в применении скрининга – системы «фильтрации» генеральной совокупности для отбора нужных респондентов. Скринер – это группа вопросов в начале анкеты, ответы на которые определяют участие человека в опросе. Обычно исследователи стараются не «раздувать» скринер, то есть не усложнять фильтры, поскольку это приведет к более строгому отсеву участников опроса и, соответственно, к лишним затратам. С другой стороны, в прямых интересах заказчика - максимально строгий отбор респондентов. На вопросы должны отвечать те, кто может на них ответить, иначе участие респондента в исследовании нецелесообразно. Хорошим примером может служить недавнее исследование рынка конкретного вида корма для беременных собак, в котором приняли участие 1150 «владельцев домашних животных», отобранных скринером, несоответствующим границам исследования. В итоге - 55-процентное среднее заполнение анкет, поскольку не все владельцы морских свинок разбираются в собачьих кормах. Разница для исследователя между «беременными собаками» и «домашними животными» в комментариях не нуждается.

Если генеральная совокупность определена правильно, теоретически каждый ее представитель на вопрос из серии «Вы покупали/покупаете/купите/пользовались/знаете/владеете и пр?» ответит положительно. Именно таких людей нужно заключать в генеральную совокупность, именно из них строить выборку. Иначе эффективность исследования будет снижена за счет опроса ненужных респондентов. Кроме того, если к анализу будут приняты данные, полученные от некомпетентных респондентов, достоверность результатов исследования будет нарушена.

Ошибки в формировании основы выборки могут нанести не менее ощутимый ущерб достоверности результатов маркетингового исследования. Основа выборки – это перечень единиц генеральной совокупности, из которого производится отбор респондентов для участия в исследовании. Если определение генеральной совокупности – это теоретическое знание, то основа выборки учитывает конкретные материальные признаки единиц этой совокупности. Например, в генеральной совокупности «владельцев автомобилей Audi не старше трех лет» может быть построена основа выборки по признаку «посетители фирменных сервисных центров Audi».

Ошибка формирования основы выборки произойдет в случае подмены признаков ее принадлежности к генеральной совокупности. Все владельцы автомобилей Audi посещают сервисные центры хотя бы для прохождения ежегодного техобслуживания, поэтому шансы встретить каждого из них в сервисном центре примерно равны. В другом примере основа выборки из генеральной совокупности владельцев домашних компьютеров была построена по признаку чтения некоего журнала компьютерной тематики. Понятно, что этот признак неприменим для формирования основы, поскольку нет достаточных доказательств того, что все читатели этого журнала имеют домашний компьютер.

Ошибки в определении необходимого объема выборки приводят к недостатку репрезентативности, как следствие – к отклонению полученной информации относительно истины. Расчет объема выборки – задача не сложная, но и не элементарная. Методика расчета объема выборки подразумевает наличие знаний о параметрах изучаемой совокупности, и чем богаче эти знания, тем эффективнее исследование. Если же подобное исследование проводится впервые, методика определения объема выборки рекомендует исключить недостаточность количества респондентов. Это, в свою очередь, ведет к не всегда оправданному повышению стоимости исследования.

К множеству проблем могут вести ошибки избрания метода формирования выборки. Большинство из этих проблем связаны с подменой методически чистых, но дорогих типов выборки более дешевыми и простыми, но методически не безукоризненными. Маркетинговые исследования очень часто требуют применения метода простой случайной выборки, но случайный отбор респондентов – дорогая и сложная процедура. Поэтому недобросовестные исследователи часто применяют суррогатные аналоги случайной выборки, внося в процесс элемент системности. Вслед за этим выборка наполняется в соответствие с рядом нежелательных эффектов, снижающих репрезентативность. Далее следуют неверные выводы по результатам маркетингового исследования и управленческие ошибки.

Проектирование анкеты количественного исследования – настоящий Клондайк для допущения ошибок. От качества анкеты, от умения задавать вопросы, зависит половина успеха исследования. По-сути, анкета – это язык общения интервьюера с респондентом, и они оба должны владеть этим языком идеально. Как этого добиться от респондента? Очень просто: не задавайте ему непонятных, неоднозначных, двусмысленных вопросов, не нагружайте его терминами и профессиональными формулировками, избегайте заимствованных слов и англицизмов, не давайте ему уставать и скучать, не допрашивайте его, не задавайте личных, интимных тревожных вопросов. Разработка анкеты – отдельная дисциплина маркетинговых исследований, которую мы обсудим позже в отельной статье.

Существенный ущерб результатам исследования может нанести ошибка подмены информации, связанная с несоответствием искомых данных поставленным задачам. Например, если при выпуске шоколада с новой начинкой, перед исследованием ставится цель оценить его вкус, а респондентов просят сравнить его со старым вкусом, имеет место ошибка подмены информации. Очевидно, что «оценка» и «сравнение» - совершенно разные задачи.

Ошибки сбора данных

Этап сбора данных, или «поле», начинается с отбора респондентов. Если эта процедура не обусловлена строгими правилами, может проявиться ошибка отбора респондентов. Ошибка отбора имеет место в том случае, когда используется нерепрезентативная, отличная от случайной, выборка. Например, если интервьюер, проводящий опрос относительно покупательских привычек в супермаркете, намеренно избегает брать интервью у посетителей с детьми, проявляется ошибка отбора.

Ошибка задавания вопроса проявляется, когда интервьюер, задавая вопрос респонденту, использует формулировку, отличающуюся от записанной в анкете. На то, как интервьюер задает вопрос и расспрашивает о подробностях, оказывают влияние следующие факторы: собственное мнение интервьюера относительно того, какой ответ является "правильным" и ожидание ответов, которые будут "соответствовать" респонденту. Например, при беседе с человеком без высшего образования, интервьюер может самовольно заменить вопрос "Какое образование у Ваших детей?" вопросом "Наверное, Ваши дети не учились в институте?". Это очевидная ошибка задавания вопроса.

В большинстве случаев личное интервью является для респондента совершенно новым опытом, в результате интервьюер становится для него основным источником подсказок относительно того, как следует себя вести. Интервьюер должен производить впечатление человека, который в состоянии понять его точку зрения участника, и сделать это, не отвергая его мнения. Соответственно, неспособность интервьюера быть "на одной волне" с респондентом провоцирует ошибку навязывания впечатления.

Ошибка вмешательства, обмана и подлога – наиболее острая проблема маркетинговых исследований. Проблема подлога и обмана со стороны интервьюеров обусловлена несколькими причинами, в числе которых скромные заработки, недостаточный контроль и низкий культурный и дисциплинарный уровень. Подлог может оказаться очень серьезным, когда сфабрикованным окажется все интервью целиком, или касаться отдельных вопросов, ответы на которые не были получены в ходе беседы с респондентом. Поскольку это приводит к серьезным ошибкам, во многих исследовательских компаниях подвергаются проверке до 50% результатов интервью. Этот процесс предполагает повторный, обычно телефонный, опрос некоторого количество участников проведенного исследования.

Ошибка отказа от ответа является существенной проблемой, поскольку люди, отказавшиеся от участия в исследовании, скорее всего, будут значительно отличаться от тех, кто на сотрудничество пошел. Существует ряд причин для отказа от участия в исследовании. Главным образом - это страх перед последствиями. Также исследование может восприниматься как вторжение в частную жизнь. Кроме того, человек может быть недружелюбно настроен по отношению к исследователю.

Ошибка неспособности ответить. Респонденты могут быть неспособны дать ответ в случае, если они его не знают или забыли; они также могут быть неспособны правильно выразить его. Проблемы в каждом из этих случаев могут оказаться еще серьезнее, если респонденты начнут выдумывать ответы, поскольку не хотят признаваться в своей некомпетентности или хотят оказать любезность интервьюеру. Следует помнить, что в большинстве случаев респонденты хотят помочь исследователю и стараются дать как можно больше информации. Свой вклад в ошибку исследования могут внести искажение временем, усреднение или упущение информации.

В ходе интервью могут проявиться ошибки нежелания дать точный ответ и искажения ответа. Среди причин, обусловливающих это явление, могут быть ощущение вторжения в частную жизнь, недостаток времени, усталость респондента, соображения престижа и социальной приемлемости ответа, любезность, отсутствие информации и стиль ответа.

Ошибки ввода, анализа и интерпретации данных.

После того, как все заполненные анкеты доставлены в офис исследовательского агентства, специалисты приступают к процессу формирования базы данных исследования. На этом этапе анкетные данные вводятся в специализированные статистические программы, кодируются и проходят многоступенчатую проверку. Это технические мероприятия, которые могут допускать технические ошибки. Например, некорректное кодирование может привести к потере ценных данных открытых вопросов а ошибки ввода данных, допущенные под влиянием человеческого фактора, могут исказить данные правильно проведенного полевого этапа. Как правило, проводимые проверки позволяют нивелировать технические ошибки ввода и кодирования.

Неправильное применение методов статистического анализа представляет более серьезную проблему. Обычно анализ данных маркетингового исследования ограничивается простым табулированием – построением линейных и перекрестных распределений ответов на вопросы анкеты. Конечно, применение элементарных статистических процедур, не требующих специальных навыков и знаний, ограничивает риски неправильной интерпретации данных. Но когда используются сложные статистические методы кластерного, регрессионного, совместного анализа, риск неправильной обработки данных резко повышается. На выходе заказчик получает ложную информацию и основывает на ней такие же ложные выводы.

В заключение.

Маркетинговые исследования – это высокоинтеллектуальная деятельность. К радости профессионалов и к досаде дилетантов этого дела, способность к проведению достоверных маркетинговых исследований связана с огромным запасом знаний в множестве научных дисциплин, и овладение этой наукой занимает многие годы. Тем не менее, сегодня на растущем рынке маркетинговых исследований возникают все новые и новые специалисты, имеющие весьма отдаленное представление о достоверности. Их формула - «достоверный» = «правдивый». Их клиентам стоит быть аккуратнее, принимая на веру такую «правду».