Этап 2. Сбор данных

Ключевые «развилки» в процессе сбора обратной связи:

• анонимно или нет?
• собирать самостоятельно или привлечь внешнюю организацию / специалиста?
• использовать уже готовый инструментарий (анкета, вопросы) или самостоятельная разработка?

Анонимно или нет?

С точки зрения того, кто отвечает (респондента, благополучателя), не-анонимные ответы проблематичны по ряду причин. Это опасения о возможных негативных последствиях (например, ухудшение отношений с организацией, отказ в предоставлении помощи и пр.). Кроме того, как правило, данные анонимных опросов менее смещены (организацию меньше хвалят, чаще сообщают о негативных и сложных ситуациях)[1].

Однако, с точки зрения организации, не-анонимные данные более полезны, поскольку их можно использовать в более широком контексте, дополнив другими программными знаниями о респонденте; позволяют выявлять зависимости между данными обратной связи и социальными результатами. Кроме того, не-анонимный способ сбора данных сокращает саму анкету за счет социально-демографического блока (пол, возраст, продолжительность участия в программе и пр.).

Совет: на первоначальном этапе предпочтительнее сбор анонимной обратной связи; и постепенное взращивание и поощрение культуры открытости и искренности.

Благополучатели должны быть уверены, что любые их высказывания (позитивные или негативные) не повлияют на отношения, объем и качество получаемых услуг и пр.

При сборе не-анонимных данных не забывайте про обеспечение конфиденциальности[2].

Все сделать самим или привлечь внешнюю сторону?

Аналогичным образом, меньше смещений в ответах, если сбор обратной связи осуществляется независимой стороной (компания, консультант), а не силами организации. С другой стороны, для самой организации собирать данные самостоятельно проще и дешевле, можно быстрее встроить в управленческие процессы и пр.

В качестве внешней стороны можно привлечь:

• сотрудников или студентов местных вузов (профильные специальности);
• социологические, маркетинговые и консалтинговые компании;
• консультанты;
• НКО, которые проводят исследования, оценку, оказывают консалтинговые услуги и пр.

Если уместно, то к сбору данных можно привлекать и благополучателей. Например, совместная фасилитация фокус-группы.

Свои вопросы или типовые, апробированные

Создание качественной анкеты или вопросов для интервью – довольно сложный процесс, требующий профессиональных знаний и навыков. Во многих ситуациях необходимо создавать вопросы «с нуля», поскольку важно получить данные по вопросам, специфичным именно для вашей организации, с употреблением определенного языка или относительно уникальных мероприятий. В таких случаях особенно важно предварительно протестировать получившиеся вопросы – насколько они ясны для респондентов и однозначно воспринимаются.

Однако для ряда типовых тем (например, лояльность клиентов[3] или качество обслуживания) имеет смысл воспользоваться уже готовой анкетой. Это позволит значительно сэкономить время на разработку вопросов; такой инструментарий был составлен профессионалами, все вопросы были тщательно проверены и апробированы, а соответственно, повышается вероятность получения надежных и достоверных данных. Кроме того, появляется возможность для сравнения полученных результатов с другими группами благополучателей, другими программами и организациями (бенчмаркинг, baseline и пр.).

На что нужно обратить внимание при сборе данных?

1. Тестирование, тестирование и еще раз тестирование

Перед запуском опроса обязательно проверьте вопросы анкеты на небольшой группе благополучателей – понимают ли они вопросы именно так, как вы задумали? Все ли вопросы комфортны? В каких случаях пропускались ответы на вопросы?

Например, если в вашем вопросе есть шкала, проверьте, что она понятна для аудитории[4]. Не помешает креативный подход – например, использование смайликов, звездочек. Шкала оценок от 1 до 5 проще, чем от 0 до 9.

2. Возврат ответов >> надежность данных

Чем больше человек приняло участие в вашем опросе и чем меньше возможных перекосов (например, среди ваших благополучателей представлены люди разного пола и образования, а данные собраны только от женщин или только от участников с высшим образованием), тем выше надежность полученных данных.

Важно: Чтобы узнать, сколько именно ответов «хорошо» именно в вашем конкретном случае, зависит от многих факторов, поэтому лучше посоветоваться со специалистом.

Низкий уровень ответов может быть связан со следующим:

• не было предварительного тестирования анкеты на восприятие (насколько понятны и корректны формулировки вопросов, чувствительность темы, пр.);
• благополучатели не видят для себя смысла участвовать в опросе.

Как правило, желание отвечать на вопросы анкеты связано с важностью и ценностью темы для самих участников, сложившимися отношениями с организацией.

Весьма важен вводный текст / личный призыв (питч) с приглашением к участию в опросе, с просьбой предоставить обратную связь. Если к участию в опросе приглашают сотрудники лично, то желательно заранее продумать простую инструкцию, как именно приглашать к опросу. С сотрудниками, которые будут непосредственно приглашать к опросу, нужно обязательно посоветоваться, как лучше приглашать благополучателей к опросу, чтобы это было естественным, но при этом были затронуты ключевые моменты (цель опроса, конфиденциальность, использование собранных данных и пр.).

При раздаче печатных анкет для самозаполнения можно заранее смоделировать и разыграть типичные ситуации, которые приводят к отказу от участия в опросе.

Активность участия в опросе можно повысить за счет привлечения благополучателей на этапе разработки, тестирования, сбора, обработки и анализа данных.

В некоторых случаях вполне уместно предложить символическое вознаграждение за участие в опросе – доступ к фото, дополнительная консультация специалиста, купон на скидку партнера и пр.

Уважайте право благополучателей отказаться от участия в опросе!

Это и этические соображения, и повышение качества данных – кому нужны формальные и неискренние ответы?

3. Статистическая значимость

При использовании количественных методов исследования, когда нас интересуют цифры, доли и пр., важно, чтобы полученные нами данные и выводы были адекватны и корректны.

Статистическая значимость – это про то, насколько вероятно, что полученные нами результаты(выводы, распределение ответов) отражают что-то реально существующее, а не получены чисто случайно. Насколько вероятно, что если провести тот же самый опрос в других условиях (другой день, населенный пункт, группа участников), то будут получены примерно такие же данные?

Степень такой вероятности обозначается, например, как р < 0,05 и означает, что полученные результаты могли быть получены случайно только в менее чем 5 случаях из 100. Чем меньше значение р, тем более статистически значимы результаты; то есть тем менее вероятно, что они были получены случайно.

Идеальная картина для достижения статистически значимых результатов – получить данные от всех благополучателей. Однако это реально только для небольших групп благополучателей (до 100 человек); в таких случаях предпочтителен сплошной опрос (заполнить анкету просят каждого).

В случае, если ваша целевая группа больше 100, то, как правило, делают выборку – опрашивают не всех, а только часть благополучателей. Чтобы выводы, полученные от части благополучателей, можно было бы распространить на всех, выборка должна быть репрезентативной. Это значит, что люди, попавшие в выборку, обладают примерно теми же признаками и в той же пропорции, что и вся целевая группа. Конечно, важны не все признаки, а только те, которые важны для исследования. Например, обычно не важно, чтобы в опросе приняло такая же доля Маш и Петь, но важно то же соотношение по полу, возрасту, месту проживания, доходу и пр.

Например, нас интересует мнение родителей детей с ОВЗ о доступности тех или иных услуг. Если опрос будет проведен только среди жителей столичных городов, выборка будет нерепрезентативной – в нашей выборке должно быть такая же доля жителей села, малых и крупных городов, как и в России в целом.

Существует разные способы формирования репрезентативной выборки:

• случайная (когда у всех равные шансы быть опрошенными);
• квотная (когда обеспечивается, чтобы в выборке было такое же, как и в целом в целевой аудитории соотношение по возрасту, полу, образованию или иным важным для конкретной программы подгруппам).

Тип и размер выборки, необходимый для обеспечения нужной статистической значимости, зависит от сложности исследования,однородности и общей численности вашей целевой группы.

Чтобы понять, не пересолена ли манная каша, достаточно съесть небольшую ложку – не смысла есть целую тарелку; но чтобы оценить, много ли мяса в супе, потребуется больший объем пробы, неплохо бы зачерпнуть из разных частей кастрюли (не только со дна, но и не только сверху) и пр. Пусть эта картинка поможет вам понять нюансы выборки)

Важно: Статистика представляет собой обширную и сложную науку. Для расчета статистической значимости, типа и размера выборки можно воспользоваться различными калькуляторами[5] или пройти специализированные курсы по статистике; если эта тема для вас сложна, лучше обратитесь за советом к специалистам-социологам.

4. Осознавайте возможный перекос (смещение) в ответах благополучателей

Общая проблема при проведении опросов – распространенность исключительно позитивных, высоких оценок, что обусловлено вежливостью, благодарностью, признательностью организации и пр., особенно если благополучатели получают особо важные и необходимые для них услуги, независимо от их качества.

Одно из возможных решений – просьба оценить не организацию или ее услугу / мероприятие, а изменения, произошедшие с самими благополучателями. Дополнительные возможности для получения конструктивной обратной связи – формулировка открытых вопросов, когда участников просят своими словами пояснить, что именно организация / программа делает хорошо, а что можно улучшить, делать по-другому.

Также вероятность завышенных оценок снижается в случае анонимного сбора данных, силами внешних организаций / специалистов.

5. Используйте групповые обсуждения, чтобы добавить глубины и объема к количественным данным

Опрос – один из самых эффективных и экономичных методов сбора высококачественных данных от благополучателей; однако даже самый тщательно разработанный и проведенный опрос не позволяет получить полную картину. Вы не можете задавать слишком большое количество вопросов, респондентам сложно давать детальные, подробные ответы на открытые вопросы. Варианты ответов на вопросы обычно стандартизированы, что позволяет проводить быстрый и простой анализ.

Групповые методы сбора обратной связи (например, фокус-группы) помогают лучше понять выявленные в опросе тренды. Кроме того, такое обсуждение полученных результатов опроса с благополучателями создает пространство для диалога по поводу тех проблемах, с которыми они сталкиваются; как в программе могут лучше учитываться потребности благополучателей.

6. Разделите благополучателей на типы.Не обращайтесь ко всем благополучателям одновременно

Как правило, данные, адресованные ко всем сразу, менее ценные. Разбивайте благополучателей на те сегменты, которые важны для вашего проекта. Например,по продолжительности участия, интенсивности сопровождения, платные / бесплатные услуги, кровные / замещающие семьи, материального положения и пр.).

Для этого в анкете, например, могут быть специальные вопросы-фильтры («Как долго вы участвуете в программе?» и пр.).

В онлайн-опросах разным группам участников могут направляться разные ссылки на анкету (разные «коллекторы» ответов). Это особенно полезно, когда не всегда корректно задавать вопрос-фильтр напрямую. Например, вас особенно интересует определенная группа благополучателей (родители с невысокими результатами участия в программе, или плохо посещающие занятия, или перенесшие насилие и пр.), в этом случае можно направлять 2 разные ссылки - этой подгруппе и всем остальным. Вы сможете соблюсти конфиденциальность ответов, уйдете от провокационных или некомфортных уточняющих вопросов, а также сможете анализировать данные подгруппы отдельно.

В зависимости от типа благополучателя различаются и их запросы. Вполне возможно, что вам не нужны ответы от всех пользователей сразу, а только от определенной группы – в зависимости от стоящей перед вами задачи.

Например:

• если требуется внести изменения в график консультаций – обратитесь только к тем, кто обращается за ними;
• хотите разобраться, почему нет спроса на определенные мероприятия? спросите тех, кто в них не участвует.

Не всегда продуктивно обращать внимание на обещания следующего типа:

• Не буду пропускать мероприятия, только если…
• Внедрю полученные знания, когда / если…

Вместо этого обращайте внимание на то, что происходит на самом деле: спрашивайте именно тех, кто действительно внедрил знания / не пропускает мероприятия, что их мотивирует и пр.

Не забывайте периодически спрашивать мнение не-благополучателей:

• тех, кто не является благополучателями вашей программы, но потенциально мог бы ими стать: слышали ли они о программе / услуге, задумывались ли об участии? Если нет, то почему? Если да, то почему не приняли участия?
• тех, кто покинул программу – с чем это связано? Какие были причины?