Как собирать обратную связь от благополучателей и вовлечь их в поддержку миссии
Главная / Рекомендации / Этап 3. Анализ и осмысление

Этап 3. Анализ и осмысление

Сбор обратной связи – не самоцель. Если обратная связь собирается, но затем должным образом не анализируется, то вы впустую тратите ресурсы – временные, материальные, кадровые и пр. Более того, если по результатам получения обратной связи в программе ничего не меняется к лучшему, то это вызывает негатив и снижает мотивацию ваших благополучателей снова предоставлять обратную связь (зачем, если ничего не изменится?).

КТО: ужена этапе планирования нужно понимать, кто именно будет обрабатывать полученные данные, как и куда они будут вноситься, где храниться и пр.

В случае, если у вашей организации есть сотрудники, имеющие соответствующие компетенции (какая удача!) или если сбор данных будут осуществлять привлеченные специалисты, особых проблем не возникает.

Если же вы будете обрабатывать и анализировать данные самостоятельно, но особых компетенций у ваших сотрудников нет, то имеет смысл заранее (еще на этапе планирования) обратиться за помощью и консультацией к специалистам.

Это могут быть:

  • сотрудники или студенты местных профильных вузов;
  • социологические, маркетинговые и консалтинговые компании;
  • консультанты;
  • НКО, которые проводят исследования, оценку, оказывают консалтинговые услуги и пр.

Многие такие организации и специалисты готовы проконсультировать (а иногда и взять на себя отдельные участки работы) совершенно бесплатно (probono) или по льготной стоимости. Не стесняйтесь обращаться напрямую, размещать соответствующие посты в социальных сетях (на своей странице, в профильных группах), на волонтерских ресурсах.

КАК именно анализировать полученные данные, конечно, зависит от поставленной цели и метода сбора данных. По классическим методам (анкетирование, фокус-группы, интервью) существует масса учебников и подробных пошаговых руководств[1], поэтому мы не будем останавливаться здесь подробно, а рассмотрим лишь общие принципы и менее типичные ситуации:

1 Обработка данных

Онлайн-платформы для проведения опросов[2] предлагают широкий спектр возможностей для обработки и визуализации данныхколичественных исследований. Данные платформы можно использовать как для онлайн-опросов, так и для ручного ввода данных, полученных при заполнении распечатанных анкет (либо самый обычный Excel или более продвинутые программы – SPSSи пр.).

На основе полученных данных можно подсчитать общее количество (абсолютные значения), доли (%)[3] или средний балл (в вопросах со шкалами), проверить наличие зависимостей и значимых различий. Для удобства восприятия, данные представляют в таблицах или строят графики.

Для обработки качественных данных также есть свои методы обработки, в т.ч. специальные программы[4].

Анализ данных с сегментацией благополучателей на группы

Полученные ответы анализируют в разрезе важных для проекта групп – их выбор осуществлялся на этапе «Планирование» (при постановке задач) и на этапе «Сбор данных». Кроме того, на основе полученных ответов выделяют иные подгруппы – например, «недовольные консультациями» и «довольные», анализируются их ответы отдельно, разрабатываются возможные стратегии, что и как стоит изменить в программе, чтобы «довольных» стало больше.

Бенчмаркинг, использование эталонныхданных (baseline)

Бенчмаркинг (от англ. "bench" – "уровень", "mark" – "отметка") – это изучение успешного опыта коллег (других НКО, проектов и пр.) или организаций из других сфер деятельности, для применения этого опыта в собственной деятельности. Цель бенчмаркинга – найти «образец для подражания» (бенчмарк), следить за его действиями, сравнивать себя с ним, чтобы избежать ошибок, «подсмотреть» и адаптировать успешные приемы работы и пр.

Бенчмаркинг позволяет лучше понять полученные данные:

Например, если в ходе опроса 38% благополучателей отметят, что за счет участия в программе у них улучшились те или иные навыки.Илиполучилось 23 пункта по Индексу лояльности (NPS). Много это или мало? Хорошо бы знать, какие ответы давали участники других аналогичных программ / организаций на такой же вопросJ

Сравнение можно проводить не только внешнее, но и внутреннее – с самим собой. Как изменяется ситуация со временем? Как меняются удовлетворенность благополучателей и пр.?

Если зафиксировать первоначальный уровень – baseline или эталонный, то это позволит анализировать данные в сравнении, динамике и пр.

Например, у тренера Х средний балл оценок за 2018 год – 4,8 по 5-балльной шкале, а за 2019 – 3,1. Семинарами по теме фандрайзинга участники в среднем удовлетворены на 4,5 балла, а по отчетности – на 4,1.

 

Совет: Не принимайте поспешных выводов, учитывайте динамику и естественное развитие отношений

Отношение благополучателей к программе или организации в целом может меняться со временем. Для этого важно выстроить механизмы регулярного получения данных. Например, запрашивать отзыв на каждый 30-й, 60-й, 120-й и 365-й день участия в программе; или после 1, 5, 10 консультации (все цифры, конечно, индивидуальны! Исключительно как пример). Так можно добиться более осмысленной и структурированной обратной связи: после первого мероприятия человек скажет, что непонятно, на 5-ом – что ему хотелось бы поменять, на 10-м – какие ограничения есть у программы.

Триангуляция

До принятия каких-либо решений, на полученные данные стоит посмотреть под разными углами зрения, важно изучить данные от двух и более групп и разными способами (с использованием разных методов). Научным языком это называется «триангуляция данных» (триангуляция – от лат. «треугольник»).

Например, чтобы лучше понять результаты, полученные с помощью количественных методов («процентовки»), проводят дополнительные групповые обсуждения, фокус-группы.

Совет: не доверяйте «шумному меньшинству»

Два одинаковых мнения, замечания – это еще не «данные», на основании которых можно что-то менять. Каждый получаемый отзыв / обратная связь нужно воспринимать как гипотезу, которую необходимо проверить; это не значит, что нужно сразу вносить изменения в деятельность – предварительно нужно провести более тщательный анализ, как минимум – узнать, насколько это отражает общее мнение (например, через опрос всех благополучателей).

2 Внутреннее обсуждение результатов

Обсуждение полученной обратной связи внутри команды – наиважнейшая вещь! Тем не менее до этого этапа у организаций часто «не доходят руки», откладывается «на потом» и забывается в текущей суете многочисленных задач.

В зависимости от метода сбора обратной связи, важно заранее запланировать, когда будет организовано внутреннее обсуждение полученных результатов (в основном, типично для разовых, формализованных исследований – анкетирование, фокус-группа, серия интервью и пр.); либо принять решение, с какой регулярностью будет проходить обсуждение полученных результатов (например, раз в месяц или при получении 3 жалоб в ящик жалоб и предложений или через специальную форму на сайте).

3 Выработка решений по результатам обратной связи

Здесь также универсальных решений нет. В одних ситуациях достаточно просто «принять к сведению». В других – нужен четкий регламент или договоренность, как реагировать на определенные «сигналы» от благополучателей (угроза жизни и здоровью, некорректное или неэтичное поведение специалистов, жалобы и пр.).

В ряде случаев речь идет о предложениях внести системные изменения в реализацию программы: например, изменить график работы, место проведения мероприятий, объем услуг, ввод новых услуг, отказ от ряда мероприятий, смена тренера / специалиста, изменения в коммуникациях, фандрайзинговой стратегии и пр. В таких случаях важно не принимать поспешных решений (вполне возможно, вариант, предложенный одним благополучателем, будет неудобен всем остальным), а посмотреть на ситуацию с разных сторон, обсудить с другими стейкхолдерами и группами благополучателей, возможно – провести дополнительные исследования или голосование[5].

Совет:помните, что пользователи не всегда предлагают правильное и оптимальное решение

Известную фразу Г.Форда про учет мнения потребителей (“Если бы я спросил людей, чего они хотят, они бы попросили более быструю лошадь”) часто используют как оправдание, чтобы игнорировать пожелания клиентов (благополучателей). Однако, если клиенту нужна более быстрая лошадь, то его ключевой запрос – скорость перемещения. Соответственно, нужно подумать, как это воплотить в жизнь. Иными словами, если 10 человек высказали просьбу изменить какой-то элемент программы, не нужно сразу это реализовывать.

Необходимо помнить, что каждый запрос благополучателей – это сложнейшее сочетание их личностных качеств и навыков, степени знакомства с программой, особенностей восприятия проблемы и фантазии. У благополучателей, НКО и доноров объективно могут отличаться цели (что обычно выявляется на этапе анализа стейкхолдеров). Клиент не всегда понимает (или хочет понять) видение всей программы, ресурсных ограничений организации, риски появления новых проблем для других благополучателей, не представляет сложность реализации той или иной услуги и пр.

Именно поэтому мнение клиента – не руководство к действию, а лишь возможность взглянуть на проблему с их точки зрения и найти то решение, которое окажется оптимальным для вас и благополучателей.

Кейс: При британской НКО Mencap действует Совет потребителей услуг, в который входят благополучатели организации – люди с особыми образовательными потребностями, низкой обучаемостью.В случае проведения заседаний Совета директоров организации, параллельно организуются встречи Совета потребителей услуг, с аналогичной повесткой дня.Цель– обеспечить, чтобы решения Совета директоров Mencapсоответствовали ожиданиям пользователей услуг. Помимо этого, участие благополучателей в формате совещательного органа расширяет их возможности для приобретения опыта и полезных навыков. Раз в месяц Mencap составляет отчеты, которые фиксируют показатели эффективности процесса – количествововлеченных клиентов и виды полученных ими навыков;отмечаются результаты, сформулированныеСоветом потребителей услуг.

Совет: Отмечайте в рабочих документах формулировки социальных результатов, показателей эффективности, инсайты и пр., сформулированные благополучателями.

Например, поставьте рядом значок человечк


[1]См. например,Шамрова Д. Базовый анализ количественных и качественных данных в оценке программ, https://bit.ly/2Vw6qIG; Хатри Г.П. Мониторинг результативности в общественном секторе: Пер. с англ. — М.: Фонд «Институт экономики города», 2005, http://www.urbaneconomics.ru/sites/default/files/3485_import.pdf

[2]Google-Формы, https://www.google.ru/forms/about/; Анкетолог, https://anketolog.ru/; SurveyMonkey, https://surveymonkey.com; Тестограф, https://www.testograf.ru/

[3]Если ответов достаточно большое количество (более 100).

[4]См. например,Шамрова Д. Базовый анализ количественных и качественных данных в оценке программ, https://bit.ly/2Vw6qIG

[5]Подробнее см. раздел «Диалоги (коммуникации)».