29 августа на рабочей встрече участники проекта «Больше историй: продолжение» обсуждали анализ данных
29 августа прошла рабочая встреча участников 3 этапа проекта «Больше историй: продолжение». Летом участники провели сбор и транскрибацию данных и сейчас перешли к их анализу. На встрече рассматривались подходы к оценке результативности программ поддержки подростков и выпускников с опытом сиротства.
Татьяна Никушина, АНО ЦСПП «Старт в будущее», рассказала о том, как строился аналитический дизайн, критерии выборки и структура собираемых данных. Она отметила, что команда исходила из семи критериев набора участников, большая часть которых была сохранена полностью, а часть скорректирована для практического удобства. В итоге для анализа были отобраны интервью с 14 подростками из разных населенных пунктов и учреждений, как с новым опытом, так и с длительным участием. Для системной оценки рассматривались разноплановые данные: число и состав интервьюируемых, география, активность и опыт сиротства.
Главные оценочные вопросы — достигнуты ли социальные результаты, какие именно, почему некоторые не реализованы, каково их значение для благополучателей и какие предложения дети готовы озвучить по развитию программы.
Так как сами оценочные вопросы подразумевают дедуктивный подход, то несмотря на отсутствие логический модели, были сформулированы списки искомых социальных результатов и с помощью ИИ была сделана их группировка. На основе этого была составлена предварительная кодировочная таблица.
Предварительный дизайн анализа включал выявление:
1) Числа историй, в которых есть упоминание: проблем/вопросов; социальных результатов (достигнутых или нет);факторов, повлиявших на достижение/ недостижение социальных результатов.
2) Числа и перечень упомянутых в историях: проблем/вопросов; социальных результатов (достигнутых или нет); факторов, повлиявших на достижение/ недостижение социальных результатов.
3) Взаимосвязей: Проблема/вопрос - Факторы, повлиявшие на достижение/ недостижение социальных результатов - Социальный результат (достигнутый или нет).
Также планировалось составление рейтинга: проблем/вопросов/социальных результатов (достигнутых или нет)/факторов, повлиявших на достижение/ недостижение социальных результатов.
= доля упоминаний в общем числе упоминаний; доля рассказчиков, назвавших данный результат, фактор, проблему.
Кроме этого предполагалось сравнивать между собой группы благополучателей:
- С опытом сиротства / без опыта сиротства
- Воспитанники соцучреждений/ замещающих семей (родственники или нет) / проживают в кровных семьях
- Из областного центра / из других населенных пунктов (влияет на доступность поддержки, механизм взаимодействия со специалистами проекта)
Новые участники / Участники предыдущих лет.
Гузель Захарова, БФ «Арифметика добра», представила свой подход к анализу, который отражал ключевые оценочные вопросы:
1. Какие социальные результаты заметили подростки? Какое значение они имеют для благополучателей?
- К каким социальным результатам приводит участие в программе по мнению благополучателей? Каков механизм воздействия программы на изменения в жизни благополучателя?
- К каким непредвиденным результатам приводит программа (положительные или отрицательные)?
- Связывают ли благополучатели достигнутые результаты с влиянием программы? Если да, то каким образом?
Такие вопросы (особенно первый вопрос), в отличие от первого кейса, подразумевают больше индуктивный подход. Несмотря на то что в Фонде есть логическая модель программы «Шанс», организаторам было важно услышать мнение самих подростков, без предустановок со стороны Фонда. Благополучателей были разделены на 2 групп по типу участия в программе. В рамках программы было собрано 22 истории, разделённых на две группы: кто занимался только уроками, и кто — уроками плюс тренингами, с охватом подростков 14–18 лет.
С помощью ИИ Гузель стартовала с фиксации и группировки основных называемых респондентами изменений и факторов.
Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», провела методологический разбор предложенных коллегами подходов. Она акцентировала, что в аналитических таблицах обязательно должны быть отражены все объективные данные участников (возраст, пол, место жительства, группы по опыту и активности), а также показатели динамики — количество предметов, успехи, траектории участия. Ольга подчеркнула, что категории социальных изменений должны быть дробными и конкретными, чтобы анализ раскрывал реальные эффекты, а не ограничивался только верхнеуровневыми формулировками.
Важной рекомендацией стало также выделение и анализ факторов и препятствий: отдельные столбцы в таблице следует посвятить упоминаемым трудностям, внешним условиям, рекомендациям участников. Ольга предложила каждой команде проводить первоначальное независимое кодирование одинаковых интервью разными участниками — это позволит повысить надёжность анализа и учесть разные точки зрения.
Дальнейшие шаги
Эксперты договорились доработать структуры кодировочных таблиц, учесть все значимые для анализа параметры и перейти к заполнению на двух-трех историях для уточнения применимости категориальной сетки. В дальнейшем все данные по анкетированиям, успехам и рекомендациям будут вынесены на отдельные вкладки и сопоставлены с логической моделью программы. Такой подход обеспечит глубокую, доказательную и гибкую экспертизу эффективности сопровождения подростков и выпускников, а также позволит оперативно корректировать практики и управленческие решения.
Основные обучающие выводы
1) Необходимость соотнесения подхода к анализу данных с типом оценочных вопросов
2) Важность проверки на полноту кодировочной таблицы, чтобы она отражала ответы на все вопросы
3) В идеале необходимо иметь заранее сформулированные на основе анализа уже имеющихся количественных и качественных данных гипотезы, которые будут в дальнейшем проверяться. В любом случае, истории важно триангулировать с имеющимися данными.