Практические аспекты кодировки качественных данных интервью: опыт участников проекта “Больше историй: продолжение»

5 сентября состоялась рабочая встреча в рамках проекта «Больше историй: продолжение», на которой было продолжено обсуждение подходов к анализу данных, собранных методом сторителлинга. Участники поделились опытом тестирования разработанных кодировочных таблиц и  получили рекомендации от экспертов АНО «Эволюция и Филантропия»  по поводу необходимых корректировок.

Ключевые методологические вызовы и их решения

Анализ опыта встречи выявил несколько критических моментов, которые необходимо учитывать при проведении кодировки качественных данных полуструктурированных интервью.

Соответствие кодировки исследовательским вопросам

Обнаружилась проблема несоответствия между разработанной кодировкой и ключевыми оценочными вопросами исследования. Это подчеркнуло важность предварительной сверки всех элементов кодировки с исследовательскими задачами.

Проблема взаимосвязанных результатов в нарративах

Одним из главных вызовов оказалась фиксация связей между результатами в рамках одного высказывания респондента. Когда участник интервью описывает несколько связанных изменений в одной фразе или определяет причинно-следственные связи между различными активностями и результатами, традиционная табличная кодировка в Excel становится недостаточной.

 Для решения этой проблемы был рассмотрен подход Causal Mapping как один из возможных вариантов создания отдельной визуализации причинно-следственных связей. В условиях ограниченного доступа к специализированному программному обеспечению команды ищут альтернативные решения в рамках Excel, хотя это значительно усложняет таблицу. Принципиально важно фиксировать только те связи, которые явно обозначены респондентом, избегая додумывания за него.

Разнообразие аналитических стратегий участников

Проект демонстрирует сосуществование различных методологических подходов в зависимости от задач конкретных организаций:

• Программа "Шанс" применила индуктивную стратегию, направленную на выявление реальных представлений участников об изменениях без опоры на предзаданную логическую модель
• Программа «Старт в будущее» использовала дедуктивный подход, заранее разместив названия социальных результатов в столбцах таблицы и заполняя ячейки цитатами респондентов для подтверждения результатов в рамках своей логической модели

Вторая команда пока не использует коды в классическом понимании, пока используется  упрощенная версия кодирования, где роль кодов выполняют готовые названия социальных результатов, а вместо кодирования происходит сортировка цитат по заранее заданным "корзинам". Классическое кодирование предполагает, что исследователь сначала создает множество мелких кодов, а потом объединяет их в более крупные категории.

"Детализированная множественная кодировка"

Участники столкнулись с дилеммой: как поступать с фразами, содержащими несколько разных смыслов. Была выработана принципиальная позиция о необходимости присваивать одной фразе несколько разных кодов, если респондент в одном высказывании упоминает разные аспекты (эмоциональную и практическую ценность, различные социальные результаты).

Определение единицы анализа и частоты фиксации

"Критическим вопросом оказался способ измерения и подсчета социальных результатов при неизменной единице анализа - благополучатель программы":

1. Бинарное измерение: Каждый социальный результат кодируется как "есть/нет" у конкретного благополучателя, независимо от частоты упоминания. Это позволяет ответить на вопрос "у какой доли благополучателей проявился данный результат".
2. Частотное измерение: Подсчитывается количество упоминаний каждого социального результата. Это показывает "какие результаты наиболее часто упоминаются в нарративах".

Языковая адаптация для работы с подростками

Выявилась чувствительность формулировок при работе с подростками, которые воспринимали вопросы об "изменениях" в негативной коннотации. Это требует тестирования языка инструментария на целевой аудитории.

Временные рамки и качество анализа

Участники сообщили о 30 минутах на кодировку одного интервью при использовании ИИ-поддержки. Однако такие сжатые временные рамки создают потенциальные риски поверхностного анализа, особенно при работе со сложными нарративами. Необходимо балансировать между эффективностью и глубиной анализа.

Проблемы обеспечения надежности в разных командах

Выявилась неравномерность исследовательских ресурсов:

• Одна команда работает с единственным кодировщиком, использующим ИИ-поддержку, что исключает возможность проверки межкодировщической согласованности
• Другая команда имеет двух кодировщиков, что позволяет обеспечить базовую валидацию результатов

Представленный опыт демонстрирует, что качественный анализ возможен даже при значительных ресурсных ограничениях, если участники проявляют методологическую осознанность и готовность к рефлексии над своими практиками.

Практические рекомендации

1. Предварительная сверка: Обязательно сверяйте разработанную кодировку с ключевыми оценочными вопросами исследования до начала массовой кодировки.
2. Документирование логики принятия решений при кодировке
3. Документирование связей: Создавайте отдельные инструменты для фиксации причинно-следственных связей в рамках возможностей Excel.
4. Множественная кодировка: Присваивайте одной фразе несколько кодов, если это оправдано содержанием.
5. Критический контроль ИИ: При использовании искусственного интеллекта обязательно проверяйте и корректируйте результаты, особенно в случаях сложных интерпретаций.
6. Компенсация ограничений: При работе одного кодировщика усиливайте документирование логики решений и привлекайте внешних экспертов для валидации.
7. Мониторинг качества: Учитывайте риски поверхностного анализа при сокращенных временных рамках кодирования.
8. Прозрачность в отношении ограничений при презентации результатов
9. Использование триангуляции различных источников данных для компенсации методологических ограничений

Эти практические наблюдения демонстрируют, как реальные ограничения НКО влияют на выбор методологических решений и подчеркивают необходимость адаптации академических стандартов к практическим возможностям организаций.