Анализ данных
Видео урок
Доп. материалы
Кейсы
Сделайте сами
Как сделали коллеги
Технически, анализ данных в сторителлинге не отличается от анализа данных в других качественных методологиях и включает в себя: (1) Прочитывание, (2) Кодировку, (3) Группировку и (4) Выявление паттернов.
|
Алгоритм «Прочитывание – Кодировка – Группировка – Выявление паттернов»
Просмотреть все истории Вычленить смысловые единицы – они станут категориями для кодировки. Смысловая единица – это идея, которая может передаваться разными словами, фразами, эпизодами истории. Смысловые единицы связаны с целью исследования.
Провести кодирование части историй. Дополнить перечень категорий новыми или убрать те, которые не встречаются в других историях Составить категориальную сетку Провести кодирование всех историй
Объединить истории по принципу их принадлежности к одной или сразу нескольким категориям. Можно сформулировать обобщающие над-категории
Сделать выводы о паттернах, которые прослеживаются в материале (например, типичных пересечениях категорий)
|
Самый сложный этап – кодировка, на нем мы должны договориться, какие смысловые единицы мы выделяем в истории, и почему мы решили, что та или иная фраза рассказчика передает именно этот смысл.
Кодировать можно смысловые единицы разного типа:
- Тематическая кодировка («учеба», «отношения с друзьями»)
- Структурно-оценочная кодировка («-учеба», «+учеба», «+поведение»)
- Процессная кодировка («снижение тревожности», «рост уверенности»)
- Кодировка эмоций («верю в то, что я могу измениться»)
- Кодировка ценности («второй шанс»)
- Кодировка противопоставлений («обычная школа vs оцениваемая программа»)
Для выявления паттернов можно использовать специальное программное обеспечение.
|
Тип программного обеспечение |
Примеры |
|
Программное обеспечение с русскоязычным интерфейсом |
Дискант, Vega, MaxQDA |
|
Программное обеспечение, позволяющее работать с русскоязычным текстом, но имеющие интерфейс на других языках |
NVivo, Dedoose, Atlas Ti |
|
Программы анализа с искусственным интеллектом: находятся в процессе разработки, пока что подходят для очень примитивного анализа |
Dovetail, Monkeylearn |
Мы все время говорим о качественном анализе, направленном на описание и попытки объяснения результатов; на его отличиях от количественного анализа. Но можно запланировать пространство для совместной работы качественного и количественного подходов:
- Соотнести истории с имеющимися количественными данными, чтобы использовать их как иллюстрации или интерпретировать, что стоит за числами.
- Использовать категориальную сетку для подсчета значений количественных показателей, например:
- Число (доля) рассказчиков, в чьих историях встречается данная категория
- Доля категории в общем числе упоминаний всех категорий
Пример категориальной сетки
|
|
Готовка |
Уборка |
Здоровье |
Переживания |
Работа |
|
История 1 |
|
|
1 |
|
1 |
|
История 2 |
1 |
1 |
|
|
1 |
|
… |
1 |
|
1 |
1 |
|
|
Чек-лист для оценки соответствия результатов критериям валидности
В общих чертах, валидность результатов оценки, полученных с помощью сторителлинга должна основываться на следующих критериях:
|
Валидность результатов сторителлинга будет улучшена, если сами рассказчики принимают участие в анализе историй. Это позволяет избежать искажения результатов интерпретациями оценщиков. В идеале, заинтересованных благополучателей надо обучить базовым навыкам анализа и включить в команду оценщиков.
Анализ данных, полученных с помощью сторителлинга
Спикер: Заводилкина Ольга, президент Ассоциации специалистов по оценке программ и политик, старший научный сотрудник ФГБНУ «Институт изучения детства, семьи и воспитания»
БФ «Наставники детям»
Социальные результаты для подопечных
Данные 2018 г. Оценка эффективности программы проводилась на основании анализа опросников, заполняемых наставниками программы (в начале учебного года и в конце), 51 человек.
|
Социальный результат |
Показатель |
Результат |
|
Рост хозяйственно-бытовых навыков |
Улучшения в умении ориентироваться в незнакомой обстановке |
57% |
|
Улучшения в умении пользоваться общественным транспортом |
50% |
|
|
Улучшения в умении обращаться с деньгами |
47% |
|
|
Улучшения в бытовых навыках (готовка, стирка, уборка и т.д.) у |
43% |
|
|
Позитивные изменения в досуговой сфере |
Рост желания совершенствоваться в своих увлечениях |
52% |
|
Рост понимания/знания своих талантов, способностей |
47% |
|
|
Рост социальных навыков |
Рост умения решать конфликты, владение навыками общения, умения обратиться за помощью (к незнакомым, продавцам- консультантам и т.д.) |
41% |
|
Развитие познавательной сферы |
Рост умения логически мыслить |
45% |
|
Развитие эмоционально-личностной сферы |
Рост уверенности в себе, способность понимания эмоций и чувств других людей |
41% |
|
Улучшение отношений в паре |
Рост доверия |
47% |
|
Рост уровня поддержки друг друга |
41% |
Опишите дизайн анализа данных, полученных с помощью сторителлинга.
Подход к анализу собранных данных (подопечные). Нам важно посмотреть, насколько социальные результаты, выделенные подопечными, будут совпадать с социальными результатами в ЛМП и какие новые социальные результаты (не из ЛМП) выделяют.
Мы будем считать число историй, где есть упоминания выделенных нами социальных результатов программы: есть доверие наставнику, рост самостоятельности в решении бытовых вопросов, расширение круга общения, улучшение в навыках заботы о себе, демонстрация социально ответственного поведения, формирование познавательных компетенций, мотивация к получению образования и трудоустройству, рост профессиональных компетенций и личностный рост подопечных.
Мы рассмотрим все социальные результаты, выделенные подопечными вне ЛМП. Мы будем считать число историй, где есть новые социальные результаты, выделенные подопечными.
Подход к анализу собранных данных (наставники). Нам важно посмотреть, насколько социальные результаты, выделенные наставниками, будут совпадать с социальными результатами в ЛМП. Мы будем считать число историй, где есть упоминания выделенных нами социальных результатов программы, а именно: рост профессиональных компетенций и личностный рост наставников. Мы рассмотрим все социальные результаты, выделенные наставниками вне ЛМП. Мы будем считать число историй, где есть новые социальные результаты, выделенные наставниками.
Общими приемами станут: 1. Метод непрерывного сравнительного анализа (мы будем сравнивать истории на уникальность и схожесть, сравнивать истории подопечных и их наставников); 2. Открытая кодировка, на основе социальных результатов как уже выделенных, так и новых); 3. Группировка (Мы будет группировать социальные результаты, связанные с наставниками и социальные результаты, связанные с подопечными); 4. Визуализация результата (выставка для подопечных, инфографика для наставников)