КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ ГУМАНИТАРНЫМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационной системы РГНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер15-36-01343

НазваниеФормирование навыков распознавания эмоций по лицевой экспрессии и выражения эмоций с помощью мимики на основе компьютерных технологий у детей с расстройствами аутистического спектра

РуководительМеснянкина Кира Константиновна,

Организация финансированияАвтономная некоммерческая организация "Центр помощи семьям детей с ограниченными возможностями здоровья "СОДЕЙСТВИЕ", Ростовская обл

Года выполнения2015 - 2016

КонкурсКонкурс поддержки молодых ученых 2015 года

Тип проектаа2 - проект проведения научных исследований, выполняемые коллективами, состоящими полностью из молодых ученых, включая руководителя

Область знания, код классификатора06 - КОМПЛЕКСНОЕ ИЗУЧЕНИЕ ЧЕЛОВЕКА; ПСИХОЛОГИЯ; ФУНДАМЕНТАЛЬНЫЕ ПРОБЛЕМЫ ОБРАЗОВАНИЯ, 06-320 - Специальная педагогика и образование. Предметные области педагогики и проектирование региональных систем образования

Ключевые словаранний детский аутизм, синдром Аспергера, специальная психология, распознавание эмоций, демонстрирование эмоций с помощью мимики, технологии распознавания выражения лица, анализ изображений лиц, поиск ключевых точек

Код ГРНТИ14.29.37

Номер государственной регистрации


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


АннотацияИсследование посвящено решению проблемы эмоционального контакта ребенка с аутизмом с окружающими и сфокусировано на его невербальном компоненте. В силу отсутствия вовлеченности в социальное взаимодействие и слабость механизма имитации, дети с аутизмом не усваивают социального значения воспринимаемых ими признаков лицевой экспрессии, не наделяют их эмоциональным значением и не формируют общепринятых в культуре способов выражения эмоций, а значит, и соответствующих им моторных стереотипов. Это препятствует социальной адаптации детей с аутизмом. В рамках проекта осуществляется поиск способов формирования у детей с РАС навыков распознавания эмоций по лицевой экспрессии и моторных стереотипов выражения эмоций с помощью мимики, а также механизмов, способных обеспечить их эффективность. В исследовании проверяется гипотеза о том, что обучение детей с аутизмом визуальной стратегии декодирования мимических схем поможет им распознавать эмоции по лицевой экспрессии. В качестве основы формирования навыка выражения эмоций предлагается метод визуально-моторного тренинга с механизмом обратной связи (контроль-оценка-коррекция). Исследование носит кросс-дисциплинарный характер, поскольку функционирование предложенных решений возможно только на базе компьютерных технологий. Исследование имеет прикладное значение и его результатом станет создание адекватного особенностям детей с расстройствами аутистического спектра технологического метода обучения. В качестве способов обнародования планируется выпуск серии статей.

Ожидаемые результаты


 

ИНФОРМАЦИЯ ИЗ ИТОГОВОГО ОТЧЕТА


Краткая аннотация полученных результатовОсновной целью проекта было создание инструментария и методики обучения для формирования стабильных переносимых навыков распознавания и выражения эмоций у детей с расстройствами аутистического спектра (далее РАС). Данные навыки могут стать основой дальнейшего развития социальных и коммуникативных навыков. В основу создания инструментария и методики обучения были положены следующие принципы: объединение в рамках одной методики формирования навыка распознавания и навыка выражения эмоций, формирование моторных и кинестетических стереотипов выражения эмоций, использование многообразного стимульного материала различной степени сложности, формирование стратегии распознавания на основе сукцессивного восприятия. Три гипотезы были выдвинуты: во-первых, что обучение, выстроенное на вышеуказанных принципах, приведет к успешному формированию навыков распознавания и выражения эмоций у детей с РАС. Во-вторых, сформированные навыки будут стабильными и переносимыми. Третьей гипотезой стало предположение, что обучение, проведенное с использованием мобильного приложения, приведет к лучшим результатам, чем более традиционный способ, предполагающий активное воздействие специалиста, оснащенного набором карточного стимульного материала, зеркалом и программой обучения. Такое утверждение основано на исследованиях, доказывающих преимущество обучения детей с аутизмом с помощью компьютерных технологий над методами, в которых превалирует прямой контакт с человеком. В рамках проекта разработана и создана компьютерная программа под операционную систему iOS, предназначенная для обучения ребенка с расстройствами аутистического спектра распознаванию эмоций по лицевой экспрессии и выражению эмоций с помощью мимики (далее – Приложение). Компонентами системы являются: 1. Приложение для планшетного ПК (iPad>=4 с iOS>=8, Apple Inc.), предназначенное для демонстрации обучающих материалов и обучения выражению эмоций, а также для тренировки формируемых навыков. Приложение имеет адекватный потребностям детей с РАС интерфейс. 2. Удалённый сервер, на котором расположена база данных и система управления. Система управления предоставляет собой веб-интерфейс для манипулирования данными, используемыми в Приложении для обучения и генерируемыми Приложением в процессе его использования. 3. Программная библиотека для обработки изображений лиц, позволяющая оценивать состояние двигательных единиц. В рамках проекта был разработан алгоритм автоматического распознавания эмоций по лицевой экспрессии статичных изображений, получаемых в процессе имитации детьми образца. В его основе лежит оценка пространственного распределения ключевых точек лица на изображениях с нейтральным лицом и лицом, выражающим эмоцию. В качестве основы для разработки стимульного материала, определения параметров алгоритма оценки эмоциональных выражений по мимике и подготовки специалистов, ведущих занятия с детьми, использованы системы FACS и EMFACS (Система кодирования лицевых движений и Эмоциональная Система Кодирования Лицевых Движений, соответственно) П. Экмана. В проекте использованы базовые, согласно П. Экману, эмоции: радость, удивление, страх, злость, отвращение, грусть. Для обучения применялись 4 вида стимульного материала, 3 из которых разработаны в рамках проекта: схематические (контурные) черно-белые изображения эмоции, схематические цветные изображения или пиктограммы, изображения 3D-модели лица мужского и женского персонажей, фотографии из базы изображений WSEFEP (Warsaw Set of Emotional Facial Expression Pictures). Для проверки гипотез был проведен формирующий эксперимент. В нем приняли участие 19 детей с РАС в возрасте от 6 до 12 лет, 17 мальчиков и 2 девочки. Перед началом цикла обучения с каждым ребенком было проведено тестирование методами нейропсихологической и психолого-педагогической диагностики, задачей которого было определение состояния значимых для исследования психических функций: особенностей восприятия, свойств внимания, пространственного анализа и синтеза, особенностей мышления. Этап обучения состоял из 12 индивидуальных занятий длительностью от 35 до 45 минут. Занятия проходили три раза в неделю. Состояние навыков распознавания эмоций по лицевой экспрессии и выражения эмоций с помощью мимики у участников исследования было протестировано до начала обучения и сразу после его завершения (входной и выходной контроль, соответственно). Для проверки переноса навыка распознавания эмоций в выходной контроль были включены задания с альтернативным стимульным материалом, незнакомым детям. После выходного контроля у родителей участников эксперимента были взяты интервью. Дети были разделены на три группы: основную, включавшую две экспериментальных группы, участники которых проходили обучение с применением Приложения, и группу контраста, в которую вошли дети, обучавшиеся распознаванию и выражению эмоций без применения технических средств. Инструментарий группы контраста состоял из карточек с изображением эмоций и зеркала. Для занятий были разработаны 35 упражнений и модификации к ним. Задачей такого дизайна эксперимента было доказательство эффективности Приложения как средства обучения. Через полгода после завершения формирующего эксперимента был проведен отсроченный контроль, задачей которого была проверка сохранности навыков. Структура тестирования была идентична структуре выходного контроля. Для получения информации об отсроченных эффектах формирующего эксперимента были взяты интервью у 19 родителей детей, принимавших участие в проекте. Результаты статистического анализа данных входного и выходного контроля, полученных при проверке навыка распознавания эмоций показали эффективность проведенного обучения и наличие переноса навыка на альтернативный материал. Отмечено отсутствие значимых различий между тремя группами, принимавшими участие в исследовании. Результаты статистического анализа данных входного и выходного контроля, полученных при проверке навыка выражения эмоций показали эффективность проведенного обучения. Выявлено значительное превосходство результатов групп, занимавшихся с использованием планшета, над результатами группы контраста, что говорит о преимуществе использования Приложения для формирования навыка выражения эмоций с помощью мимики у детей с РАС. Результаты анализа связи значимых для исследования психических функций и проб входного и выходного контроля показали, что успешность распознавания эмоций детьми с РАС связана с уровнем развития таких функций как пространственный анализ и синтез и особенности мышления. Также выявлено, что успешность обучения распознаванию эмоций связана с уровнем развития таких функций как пространственный анализ и синтез, свойства внимания и особенности мышления. Результаты анализа данных отсроченного контроля показали, что сформированные в процессе обучения навыки распознавания и выражения эмоций оказались стабильными и переносимыми. Сравнение результатов интервью, взятых во время отсроченного контроля и во время выходного контроля, показало что количество родителей, положительно рассматривающих эффект от занятий, не изменилось после полугодовой паузы – 15 человек. Значительно выросло ответов, в которых отмечены положительные изменения коммуникативных и социальных навыков детей: с 6 до 14. Результаты проекта представлены в 5 публикациях, 2 из которых являются статьями. В итоге 2 гипотезы были доказаны полностью. Третья гипотеза подтверждена частично, а именно: использование Приложения дает преимущество при формировании у детей с РАС навыка выражения эмоций с помощью мимики, при формировании навыка распознавания эмоций обучение с применением Приложения и без него равнозначны по эффективности. Таким образом, доказана эффективность принципов, положенных в основание разработанного инструментария и созданной методики обучения. Дальнейшее развитие проекта ставит задачи дифференцирования результатов обучения детей в связи с типом диагноза, проверки эффективности использования методики формирования навыков распознавания и выражения эмоций и Приложения в частности при проведении обучения в реальном детском учреждении (центре, школе) или родителями в домашних условиях, доказательства результативности принципа формирования стратегии распознавания эмоций на основе сукцессивного восприятия.


 

ПУБЛИКАЦИИ ПО ИТОГАМ ПРОЕКТА


Тезисы доклада/выступления: Сарелайнен А.И. , Анищенко С.И. , Меснянкина К.К. , Федоряка К.А. , Обучение детей с расстройствами аутистического спектра распознаванию эмоций по лицевой экспрессии и выражению эмоций с помощью мимики, Комплексное сопровождение детей с расстройствами аутисти- ческого спектра. Сборник материалов I Всероссийской научно- практической конференции, 14–16 декабря 2016, Москва / Под общ. ред. А.В. Хаустова., ФГБОУ ВО МГППУ, Москва, 2016, 330 - 334- Русский
Тезисы доклада/выступления: Сарелайнен А.И. , Калинин К.Б. , Анищенко С.И. , Меснянкина К.К. , ЭКСПЕРИМЕНТ ПО ФОРМИРОВАНИЮ НАВЫКОВ РАСПОЗНАВАНИЯ ЭМОЦИЙ ПО ЛИЦЕВОЙ ЭКСПРЕССИИ И ВЫРАЖЕНИЯ ЭМОЦИЙ С ПОМОЩЬЮ МИМИКИ У ДЕТЕЙ С РАС, Психолого-педагогическое и медико-социальное сопровождение лиц с ограниченными возможностями здоровья в условиях инклюзивного и специального образования: материалы докладов III Всероссийской научно- практической конференции., Фонд науки и образования, Ростов-на-Дону, 2016, 272 - 277- Русский
Тезисы доклада/выступления: Попова А.В. , Калинин К.Б. , Анищенко С.И. , Меснянкина К.К. , Обучающее приложение с элементами распознавания выражений лиц для детей с расстройствами аутистического спектра, Сборник трудов XXIII научной конференции СИТО 2016, Ростов-на-Дону, 2016, 200 - 203- Русский
Научная статья: Малыгина-Ластовка Н.П. , Попова А.В. , Калинин К.Б. , Анищенко С.И. , Меснянкина К.К. , Mobile Tutoring System in Facial Expression Perception and Production for Children with Autism Spectrum Disorder, 12th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, 2016- Английский
Научная статья: Сарелайнен А.И. , Калинин К.Б. , Анищенко С.И. , Меснянкина К.К. , Мобильное приложение для формирования навыков распознавания и выражения эмоций у детей с расстройствами аутистического спектра: проблемы и принципы создания., Психология.Историко-критические обзоры и современные исследования., АНАЛИТИКА РОДИС, Ногинск, 2016, 5, 143 - 155- Русский