name: Генерация мимики и жестов по речи
keyword_list: нейронные сети глубокое обучение, виртуальные ассистенты трехмерная анимация
abstract: В данной работе рассматриваются задача генерации мимики и жестов по речи и предлагаются подходы для ее решения. Целью данной работы является создание системы, которая по входной аудио дорожке возвращает скелетную и лицевую анимацию, соответствующую данной дорожке, а также исследование различных подходов и факторов, влияющий на восприятие движений. 
  
  В ходе проведения работы были подробно разобраны современные подходы генерации лицевой и скелетной анимации, а также способы представления аудио для обучения моделей, независимых от говорящего. Был разработан генератор жестов, занявший одну из лидирующих позиций в соревновании GENEA2020. Собран датасет на русском языке для обучения генератора мимики. Исследовано несколько подходов для генерации мимики с различными представлениями аудио, архитектурами моделей и составом обучающей выборки. Предложен и испытан способ оценки качества лицевой анимации. И в итоге разработана система генерации мимики, работающая, в том числе, на синтетическом голосе.
chairman_dissertation_council.name: Андрей
chairman_dissertation_council.surname: Райгородский
chairman_dissertation_council.patronymic: Михайлович
chairman_dissertation_council.position: главный научный сотрудник-заведующий лабораторией
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Доцент
chairman_dissertation_council.wos_research_id: L-5095-2017
chairman_dissertation_council.scopus_author_id: 6603605028
chairman_dissertation_council.rinc_id: 14675
chairman_dissertation_council.orcid: 0000-0001-8614-9612
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Виталий
organization_supervisor.surname: Баган
organization_supervisor.patronymic: Анатольевич
organization_supervisor.position: Проректор по научной работе
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.29
rubrics.name: Программная реализация интеллектуальных систем
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
speciality_codes.name: Информатика и информационные процессы
speciality_codes.code: 2.3.8.
supervisors.fio: Загайнов И. Г.
supervisors.scientific_degree: Кандидат технических наук
supervisors.speciality_code: Теоретические основы информатики
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: МФТИ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
protection_organization.ogrn: 1027739386135
protection_organization.supervisor_name: ДМИТРИЙ
protection_organization.supervisor_surname: ЛИВАНОВ
protection_organization.supervisor_patronymic: ВИКТОРОВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
author_organization.ogrn: 1027739386135
author_organization.supervisor_name: ДМИТРИЙ
author_organization.supervisor_surname: ЛИВАНОВ
author_organization.supervisor_patronymic: ВИКТОРОВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения