name: Автоматическое распознавание аудиовизуальной русской речи
keyword_list: автоматическое распознавание речи; аудиовизуальная речь; русская речь; машинное обучение; компьютерное зрение; человеко-машинные интерфейсы;
abstract: Целью диссертационной работы является разработка методов, алгоритмов и программных средств, позволяющих повысить точность аудиовизуального распознавания русской речи и речевых команд. Для достижения поставленной цели были сформулированы и решены следующие задачи: 1. Проведение аналитического обзора современной научно-технической литературы по теме аудиовизуального распознавания речи, а также анализ существующих аудиовизуальных речевых баз данных и корпусов. 2. Разработка универсальной методики и программного обеспечения для создания аудиовизуальных корпусов речи. 3. Сбор, обработка и сегментация многодикторного аудиовизуального речевого корпуса на базе микрофона и высокоскоростной видеокамеры. 4. Разработка и исследование методов эффективного параметрического представления аудио- и видеосигналов для аудиовизуального распознавания речи, моделирования аудиовизуальных сигналов на основе вероятностных моделей акустических и визуальных единиц речи. 5. Разработка программно-аппаратного комплекса (ПАК) аудиовизуального распознавания русской речи на базе микрофона и высокоскоростной видеокамеры. 6. Проведение экспериментальных исследований с системой аудиовизуального распознавания речи на основе собранного речевого корпуса. Объектом исследования данной работы является естественная аудиовизуальная речь на русском языке. Предмет исследования. Модели, методы, алгоритмы и программные средства автоматического распознавания аудиовизуальной речи. Основные положения, выносимые на защиту: 1. Методика создания аудиовизуальных речевых корпусов с высокоскоростными видеозаписями для обучения и исследования различных вероятностных моделей аудиовизуальной речи. 2. Метод параметрического представления видеосигналов на основе вычисления оригинального набора геометрических признаков из изображений губ диктора дляавтоматического аудиовизуального распознавания речи. 3. Программно-аппаратный комплекс аудиовизуального распознавания русской речи на базе микрофона и высокоскоростной видеокамеры
chairman_dissertation_council.surname: Бессмертный И.А.
chairman_dissertation_council.position: профессор (квалификационная категория «ординарный профессор»)
chairman_dissertation_council.degree: Доктор технических наук
organization_supervisor.surname: Васильев В. Н.
organization_supervisor.position: Ректор
organization_supervisor.degree: Доктор технических наук
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 16.31.21
rubrics.name: Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
rubrics.code: 28.23.15
rubrics.name: Распознавание образов. Обработка изображений
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
speciality_codes.name: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
speciality_codes.code: 05.13.11
supervisors.fio: Карпов Алексей Анатольевич
supervisors.scientific_degree: Доктор технических наук
supervisors.speciality_code: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
supervisors.responsible_type: Научный руководитель
opponents.fio: Делич Владо
opponents.scientific_degree: Доктор технических наук
opponents.speciality_code: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
opponents.responsible_type: Оппонент
opponents.fio: Костюченко Евгений Юрьевич
opponents.scientific_degree: Кандидат технических наук
opponents.speciality_code: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
opponents.responsible_type: Оппонент
protection_organization.short_name: УНИВЕРСИТЕТ ИТМО; НИУ ИТМО; ИТМО
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ ИТМО"
protection_organization.ogrn: 1027806868154
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: УНИВЕРСИТЕТ ИТМО; НИУ ИТМО; ИТМО
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ ИТМО"
author_organization.ogrn: 1027806868154
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения