name: Байесовский подход в глубинном обучении: улучшение дискриминативных и генеративных моделей
keyword_list: байесовская статистика, глубинное обучение, дискриминативные и генеративные модели, Неявный алгоритм Метрополиса-Гастингса
abstract: Объект исследования: Дискриминативные и генеративные модели глубинного обучения.Цель работы: Разработка новых и улучшение существующих алгоритмов машинного обучения, в частности, глубинного обучения.Методы исследования, кроме используемых приборов и аппаратуры: Методы Байесовской статистики; методы Монте Карло; методы машинного обучения; методы глубинного обучения; экспериментальная проверка гипотез.Достигнутые результаты: 1. Алгоритм структурированного разреживания свёрточных ней-ронных сетей.2. Вероятностная формулировка батч-нормализации, и алгоритмдля оценки неопределенности.3. Адаптация общепринятого алгоритма Метрополиса-Гастингса наслучай неявного предложного распределения и эмпирическогоцелевого распределения.Новизна: Новизна работы заключается в том, что впервые показаны следую-щий пункты:1. Байесовские вероятностные модели позволяют получить структурированную разреженность в глубоких свёрточных нейронных сетях.2. Батч-нормализация может быть сформулирована как вероятностная модель, с консистентными этапами обучения и применения.3. Оптимизация симметричной КЛ-дивергенции позволяет получить эффективные предложные распределения в независимом алгоритме Метрополиса-Гастингса.4. Используя приближение теста Метрополиса-Гастингса, возможно уменьшить ошибку приближения целевого распределения неявной вероятностной моделью.Внедрение: Полученные результаты расширяют область применения свёрточных нейронных сетей путем сжатия и ускорения традиционных архитектур. Для аналитических целевых распределений (заданных как ненормированная плотность) в работе предлагается метод построения вычислительно эффективного сэмплера. Для неявных генеративных моделей, таких как GAN и VAE, в работе предлагается процедура фильтрации, которая демонстрирует консистентное улучшение на практике.Эффективность: Эффективность предложенных в работе методов проверяется эмпирически на различных наборах данных и алгоритмах. Кроме того, мы получаем теоретические результаты которые дают некоторые гарантии на эффективность.Область применения: Применения предложенных методов было продемонстрировано на задачах компьютерного зрения, но их область применения не ограничивается природой используемых данных.
chairman_dissertation_council.surname: Верещагин Н. К.
chairman_dissertation_council.position: профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
organization_supervisor.surname: Радаев В.В.
organization_supervisor.position: первый проректор
organization_supervisor.degree: Доктор экономических наук
rubrics.code: 27.43.51
rubrics.name: Применение теоретико-вероятностных и статистических методов
rubrics.code: 27.47.23
rubrics.name: Математические проблемы искусственного интеллекта
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
speciality_codes.name: Теоретические основы информатики
speciality_codes.code: 05.13.17
supervisors.fio: Ветров Д.П.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Теоретические основы информатики
supervisors.responsible_type: Научный руководитель
opponents.fio: нет
opponents.responsible_type: Оппонент
opponents.fio: нет
opponents.responsible_type: Оппонент
protection_organization.short_name: Национальный исследовательский университет "Высшая школа экономики"; Национальный исследовательский университет ВШЭ; Высшая школа экономики; НИУ ВШЭ; ВШЭ
protection_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики"
protection_organization.ogrn: 1027739630401
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: Национальный исследовательский университет "Высшая школа экономики"; Национальный исследовательский университет ВШЭ; Высшая школа экономики; НИУ ВШЭ; ВШЭ
author_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики"
author_organization.ogrn: 1027739630401
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения