name: Дважды стохастический вариационный вывод с полунеявными и несобственными распределениями
keyword_list: стохастический вариационный вывод полунеявные и несобственные распределения глубокое обучение вариационный дропаут
abstract: Объект исследования: 1) Модель вариационного дропаута; 2) Параметризация глубоких байесовских нейронных сетей с разреживающими априорными распределениями; 3) Дважды стохастический вариационный вывод. Цели работы: 1) Разработка нового алгоритма обучения модели, допускающего произвольные значения вариационных параметров модели; 2) Исследование влияния параметризации глубоких байесовских нейронных сетей с разреживающими априорными распределениями на свойства модели. 3) Расширение области применимости дважды стохастического вариационного вывода на новые классы распределений. Методы исследования: вариационный вывод, стохастическая оптимизация. Достигнутые результаты: 1) Предложен новый метод вычисления вариационной нижней оценки в модели вариационного дропаута, допускающий произвольные значения вариационных параметров модели. Исследовано поведение модели при обучении с использованием предложенного метода. Открыт новый класс локальных оптимумов модели, характерный разреженностью полученного решения. 2) Показано, что более грубые параметризации вариационного распределения в рассматриваемых моделях приводят к более точному приближению апостериорного распределения. Открыт новый класс локальных оптимумов модели, характерный обнулением матриц вариационных матожиданий. 3) Получено семейство вариационных нижних оценок на обоснованность моделей с использованием полу-неявных вероятностных распределений. Научная новизна: 1) Впервые продемонстрированы разреживающие свойства модели вариационного дропаута; 2) Впервые продемонстрирована работа дисперсионных сетей, и разработан алгоритм их обучения; 3) Впервые получен метод оптимизации вариационной нижней оценки на обоснованность моделей с использованием полу-неявных вероятностных распределений. Эффективность: 1) Впервые получен метод оптимизации вариационной нижней оценки на обоснованность моделей с использованием полу-неявных вероятностных распределений. 2) Полученный класс моделей сохраняет прежний уровень предсказательной способности, характерный базовой архитектуре, но обладает значительно более высоким уровнем устойчивости к состязательным атакам. 3) Полученный алгоритм имеет более высокую стабильность и скорость сходимости, чем существующие аналоги. Предложенный метод позволил получить прирост до 4 нат в лог-правдоподобии обученной генеративной модели. Область применения: 1) Предложенный подход может быть использован как реализация шага разреживания модели в системах сжатия и ускорения глубоких нейронных сетей. 2) Предложенный подход может быть использован как средство защиты от состязательных атак, а также как эффективный метод порождения разнообразных стратегий поведения в обучении с подкреплением. 3) Предложенный подход может применяться в различных задачах вероятностного моделирования, требующих настройки гибких распределений.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Теоретическая информатика, кибернетика
speciality_codes.code: 1.2.3.
supervisors.fio: Ветров Д.П.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Дискретная математика и математическая кибернетика
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения