name: Архитектуры глубинного обучения с ограниченным бюджетом по памяти
keyword_list: рекуррентность нейронные сети бюджет по памяти Архитектуры глубинного обучения
abstract: Объект исследования: рекуррентные и сверточные нейросетевые архитектуры. Цель работы: развитие существующих и разработка новых методов и подходов для получения моделей глубинного обучения высокого качества при наличии ограничений на размер модели во время ее применения. Методы исследования: экспериментальное оценивание рассматриваемых методов и подходов в задачах классификации изображений, а также классификации и генерации текстов, посредством обучения нейронных сетей. Достигнутые результаты: 1. Предложена адаптация метода байесовского разреживания для рекуррентных нейронных сетей, позволяющая разреживать как веса рекуррентных слоев, так и входной словарь модели. Полученный метод позволяет сжимать модели для задач генерации и классификации текста в десятки-сотни раз без значительного ухудшения качества предсказаний. 2. Предложен метод структурного разреживания для рекуррентных архитектур с гейтами, применимый как в байесовском подходе, так и в стандартном прунинге, и позволяющий иерархически разреживать веса сети, гейты и нейроны. Данный метод позволяет улучшить уровень структурной разреженности (число разреженных нейронов) в задачах генерации и классификации текстов без значительного ухудшения качества предсказаний. 3. Проведено исследование зависимости качества ансамбля сверточных нейронных сетей от числа сетей в ансамбле и их размера. Показано, что во многих случаях эти зависимости представляют собой степенные законы. Проведено исследование обнаруженных степенных законов, показано в каких случаях они выявляются, а в каких нет, а также проведен анализ их параметров. 4. Выявлен эффект преимущества разделения памяти для ансамблей нейросетей, заключающийся в том, что для широкого диапазона значений общего размера модели, ансамбль из нескольких малых нейросетей показывает более высокие результаты, чем одна большая нейросеть. 5. На основе обнаруженных степенных законов, предложен метод предсказания оптимального числа нейросетей в ансамбле для задачи построения оптимального по качеству ансамбля в условиях фиксированного бюджета по памяти. Научная новизна: 1. В работе предложен первый метод байесовского разреживания для рекуррентных нейронных сетей, а также первый метод структурного разреживания рекуррентных нейронных сетей, учитывающий гейтовую структуру сетей.
  2. Проведено исследование зависимости качества ансамбля сверточных нейронных сетей от числа сетей в ансамбле и их размера, ранее не рассмотренное в литературе. На основе проведенного исследования предложен метод получения компактного ансамбля нейросетей с высоким качеством работы. Внедрение: в работе предложены новые методы и походы к сжатию нейросетевых моделей, способствующие упрощению применения данных моделей в практических приложениях на пользовательских устройствах с ограниченными ресурсами по памяти. Также проведенное в работе эмпирическое и теоретическое исследование поведения качества ансамбля от количества сетей в нем и их размеров не только позволяет взглянуть на ансамблирование как на один из подходов к получению малых моделей высокого качества, но и в целом показывает, что ансамблирование нужно рассматривать как один из методов наращивания размера модели, наравне с увеличением ширины или глубины сетей. Эффективность: предложенные в работе методы разреживания рекуррентных нейронных сетей позволяют получить очень высокие уровни разреживания без значительного ухудшения качества предсказаний. Рассмотренный в работе подход к сжатию путем перехода к ансамблям позволяет получить лучшее качество предсказаний при том же размере моделей в широком диапазоне бюджетов по памяти. Область применения: получение нейросетевых моделей для автоматического анализа текстов и изображений, применимых в условиях ограничений памяти на этапе применения.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Теоретическая информатика, кибернетика
speciality_codes.code: 1.2.3.
supervisors.fio: Ветров Д.П.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Дискретная математика и математическая кибернетика
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения