name: Методы и проблемы децентрализованного глубинного обучения
keyword_list: распределенные системы нейронные сети модели глубинного обучения децентрализованное обучение
abstract: Объект исследования: масштабируемое обучение нейронных сетей в условиях нестабильных гетерогенных узлов и соединений с низкой скоростью.
  Цель работы: разработка практически применимых методов распределенного обучения для сетей с низкой скоростью соединения, состоящих из разнородных и ненадежных серверов.
  Методы исследования, кроме используемых приборов и аппаратуры: анализ имеющихся подходов к распределенному обучению, проведение вычислительных экспериментов, синтез подходов из областей децентрализованной оптимизации и эффективных распределенных алгоритмов для создания оптимальных методов.
  Достигнутые результаты: разработан метод децентрализованного глубинного обучения на основе архитектуры децентрализованной смеси экспертов. Предложен отказоустойчивый алгоритм децентрализованного усреднения данных, основанный на итеративном применении вычислительно эффективной процедуры All-Reduce. Предложена методология распределённого обучения в открытых коллаборациях, учитывающая разнородный характер вычислительных ресурсов волонтёров.
  Новизна: Предложены три метода для обучения больших нейронных сетей в условиях добровольных вычислений. Статьи, в которых представлены эти методы, формируют содержательную часть диссертации и были опубликованы на ведущей международной конференции по машинному обучению и искусственному интеллекту — Neural Information Processing Systems (NeurIPS).
  Внедрение: Предложенные методы опубликованы в виде программного обеспечения с открытым исходным кодом. Один из алгоритмов получил апробацию в ходе эксперимента с обучением модели представлений бенгальского языка с участием сообщества из 40 добровольцев.
  Эффективность: предложенные методы позволяют обучать нейросетевые модели на ненадежных устройствах, стоимость аренды которых на облачных платформах составляет 30-50% от стандартных серверов, без потерь качества и за сравнимое время.
  Область применения: задачи обучения нейронных сетей с большим количеством настраиваемых параметров при отсутствии доступа к суперкомпьютерам необходимой мощности.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
rubrics.code: 28.23.29
rubrics.name: Программная реализация интеллектуальных систем
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Искусственный интеллект и машинное обучение
speciality_codes.code: 1.2.1.
supervisors.fio: Бабенко Артем Влаерьевич
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Искусственный интеллект и машинное обучение
supervisors.responsible_type: Научный руководитель
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения