name: Стохастические и распределённые методы с компрессией градиентов и локальными шагами
keyword_list: компрессия градиентов распределённые методы оптимизации стохастические методы оптимизации
abstract: Диссертация посвящена развитию стохастических и распределённых методов оптимизации. Предлагается новый обобщённый подход к анализу стохастических методов оптимизации в (сильно) выпуклом случае, позволяющий получать точные оценки на скорость сходимости методов, удовлетворяющих предложенной схеме. Данный подход переносится на случай распределённой оптимизации. В частности предлагаются две обобщённые схемы анализа стохастических распределённых методов с компрессией коммуникаций и компенсацией ошибки, а также стохастических распределённых методов с локальными шагами. При помощи предложенных теооретических схем анализа было предложено более двадцати новых методов оптимизации, удовлетворяющих предложенным схемам. В частности, был предложен первый в мире линейно сходящийся стохастический распределённый метод, использующий смещённую компрессию и компенсацию ошибки, а также был предложен первый в мире линейно сходящийся стохастический распределённый метод с локальными шагами для задач, имеющих локальные функции произвольной гетерогенности.
  
  Для задач невыпуклой распределённой оптимизации в диссертации предложены и проанализированы новые распределённые методы с несмещённой компрессией коммуникаций. Выведенные теоретические гарантии для предложенных методов превосходят наилучшие известные теоретические гарантии на сходимость методов, известных в литературе, для рассмотренного класса задач. Кроме того, в диссертации предложен новый коммуникационный протокол, устойчивый к отказам рабочих, для децентрализованного вычисления среднего арифметического векторов, хранящихся на различных устройствах. Для данного протокола доказана его корректность и сходимость к среднему арифметическому с экспоненциальной скоростью. На основе данного протокола предложен новый распределённый метод оптимизации, устойчивый к отказам рабочих, и проанализирована его сходимость для сильно выпуклых, выпуклых и невыпуклых задач. При достаточно общих предположениях доказанная итерационная сложность метода совпадает (с точностью до численных констант) с итерационной сложность централизованного Local-SGD, что для децентрализованного метода является важным свойством.
chairman_dissertation_council.name: Андрей
chairman_dissertation_council.surname: Райгородский
chairman_dissertation_council.patronymic: Михайлович
chairman_dissertation_council.position: главный научный сотрудник-заведующий лабораторией
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Доцент
chairman_dissertation_council.wos_research_id: L-5095-2017
chairman_dissertation_council.scopus_author_id: 6603605028
chairman_dissertation_council.rinc_id: 14675
chairman_dissertation_council.orcid: 0000-0001-8614-9612
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Виталий
organization_supervisor.surname: Баган
organization_supervisor.patronymic: Анатольевич
organization_supervisor.position: Проректор по научной работе
organization_supervisor.degree: Доктор физико-математических наук
organization_supervisor.territory: РОССИЯ
rubrics.code: 27.41.41
rubrics.name: Алгоритмы решения задач вычислительной и дискретной математики
rubrics.code: 27.47.19
rubrics.name: Исследование операций
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
oecds.code: 01.01.PN
oecds.name: MATHEMATICS, APPLIED
speciality_codes.name: Математическое моделирование, численные методы и комплексы программ
speciality_codes.code: 05.13.18
supervisors.fio: Гасников А.В.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Математическое моделирование, численные методы и комплексы программ
supervisors.responsible_type: Научный руководитель
opponents.fio: -
opponents.responsible_type: Оппонент
protection_organization.short_name: МФТИ
protection_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский  университет)"
protection_organization.ogrn: 1027739386135
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
author_organization.ogrn: 1027739386135
author_organization.supervisor_name: НИКОЛАЙ
author_organization.supervisor_surname: КУДРЯВЦЕВ
author_organization.supervisor_patronymic: НИКОЛАЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения