name: Неасимптотический анализ случайных объектов в пространствах высокой размерности и приложения к задачам машинного обучения
keyword_list: случайный объект неасимптотический анализ неасимптотические неравенства машинное обучение
abstract: Объект исследования: гауссовские меры на шарах, квадрат нормы гауссовского вектора, выборочные ковариационные матрицы, линейная стохастическая аппроксимация, произведения матриц, алгоритм МСМС. Цель диссертации состоит из двух частей. Первая цель -- получить неасимптотические неравенства для случайных объектов в пространствах высокой размерности, которые могут представлять независимый интерес. В частности, речь идет о неравенствах сравнения гауссовских мер, концентрации для квадратичных форм от марковских цепей, моментных оценках для произведений случайных матриц. Вторая цель -- применение полученных результатов для теоретического анализа алгоритмов машинного обучения. Будут рассмотрены задача снижения дисперсии в алгоритмах МСМС, сходимость алгоритмов ЛСА и TD, а также бутстреп метод и байесовское оценивание. Методы исследования: метод характеристических функций, спектральный анализ, методы теории цепей Маркова, методы теории случайных матриц, методы теории концентрации меры. Достигнутые результаты: 1. Получены оптимальные оценки в неравенстве сравнения гауссосвких мер на шарах в гильбертовом пространстве. Также получено оптимальное неравенство анти-концентрации для квадрата нормы гауссовского элемента. 2. Предложен бутстреп-метод построения доверительных множеств для спектрального проектора ковариационной матрицы с помощью имеющихся данных. В работе изучен вопрос качества бутстреп-аппроксимации.  3. Получены новые моментные оценки для произведений матрично-значных функций, зависящих от цепи Маркова с произвольным (возможно неограниченным) пространством состояний при условии (i) цепь Маркова удовлетворяет мультипликативному (супер) условию Ляпунова, (ii) рост элементов матрично-значных функций контролируется специально подобранными функциями. Используя этот результат, получены неасимптотические оценки на $p$-ый момент ошибки алгоритмов ЛСА и TD c линейной функциональной аппроксимацией.    4. Получены оптимальные оценки на моменты и с высокой вероятностью для произведений н.о.р. матриц. Получены оценки с  высокой вероятностью на ошибку аппроксимации алгоритма ЛСА. Оценки являются оптимальными по количеству итераций и размеру шага. Показано, что возможно получить только полиномиальную концентрацию, порядок которой зависит от размера шага алгоритма ЛСА. Более того, данный результат невозможно улучшить без дополнительных предположений на последовательность {A}_n: n \in N, и, в частности, невозможно получить гауссовскую или экспоненциальную концентрацию.  5. Предложен новый алгоритм снижения дисперсии для аддитивных функционалов от зависимых последовательностей. Получены неасимптотические оценки на избыточную асимптотическую дисперсию. Приводятся приложения к методам МСМС с стохастическим градиентом. Научная новизна: разработаны новые вероятностные неравенства для линейный и нелинейных статистик от случайных объектов, которые могут представлять независимый интерес. С помощью полученных неравенств удалось внести большой вклад и получить новые результаты в теории стохастической аппроксимации, алгоритмов МСМС и бутстреп методе. Внедрение: диссертационная работа имеет теоретический характер. Тем не менее, полученные результаты могут быть полезны в рамках исследования ряда прикладных задач байесовской статистики, обучения с подкреплением, вычислительной статистики. Эффективность: полученные алгоритмы значительно превосходят известные аналоги на эталонных примерах. Область применения: математические методы, развитые в научной работе, могут быть использованы для дальнейшего исследования бутстреп метода, байесовского оценивания, стохастической аппроксимации, алгоритмов снижения дисперсии в методах Монте-Карло на основе цепей Маркова. Кроме этого, полученные результаты могут быть полезны в рамках исследования прикладных задач байесовской статистики и обучения с подкреплением.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 27.43.15
rubrics.name: Теория вероятностей и случайные процессы
rubrics.code: 27.43.17
rubrics.name: Математическая статистика
rubrics.code: 27.43.51
rubrics.name: Применение теоретико-вероятностных и статистических методов
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
speciality_codes.name: Теоретические основы информатики
speciality_codes.code: 05.13.17
supervisors.fio: Ульянов В.В.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Теория вероятностей и математическая статистика
supervisors.responsible_type: Научный руководитель
supervisors.fio: Тихомиров А.Н.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Теория вероятностей и математическая статистика
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения