name: Тензорные методы в задачах машинного обучения
keyword_list: машинное обучение нейронные сети тензорные методы
abstract: Объект исследования: Применимость тензорных разложений к ускорению и (или) сжатию моделей машинного обучения.
  Цель работы: Разработка новых моделей машинного обучения, основанных на аппарате тензорных разложений, не уступающих аналогам по точности предсказания,
  но превосходящих аналоги по скорости работы и (или) компактности, а также в
  разработке новых методов для обучения и применения существующих моделей,
  опережающих аналоги по скорости работы. Также, в качестве цели ставится разработка программного комплекса, упрощающего дальнейшие исследования на стыке машинного обучения и тензорных методов.
  Методы исследования, кроме используемых приборов и аппаратуры: Тензорные разложения (ТТ-разложение); методы машинного обучения; язык программирования python; библиотека tensorflow.
  Достигнутые результаты: 
  1. Разработан комплекс программ для работы с разложением в тензорный поезд на языке Python с поддержкой графических ускорителей;
  2. Предложен вычислительный метод оценки нормировочной константы и маргинальных распределений марковского случайного поля, и получена теоретическая оценка точности его работы;
  3. Предложена модель искусственной нейронной сети, использующая тензорное разложение для сжатия весов сети. Модель опробована на задаче классификации изображений, и показано, что она позволяет существенно опередить аналоги по соотношению числа параметров к качеству работы;
  4. Предложена модель машинного обучения, учитывающая взаимодействия признаков высоких порядков, для которой возможно быстрое обучение с помощью римановой оптимизации.
  Новизна: Предложен новый метод оценки нормировочной константы и маргинальных распределений марковского случайного поля (статистики, использующиеся как для обучения марковских случайных полей, так и для их применения к новым объектам), существенно превосходящий аналоги по скорости работы. Получены теоретические результаты по оценке точности работы предложенных методов. Предложена новая модель искусственной нейронной сети, на порядки превосходящая аналоги по компактности представления (количества настраиваемых параметров при сравнимой предсказательной точности). Предложена модель машинного обучения, учитывающая взаимодействия признаков высоких порядков и допускающая обучение с помощью стохастической римановой оптимизации, что приводит к более быстрому обучению модели по сравнению с обучением классическими методами, такими как стохастический градиентный спуск, примененный к параметрам. Разработанный метод римановой оптимизации использует структуру модели и оптимизируемой функции, чтобы достичь высокой скорости работы. Предложен первый метод автоматического вычисления риманова градиента и произведения риманова гессиана на вектор для функций, зависящих от тензоров в формате тензорного поезда с асимптотической сложностью работы равной сложности вычисления значения заданной функции в одной точке. Разработанный метод может быть использован для нейросетевых моделей предложенных в рамках данной работы.
  Внедрение: По результатам работы реализован комплекс программ T3F который использовался во многих работах по всему миру для проведения экспериментов.
  Эффективность: Эффективность разработанных методов и программных средств подтверждена экспериментально.
  Область применения: Разработанные методы и комплекс программ могут применятся для оценки статистик марковских случайных полей, сжатия исскуственных нейронных сетей, и автоматического подсчета римановых градиентов на многообразии тензоров фиксированного ТТ-ранга.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.17.19
rubrics.name: Математическое моделирование
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
speciality_codes.name: Математическое моделирование, численные методы и комплексы программ
speciality_codes.code: 05.13.18
supervisors.fio: Оселедец И.В.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Математическое моделирование, численные методы и комплексы программ
supervisors.responsible_type: Научный руководитель
supervisors.fio: Ветров Д.П.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Математическое моделирование, численные методы и комплексы программ
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: ИВМ РАН
author_organization.name: Федеральное государственное бюджетное учреждение науки Институт вычислительной математики им. Г.И. Марчука Российской академии наук
author_organization.ogrn: 1027700542363
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные бюджетные учреждения