name: Матричные и тензорные разложения в задачах обработки естественного языка
keyword_list: разложение тензорного поезда малоранговые разложения матриц векторные представления слов обработка естественного языка
abstract: В настоящей работе предлагаются методы решения различных задач в области обработки естественного языка при помощи матричных и тензорных разложений.
  Центральным элементом в обработке естественного языка (Natural Language Processing, NLP) является представление текста в виде набора численных характеристик, отражающих его семантику. Так как любой текст имеет чётко выделенную секвенциальную структуру (например, может трактоваться как последовательность слов или букв), ему обычно ставят в соответствие последовательность числовых векторов фиксированной размерности, каждый из которых характеризует тот или иной элемент текста (слово или букву). Такое представление является удобным признаковым описанием для различных алгоритмов машинного обучения.
   Самой распространённой смысловой единицей текста для языков индоевропейской группы является слово, а потому наиболее популярны модели векторных представлений слов. В них каждому слову ставится в соответствие вектор (эмбеддинг)~(Mikolov:~2013, Pennington:~2014), а каждому тексту --- последовательность векторов слов, которые его образуют~(Joulin:~2016). Параметрическим описанием модели векторных представлений слов является матрица эмбеддингов, каждая строка которой соответствует вектору конкретного слова из словаря. В случае большого размера словаря плотная матрица эмбеддингов может занимать много памяти, что затрудняет работу с ней, особенно в случае ограниченных численных ресурсов. Таким образом, поиск более компактных представлений матрицы эмбеддингов является важным направлением исследований в области обработки естественного языка.
  Актуальность задачи подтверждается большим количеством работ, опубликованных в последнее время. В~(Chen:~2018) предлагается более компактная дискретизация эмбеддингов, в которой каждый элемент вектора может принимать одно из $K$ значений. В методе WEST~(Variani:~2018) исследуется разложение матрицы эмбеддингов на разреженные и плотные подматрицы определённой структуры. В~(Chen:~2018) и~(Baevski:~2018) используется более низкий ранг для редких слов. Эффективность представления матрицы эмбеддингов в виде малорангового разложения была недавно переосмыслена в работе~(Lan:~2019). В~(Lam:~2018) предлагается квантизационный алгоритм для сжатия матрицы эмбеддингов. Создание тензоризованной матрицы эмбеддингов на базе канонического разложения(Harshman:~1970, Carroll:~1970) рассматривается в~(Bailey:~2017).
  В данной диссертационной работе для построения более компактных эмбеддингов предлагается тензоризовать матрицу эмбеддингов и представить её в виде разложения тензорного поезда~(Oseledets:~2011). Во-первых, это позволяет достичь гораздо большего сжатия по сравнению с другими подходами. Во-вторых, несмотря на малое число параметров, предложенная модель реализует матрицу эмбеддингов полного ранга, которая не страдает от ,проклятья малого ранга~(Yang:~2017).
  Помимо сжатия матрицы векторных представлений слов решается важная теоретическая задача оценивания обобщающей способности и выразительной силы архитектур нейронных сетей, применяемых при обработке естественного языка. В частности, используя математический аппарат, предложенный в~(Cohen:~2016, Khrulkov:~2018, Cohen:~2018) вводится модель обобщённых тензорных рекуррентных сетей, которая позволяет анализировать обобщающую способность и выразительную силу современных рекуррентных сетей~(Hochreiter:~1997) при помощи анализа эквивалентных тензорных разложений.
chairman_dissertation_council.name: Андрей
chairman_dissertation_council.surname: Райгородский
chairman_dissertation_council.patronymic: Михайлович
chairman_dissertation_council.position: главный научный сотрудник-заведующий лабораторией
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Доцент
chairman_dissertation_council.wos_research_id: L-5095-2017
chairman_dissertation_council.scopus_author_id: 6603605028
chairman_dissertation_council.rinc_id: 14675
chairman_dissertation_council.orcid: 0000-0001-8614-9612
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Виталий
organization_supervisor.surname: Баган
organization_supervisor.patronymic: Анатольевич
organization_supervisor.position: Проректор по научной работе
organization_supervisor.degree: Доктор физико-математических наук
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.29
rubrics.name: Программная реализация интеллектуальных систем
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
oecds.code: 01.01.PN
oecds.name: MATHEMATICS, APPLIED
speciality_codes.name: Математическое моделирование, численные методы и комплексы программ
speciality_codes.code: 05.13.18
supervisors.fio: Оселедец И.В.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Вычислительная математика
supervisors.responsible_type: Научный руководитель
opponents.fio: -
opponents.responsible_type: Оппонент
protection_organization.short_name: МФТИ
protection_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский  университет)"
protection_organization.ogrn: 1027739386135
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
author_organization.ogrn: 1027739386135
author_organization.supervisor_name: НИКОЛАЙ
author_organization.supervisor_surname: КУДРЯВЦЕВ
author_organization.supervisor_patronymic: НИКОЛАЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения