name: Методы переноса знаний для нейросетевых моделей обработки естественного языка
keyword_list: механизм внимания вопросно-ответная система диалоговая система трансформер языковая модель перенос знаний
abstract: Традиционная парадигма машинного обучения с учителем сталкивается с трудностями, когда нет достаточного количества размеченных данных для обучения целевой задачи на целевом домене. Перенос знаний позволяет использовать результаты, полученные при решении некоторой исходной задачи на исходном домене, для решения целевой задачи на целевом домене. Применение последовательного переноса знаний, путем использования векторных представлений слов, является стандартной практикой при решении задач NLP. В работе сравниваются нейросетевые и частотные методы создания векторных представлений слов для малоресурсных языков, для которых доступна лишь ограниченная обучающая выборка.
  Межъязыковой перенос знаний подразумевает, что исходная и целевая задачи совпадают, однако используют разные языки. В работе показано, что межъязыковой перенос позволяет использовать общедоступные обучающие данные английского языка при дообучении M-BERT для вопросно-ответной задачи, таким образом, отсутствует необходимость в сборе полноценного обучающего датасета целевого языка. Экспериментально установлено, что применяя метод межъязыкового переноса, M-BERT, дообученный с применением многоязычной обучающей выборки, имеет сопоставимое качество с языко-специфичными BERT для вопросно-ответной задачи, тем самым отпадает необходимость в вычислительных ресурсах для предобучения языко-специфичных BERT.
  Применяя последовательный перенос вопросно-ответной модели, разработана оригинальная модель отслеживания состояния диалога GOLOMB.
chairman_dissertation_council.name: Андрей
chairman_dissertation_council.surname: Райгородский
chairman_dissertation_council.patronymic: Михайлович
chairman_dissertation_council.position: главный научный сотрудник-заведующий лабораторией
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Доцент
chairman_dissertation_council.wos_research_id: L-5095-2017
chairman_dissertation_council.scopus_author_id: 6603605028
chairman_dissertation_council.rinc_id: 14675
chairman_dissertation_council.orcid: 0000-0001-8614-9612
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Виталий
organization_supervisor.surname: Баган
organization_supervisor.patronymic: Анатольевич
organization_supervisor.position: Проректор по научной работе
organization_supervisor.territory: РОССИЯ
rubrics.code: 16.31.21
rubrics.name: Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
rubrics.code: 20.01.04
rubrics.name: Информатизация общества. Информационная политика
rubrics.code: 20.01.07
rubrics.name: Теория и методология информатики
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
speciality_codes.name: Теоретические основы информатики
speciality_codes.code: 05.13.17
supervisors.fio: Бурцев М.С.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Математическое моделирование, численные методы и комплексы программ
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: МФТИ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
protection_organization.ogrn: 1027739386135
protection_organization.supervisor_name: ДМИТРИЙ
protection_organization.supervisor_surname: ЛИВАНОВ
protection_organization.supervisor_patronymic: ВИКТОРОВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
author_organization.ogrn: 1027739386135
author_organization.supervisor_name: ДМИТРИЙ
author_organization.supervisor_surname: ЛИВАНОВ
author_organization.supervisor_patronymic: ВИКТОРОВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения