name: Специализация языковых моделей для применения к задачам обработки естественного языка
keyword_list: языковые модели, перенос знаний, специализация языковых моделей, обработка текста, классификация текста, разрешение кореференции, вопросно-ответные системы, нейронные сети
abstract: На текущий момент активное развитие в методах автоматической обработке естественного языка происходит за счет применения больших языковых моделей с сотнями миллионов параметров. Такие модели долго и дорого обучать и, как правило, в публичном доступе обычно появляются модели для английского языка или модели обученные сразу на большом числе языков.Возникает вопрос: как обучать языко- и доменно- специфичные модели максимально переиспользуя уже имеющиеся обученные модели?Данная работа посвящена методам обучения языковых моделей и в частности методам переноса знаний при дообучении языковых моделей на данных, ограниченных тематикой или заданным набором языков.В рамках работы были получены модели для русского языка RuBERT, для болгарского, чешского, польского и русского языков Славянский BERT и модели под разговорный домен для русского и английского языков. Полученные модели были проверены на задачах классификации и разметки текстов, разрешения кореференции и поиска ответа на вопрос в тексте.
chairman_dissertation_council.surname: Райгородский А. М.
chairman_dissertation_council.position: главный научный сотрудник-заведующий лабораторией
chairman_dissertation_council.degree: Доктор физико-математических наук
organization_supervisor.surname: Кудрявцев Н. Н.
organization_supervisor.position: ректор
organization_supervisor.degree: Доктор физико-математических наук
rubrics.code: 20.19.27
rubrics.name: Автоматизация знаковой обработки текста
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 16.31.21
rubrics.name: Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
speciality_codes.name: Теоретические основы информатики
speciality_codes.code: 05.13.17
supervisors.fio: Бурцев Михаил Сергеевич
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Математическое моделирование, численные методы и комплексы программ
supervisors.responsible_type: Научный руководитель
opponents.fio: -
opponents.responsible_type: Оппонент
protection_organization.short_name: МФТИ
protection_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский  университет)"
protection_organization.ogrn: 1027739386135
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский  университет)"
author_organization.ogrn: 1027739386135
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения