name: Лингвистическая интерпретация и оценка векторных моделей слов русского языка
keyword_list: корпусная лингвистика компьютерная лингвистика интерпретация векторных моделей векторные модели автоматический анализ текста
abstract: Объект исследования – векторные модели работают со словами и текстами в векторном пространстве признаков, ставя в соответствие тексту или слову численный вектор фиксированной длины. Как указывает (Conneau A. et al. 2018), одним из существенных затруднений в работе с векторными моделями является непрозрачность “черного ящика”, объясняемая способом обучения векторной модели. Векторные модели занимают существенное место в обработке естественного языка (Natural Language Processing, NLP), и являются неотъемлемой основой решения широкого круга задач, таких как классификация текстов (определение тематики текста, анализ эмоциональной окраски текста, классификация оскорбительных сообщений), извлечение информации (распознавание именованных сущностей, извлечение фактов), а также машинный перевод, суммаризации, а также генерации текстов (автоматическое создание уникальных текстов на заданную тему, в заданном стиле, жанре). Различные методы статистики и машинного обучения, включая нейросетевые, приводят к появлению таких артефактов, как векторные модели слов и текстов. Цель работы: создание методологии и инструментов своевременной оценки и интерпретации результатов обучения векторных моделей позволяет одновременно достичь двух важных целей, которым посвящено данное исследование. Во-первых, мы ставим целью разработать критерии для оценки векторных моделей моделирования, обоснованных с точки зрения теоретических представлений о языке. Эти критерии на годы вперед формирует повестку исследований, которые проводятся сообществом с целью улучшения текущих результатов моделирования языка. Разработка критериев оценки векторных моделей создает основу для развития как языковой инженерии, так и инструментов сравнения векторных моделей друг с другом и с носителями. Во-вторых, наша цель состоит в создании результатов обучения моделей, которые станут более понятными для человека, выявить дополнительные факторы влияния на качество моделирования языка. Инструменты интерпретации векторных моделей позволяют пролить свет на “черный ящик”, что делает востребованным разработку таких инструментов для русскоязычных моделей. Методы исследования: Бенчмаркинг, Методы сбора и аннотации корпусов, Корреляционные анализ, Методы валидации и эвалюации моделей машинного обучения на отложенных выборках. Предлагаемая методология представляет новый инструментарий для сравнения и интерпретации векторных моделей слов и текстов для русского языка. Прошедшие процедуру тестирования модели выстраиваются в общедоступный рейтинг с публичными результатами и отчетом о степени владения языком, о степени качества владения навыками и зависимости этого качества от различных явлений языка, заведомо представленных в примерах для тестирования. Составление рейтинга позволило выстроить целевые ориентиры для развития русскоязычных векторных моделей: за 2 года существования средний показатель качества на всех навыках у  тестируемых моделей поднялся с 49.5% (у модели BERT-DeepPavlov, лучшее решение в момент запуска) до 75.5% (у лучшего текущего решения, модели Golden transformer). Безусловно, этот уровень владения навыками еще не достигает уровня носителей языка (81.1% в среднем); массовое тестирование показывает, что созданные модели также существенно отстают в задачах, где заведомо используется разнообразие явлений языка для усложнения формулировок задачи. Новизна проделанной работы в рамках представляемого исследования представляется как совокупность теоретических и практических достижений в методологии бенчмарков на основе корпусов текстов. С момента публикации результаты работы внедрены на более чем 1500 моделях машинного обучения, в том числе Сбербанке, Яндексе, других компаниях разработки ПО. Программный комплекс в рамках представляемой работы осуществляет: 1) дообучение нейросетевых моделей; 2) оценку и корреляцияонный анализ результатов обучения. Эффективность применения зависит от архитектуры нейросети, и в рамках проведенных экспериментов колеблется от 49% правильных ответов до 81% правильных ответов. Область применения: языковые модели, моделирование естественного языка, модели машинного обучения, классификация текстов, вопросно-ответные системы.
chairman_dissertation_council.name: Максим
chairman_dissertation_council.surname: Кронгауз
chairman_dissertation_council.patronymic: Анисимович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор филологических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: B-6045-2016
chairman_dissertation_council.scopus_author_id: 35084976700
chairman_dissertation_council.rinc_id: 4094-5411
chairman_dissertation_council.url: https://www.hse.ru/org/persons/147023822
chairman_dissertation_council.orcid: 0000-0003-2956-0565
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.01
rubrics.name: Общие вопросы искусственного интеллекта
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 16.31.61
rubrics.name: Приложение языкознания к другим наукам
rubrics.code: 16.31.21
rubrics.name: Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
rubrics.code: 16.31.02
rubrics.name: Общие проблемы прикладного языкознания
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
oecds.code: 01.02.EP
oecds.name: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
oecds.code: 06.02.OY
oecds.name: LANGUAGE & LINGUISTICS
oecds.code: 06.02.OT
oecds.name: LINGUISTICS
speciality_codes.name: Прикладная и математическая лингвистика
speciality_codes.code: 10.02.21
supervisors.fio: Ляшевская О.Н.
supervisors.scientific_degree: Кандидат филологических наук
supervisors.speciality_code: Теоретические основы информатики
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения