name: Эталонное тестирование языковых моделей на задачах понимания естественного языка
keyword_list: языковые модели эталонное тестирование трансформер понимание естественного языка
abstract: 1Объект исследования: объектом данного диссертационного исследования являются языковые модели на основе архитектуры «Трансформер». В работе изложены результаты эталонного тестирования (англ. benchmarking) широкого спектра языковых моделей на материале предложенных бенчмарков, включающих в себя 11 задач понимания естественного языка, и методов агрегации результатов эталонного тестирования.
  Цель работы: цель исследования заключается в разработке стандартных ресурсов и инструментов для эталонного тестирования, которые в долгосрочной перспективе обеспечат:
  a.	исчерпывающее сравнение существующих и новых языковых моделей для русского языка относительно уровня человека;
  b.	репрезентативность русского языка в исследовательских направлениях по переносу знания между языками;
  c.	прикладное применение эталонного тестирования и распознавания сгенерированного текста.
  3.	Методы исследования, кроме используемых приборов и аппаратуры: в работе применяются методы машинного и глубинного обучения, методы автоматической обработки естественного языка, методы топологического анализа данных и методы теории многокритериального принятия решений.
  Достигнутые результаты: 
  a.	В работе предложено три бенчмарка для оценки языковых моделей на одиннадцати задачах понимания русского языка. Для русского языка впервые разработана методология оценки людей на задачах, представленных в данных бенчмарках. 
  b.	В работе критически проанализированы существующие методы распознавания сгенерированного текста и на основе этого анализа предложен новый подход к решению данной задачи. В частности, впервые предпринимается попытка адаптации методов топологического анализа данных к картам внимания языковых моделей на основе архитектуры «Трансформер». Предложенный метод учитывает различия в геометрических свойствах естественных и сгенерированных текстов и чувствителен к поверхностным и синтаксическим признакам текстов. Полученные результаты показывают, что предложенный метод может достигать высокого качества на наборах данных из разных предметных областей, будучи устойчивым относительно генеративных языковых моделей, отсутствовавших в обучающей выборке.
  c.	В работе предложены методы агрегации результатов эталонного тестирования, учитывающем множество задач и критериев оценки. Эмпирически показано, что, по сравнению с базовыми решениями, данные методы обеспечивают интерпретируемость ранжирований языковых моделей, являются более устойчивыми к пропущенным значениям на бенчмарках, а также позволяют агрегировать результаты  оценки языковых моделей с учетом неоднородности целевых мер качества и предпочтений конечного пользователя. 
  d.	В работе проведена эмпирическая оценка более ста языковых моделей и их конфигураций в различных экспериментальных постановках. На основе полученных результатов констатируется, что на момент публикации языковые модели значительно уступают людям на большинстве предложенных задач понимания естественного языка, но превосходят уровень человека на задаче распознавания сгенерированного текста. Выявлены ограничения современных языковых моделей, заключающиеся в низкой чувствительности к грамматическим ошибкам на уровне морфологии и семантики, а также низком качестве переноса знания грамматики между русским, английским и итальянским языками.
  5.	Новизна: 
  a.	Предложен бенчмарк, состоящий из девяти наборов данных на материале русского языка для оценки языковых моделей на задачах машинного чтения, разрешения лексической многозначности, разрешения кореференции и определения логической и причинно-следственной связи.
  b.	Предложен бенчмарк для оценки грамматичности и осмысленности предложения на русском языке, включающий в себя естественные и  сгенерированные языковыми моделями предложения. 
  c.	Предложен бенчмарк, состоящий из естественных и сгенерированных языковыми моделями текстов на русском языке. Бенчмарк включает в себя две задачи понимания естественного языка: распознавание сгенерированного текста и определение автора текста.
  d.	Разработан метод распознавания сгенерированного текста, основанный на топологическом анализе данных. Показана эффективность данного метода в решении рассматриваемой задачи на трех наборах данных из разных предметных областей. 
  e.	Представлен набор из восьми методов агрегации результатов оценки языковых моделей с помощью теории многокритериального принятия решений. Продемонстрирована эффективность данных методов в четырех практических сценариях, учитывающих качество на задачах понимания естественного языка, вычислительную эффективность и оценку предубеждений относительно социальных меньшинств.
  6.	Внедрение: внедрение разработанных методов и ресурсов для эталонного тестирования языковых моделей на задачах понимания русского языка обеспечивается их общедоступностью.
  a.	Для каждого предлагаемого бенчмарка разработаны веб-сайты и открытые рейтинги систем для сравнения и анализа языковых моделей на закрытых тестовых выборках. В общей сложности на открытых рейтингах систем представлено более 90 языковых моделей в различных конфигурациях, отранжированных по качеству решения задач понимания русского языка относительно уровня человека. Кроме того, на предлагаемых бенчмарках оценено более 2000 закрытых решений от научно-исследовательского сообщества и ведущих российских индустриальных компаний, что подтверждает влияние работы на область обработки русского языка. 
  b.	Разработанная методология оценки людей на предлагаемых задачах понимания русского языка может быть использована в различных практических и научно-исследовательских целях, таких как воспроизводимость результатов и анализ влияния дизайна проекта по оценке людей на целевое качество. 
  c.	Разработанный метод распознавания сгенерированного текста может быть использован как система человеко-машинного взаимодействия для предупреждения пользователей о потенциально сгенерированных текстах в социальных сетях и на новостных платформах.
  d.	Разработанные методы агрегации результатов эталонного тестирования переносимы на другие области машинного обучения, что подтверждается проведением экспериментов с использованием бенчмарков, включающих в себя несколько модальностей: текст и видео.
  Область применения:
  a.	предложенные бенчмарки для оценки языковых моделей на задачах понимания естественного языка применимы в области автоматической обработки естественного языка;
  b.	предложенные методы агрегации результатов эталонного тестирования могут быть применимы для оценки систем в различных областях машинного обучения и искусственного интеллекта (например, для оценки систем компьютерного зрения или систем мультимодального генеративного искусственного интеллекта).
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 16.31.21
rubrics.name: Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Искусственный интеллект и машинное обучение
speciality_codes.code: 1.2.1.
supervisors.fio: Артёмова Екатерина Леонидовна
supervisors.scientific_degree: Кандидат технических наук
supervisors.speciality_code: Искусственный интеллект и машинное обучение
supervisors.responsible_type: Научный руководитель
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения