name: Нейронные сети для обработки исходного кода программ
keyword_list: редкий идентификатор нейронные сети код программы архитектура "Трансформер"
abstract: Объект исследования: последовательные архитектуры нейронных сетей: Трансформер и рекуррентные нейронные сети. Цель работы: повысить качество решения задач обработки исходного кода программ (автодополнение кода, поиск неправильно использованных переменных в коде, автоматическое именований функций) с помощью учета специфики исходного кода (понятие переменных, строгая синтаксическая структура, большое количество редких идентификаторов) в методах, основанных на последовательных архитектурах нейронных сетей. Методы исследования: экспериментальное оценивание расмматриваемых модификаций методов в задачах обработки исходного кода программ посредством обучения нейронных сетей. Достигнутые результаты: 1. Повышено качество автодополнения кода и исправления неправильно использованных переменных в коде на 0.5-18% при использовании рекуррентных нейронных сетей, за счет использования предложенного механизма динамических векторных представлений; 2. Проведено экспериментальное сравнение нескольких модификаций архитектуры Трансформер, учитывающих синтаксическую структуру кода, на трех задачах обработки кода и выделен механизм относительного внимания как наиболее эффективная по качеству и скорости работы модификация; 3. Повышено качество автодополнения кода и исправления неправильно использованных переменных в коде на 5-10% при использовании архитектуры Трансформер, за счет использования предложенной техники анонмизиации редких идентификаторов. Научная новизна: 1. Предложен новый метод динамических векторных представлений в рекуррентных нейронных сетях, обрабатывающих исходный код программ, для учета роли переменных в программе; 2. Проведено экспериментальное сравнение нескольких модификаций архитектуры Трансформер в унифицированной постановке, ранее не исследованное в литературе; 3. Предложен новый метод анонимизации редких идентификаторов в программах, используемый при обучении архитектуры Трансформер. Внедрение: предложенные по результатам исследования практические рекомендации могут упростить использование рекуррентных нейронных сетей и архитектуры Трансформер в интегрированных средах разработки. Исходный код всех трех работ выложен в открытый доступ и используется научным сообществом. Эффективность: по результатам исследования удалось повысить качество решения таких прикладных задач, как автодополнение исходного кода программ, исправление неправильно использованных переменных и автоматическое именование функций в программах. Область применения: автоматический анализ исходных кодов программ, в частности, модули интегрированных сред разработки.
chairman_dissertation_council.name: Николай
chairman_dissertation_council.surname: Верещагин
chairman_dissertation_council.patronymic: Константинович
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: L-9806-2016
chairman_dissertation_council.scopus_author_id: 7005187259
chairman_dissertation_council.rinc_id: 54
chairman_dissertation_council.url: https://www.hse.ru/staff/vereshchagin
chairman_dissertation_council.orcid: 0000-0002-7386-979X
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 28.23.37
rubrics.name: Нейронные сети
rubrics.code: 28.23.25
rubrics.name: Модели и системы обучения
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Теоретические основы информатики
speciality_codes.code: 05.13.17
supervisors.fio: Ветров Д.П.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Дискретная математика и математическая кибернетика
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения