name: Алгоритм увеличения точности нейронных сетей и его приложения
keyword_list: Нейронные сети уравнения математической физики производные высших порядков многомерные краевые задачи
abstract: Диссертация посвящена увеличению точности градиентного обучения многослойных нейронных сетей. Приложениями являются задачи аппроксимации функций с известными производными, а также решение уравнений в частных производных. Основной инструмент обучения глубоких нейронных сетей - градиентная минимизация, имеет низкую относительную точность, что продемонстрировано на ряде примеров. Увеличение этой точности является актуальной задачей. На основе нейронных сетей также существует метод решения дифференциальных уравнений, обладающий рядом преимуществ, но аналогично имеющий низкую точность. В диссертации были поставлены три цели: создание способа повышения точности градиентного обучения, его применение для решения уравнений в частных производных и его эффективная реализация на GPU. Решена задача нейросетевой аппроксимации в модифицированной постановке: в каждой обучающей точке кроме значений функции также известны многие её производные. Используя их в процессе обучения, удалось поднять относительную точность нейронных сетей на тестовом множестве в 1000 раз. Адаптация предложенного подхода к решению уравнений в частных производных позволяет без дополнительных затрат увеличить точность, а также снизить требования к сеточному шагу. В результате, при решении пятимерной краевой задачи для уравнения Пуассона удалось снизить требования по памяти в 700 раз, а время решения в 2.3 раза по сравнению с методом конечных разностей. Приведено описание программного комплекса, эффективно использующего GPU и позволяющего получать нейросетевые решения дифференциальных уравнений и решать задачи аппроксимации.
chairman_dissertation_council.name: Игорь
chairman_dissertation_council.surname: Петров
chairman_dissertation_council.patronymic: Борисович
chairman_dissertation_council.position: Заведующий кафедрой
chairman_dissertation_council.degree: Доктор физико-математических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: J-7274-2013
chairman_dissertation_council.scopus_author_id: 57200663364
chairman_dissertation_council.rinc_id: 9347
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Виталий
organization_supervisor.surname: Баган
organization_supervisor.patronymic: Анатольевич
organization_supervisor.position: проректор по научной работе
organization_supervisor.territory: РОССИЯ
rubrics.code: 27.41.41
rubrics.name: Алгоритмы решения задач вычислительной и дискретной математики
rubrics.code: 27.41.19
rubrics.name: Численные методы решения дифференциальных и интегральных уравнений
oecds.code: 01.02.EX
oecds.name: COMPUTER SCIENCE, THEORY & METHODS
speciality_codes.name: Математическое моделирование, численные методы и комплексы программ
speciality_codes.code: 05.13.18
supervisors.fio: Дорофеев Е.А.
supervisors.scientific_degree: Кандидат физико-математических наук
supervisors.speciality_code: Теоретическая физика
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: МФТИ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
protection_organization.ogrn: 1027739386135
protection_organization.supervisor_name: НИКОЛАЙ
protection_organization.supervisor_surname: КУДРЯВЦЕВ
protection_organization.supervisor_patronymic: НИКОЛАЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: МФТИ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
author_organization.ogrn: 1027739386135
author_organization.supervisor_name: НИКОЛАЙ
author_organization.supervisor_surname: КУДРЯВЦЕВ
author_organization.supervisor_patronymic: НИКОЛАЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения