name: Обнаружение ресурсоемких запросов к базам данных на основе применения самоорганизующихся карт и нечеткого вывода
keyword_list: ресурсоемкие запросы самоорганизующиеся карты нечеткий вывод системы управления базами данных нейросетевая кластеризация
abstract: В настоящее время активно используются распределенные программные системы для хранения и обработки информации, касающейся экономики, производства, предоставления услуг, социальной сферы, культуры, образования и личной жизни. Сотни миллионов пользователей обслуживаются банковскими сетями, справочно-информационными интернет-порталами государственных услуг, системами распределенной торговли, резервирования билетов, дистанционного образования, другими электронными сервисами. Информация об объектах предметной области в этих системах размещается в базах данных, к которым нужно обращаться для выполнения требуемой операции. Стремительный рост объёмов хранимых и обрабатываемых данных, возрастающее число пользователей, расширение круга решаемых задач и повышение сложности алгоритмов обуславливают снижение эффективности распределенных информационных систем. На качество и своевременность выполнения транзакций в таких системах негативно влияют следующие факторы [16; 17; 33; 38; 40; 41; 59; 70; 82; 119]: 1) нехватка аппаратных ресурсов, высокая загрузка процессорных устройств, дефицит дискового пространства, недостаточная пропускная способность каналов передачи информации; 2) ошибки, допущенные при проектировании архитектуры систем, структуры баз данных, формализации бизнес-процессов и создании алгоритмов; 3) несовершенная конфигурация систем управления базами данных (СУБД) и системного окружения, неадекватные объемы памяти для обработки данных и системных областей, некорректные настройки системных параметров и параметров утилит; 4) наличие «проблемных» запросов, выполняемых намного дольше, чем это предусматривалось при разработке систем, неэффективность планов исполнения запросов. Влияние указанных факторов может проявляться в виде «зависания» форм конечных приложений, увеличения длительности исполнения фоновых задач, скриптов или программ, работающих с базами данных. Нередко наблюдаются ошибки времени исполнения запросов, сигналы о появлении которых сообщаются через графический интерфейс конечных приложений или консоль СУБД. Снижение корректности и своевременности выполнения запросов к базам данных может стать причиной значимых для пользователей финансовых потерь, существенных негативных последствий для бизнеса. Значительную роль в устранении вышеуказанных причин играет противодействие ресурсоемким запросам, поступающим к базам данных. Ресурсоемким или проблемным запросом к базе данных будем именовать запрос, на обработку которого сервером затрачивается неприемлемо большое, с точки зрения экспертов, количество времени, вычислительных ресурсов и памяти. Опыт показывает, что корректировка алгоритмов или планов исполнения таких запросов во многих случаях позволяет существенно снизить количество ресурсов, затрачиваемых на их обработку. Поиск и преобразование ресурсоёмких запросов проводится специалистами по администрированию баз данных (Data Base Administrator, DBA) на основании информации, получаемой со стороны клиентов [116]. Постепенное снижение производительности распределенных клиентских систем требует принятия мер проактивной оптимизации [5; 8; 9; 116]. Специалисты DBA имеют доступ к настройкам программного и аппаратного обеспечения сервера баз данных, специализированной агрегированной статистической информации об исполнении запросов. По результатам анализа такой информации администраторы баз данных выполняют действия по корректировке ресурсоемких запросов либо вручную, либо с применением специальных программных средств – оптимизаторов запросов. Формирование запросов к базам данных осуществляется на основе применения инструментария языка SQL (Structured Query Language) [196]. Методы поиска и классификации проблемных запросов, которые используются в системных утилитах, характеризуются недостаточно корректным обнаружением ресурсоемких SQL-операторов. Применение этих программных средств зачастую приводит к не выявлениям или пропускам поступающих к базам данных ресурсоемких запросов. Причинами недостаточных возможностей утилит является использование ими ограниченного количества характеристик ресурсоемкости запросов, выполнение анализа на основе применения несовершенных алгоритмов, использующих простое ранжирование обрабатываемых экземпляров запросов. Кроме того, к недостаткам вышеуказанных утилит можно отнести их функциональную избыточность и неоправданно высокую стоимость. Более качественное обнаружение проблемных SQL-операторов позволяет обеспечить ручной поиск. Однако сложный и трудоёмкий процесс анализа больших объёмов информации не даёт возможности человеку обрабатывать данные с приемлемой скоростью. Ручной поиск предполагает большие временные затраты, требует наличия опыта и знаний архитектуры СУБД, особенностей хранения системной информации, языка структурированных запросов, структур и моделей данных прикладных программ. С ростом объема анализируемых данных для выявления проблемных SQL-запросов требуются все более сложные инструменты мониторинга, превентивного анализа и упреждающей оптимизации. Обеспечению эффективного функционирования баз данных посвящены работы М.Р. Когаловского [45; 46], С.Д. Кузнецова [51 – 53], Б.Я. Советова [108], V. Andersen [12], A. Berger [19], T. Connolly [47], C. Date [27], J. Harrington [117], P. Laurie [57], R.J. Muller [67], М. Nagao [68], P. Rob [104], T. Teory [112], J. Ulman [23, 113] и многих других отечественных и зарубежных исследователей, а также разработчиков аппаратных и программных решений. Однако анализ научно-технической литературы показал, что имеющиеся теоретические разработки и практические решения, ориентированные на повышение эффективности СУБД, не позволяют существенно снизить ошибки при выявлении проблемных SQL-запросов. Вышеуказанные обстоятельства определяют актуальность разработки новых методов и алгоритмов, основанных на применении моделей искусственного интеллекта и позволяющих осуществлять своевременное и корректное обнаружение ресурсоемких запросов к базам данных. Объектом исследования являются процессы администрирования баз данных распределенных программных систем, функционирующих для хранения и обработки информации. Предмет исследования – методы и алгоритмы обнаружения ресурсоемких запросов к базам данных. Цель диссертации – совершенствование процесса обнаружения ресурсоемких запросов к базам данных на основе разработки алгоритмов нейросетевой кластеризации и нечеткого вывода. Для достижения поставленной цели сформулированы и решены следующие задачи исследования: 1) анализ процесса обнаружения ресурсоемких запросов к базам данных для обоснования предложений по его совершенствованию; 2) разработка метода и алгоритма обнаружения ресурсоемких запросов к базам данных на основе нейросетевой кластеризации; 3) создание методов и алгоритмов обучения нейронов самоорганизующейся карты и разграничения ее кластеров на основе нечеткого вывода; 4) проведение экспериментальных исследований по оценке корректности обнаружения ресурсоемких запросов, выполняемого на основе разработанных методов и алгоритмов. В работе получены результаты, обладающие научной новизной: 1. Разработан метод обнаружения ресурсоемких запросов к базам данных, который отличается использованием нейронной самоорганизующейся карты для обработки векторов параметров запросов. Применение метода позволяет повысить вероятность корректного обнаружения ресурсоемких запросов и снизить вероятность их ошибочного обнаружения. 2. Разработан метод поиска рекомендуемого значения радиуса топологической окрестности активных нейронов в самоорганизующейся карте, который учитывает характеристики параметров запросов обучающей и контрольной выборки. Применение метода позволяет избежать переобучения нейронов в процессе настройки самоорганизующейся карты, предназначенной для обнаружения ресурсоемких запросов к базам данных. 3. Разработан метод разграничения кластеров самоорганизующейся карты, предназначенной для классификации запросов к базам данных. Новизна алгоритма состоит в использовании нечеткого вывода для вычисления обобщенных весов нейронов. Применение метода позволяет обеспечить получение границ кластеров для последующего нейросетевого обнаружения ресурсоемких запросов к базам данных.
chairman_dissertation_council.name: Константин
chairman_dissertation_council.surname: Польщиков
chairman_dissertation_council.patronymic: Александрович
chairman_dissertation_council.position: директор института инженерных и цифровых технологий
chairman_dissertation_council.degree: Доктор технических наук
chairman_dissertation_council.rank: Доцент
chairman_dissertation_council.wos_research_id: Q-9313-2016
chairman_dissertation_council.scopus_author_id: 57194016165
chairman_dissertation_council.rinc_id: 774403
chairman_dissertation_council.orcid: 0000-0001-6967-3295
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Николай
organization_supervisor.surname: Репников
organization_supervisor.patronymic: Иванович
organization_supervisor.position: проректор по науке и инновациям
organization_supervisor.territory: РОССИЯ
rubrics.code: 20.53.19
rubrics.name: Средства обработки и поиска информации
oecds.code: 02.02.AC
oecds.name: AUTOMATION & CONTROL SYSTEMS
speciality_codes.name: Системный анализ, управление и обработка информации (по отраслям)
speciality_codes.code: 05.13.01
supervisors.fio: Польщиков К.А.
supervisors.scientific_degree: Доктор технических наук
supervisors.speciality_code: Системный анализ, управление и обработка информации (по отраслям)
supervisors.responsible_type: Научный руководитель
opponents.fio: Ващенко Р.А.
opponents.scientific_degree: Кандидат технических наук
opponents.speciality_code: Автоматизация и управление технологическими процессами и производствами (по отраслям)
opponents.responsible_type: Оппонент
opponents.fio: Каширина И.Л.
opponents.scientific_degree: Доктор технических наук
opponents.speciality_code: Математическое моделирование, численные методы и комплексы программ
opponents.responsible_type: Оппонент
protection_organization.short_name: ФГАОУ ВО "Белгородский государственный национальный исследовательский университет", НИУ "БелГУ"
protection_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет"
protection_organization.ogrn: 1023101664519
protection_organization.organization_type: Организация
protection_organization.okogu: Министерство науки и высшего образования Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: ФГАОУ ВО "Белгородский государственный национальный исследовательский университет", НИУ "БелГУ"
author_organization.name: Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет"
author_organization.ogrn: 1023101664519
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения