name: Построение и оптимизация распределенных виртуальных вычислительных систем
keyword_list: Контейнер Docker, Kubernetes, контейнеризация, виртуальная машина (VM), больших данных, распределенная система, СУРБД, Hadoop, Spark, MapReduce, файловая система (HDFS), программный интерфейс приложения (API), гипервизор, файловая система (YAML), распредел
abstract: Актуальность темы исследования. Актуальность рассматриваемой в диссертации темы объясняется популярностью различных контейнерных технологий в современном мире. Кто-то использует их для извлечения прибыли, кто-то для снижения финансовых рисков. В обоих случаях встает вопрос прогнозирования динамики контейнерных технологий, причем в данном вопросе ключевым фактором является скорость проводимых вычислений. В диссертации является создание основной экосистемы, в которой Hadoop и Spark могут эффективно находиться в рабочем состоянии. Hadoop обеспечивает надежный, масштабируемый, отказоустойчивый сервис для крупномасштабной обработки данных на основе HDFS и MapReduce. HDFS является распределенной файловой системой и предоставляет распределенное хранилище для системы. MapReduce обеспечивает распределенную обработку для Hadoop. Однако MapReduce подходит не для всех классов приложений. Альтернативой для преодоления ограничения Hadoop являются новые системы времени исполнения в памяти, такие как Spark, которые предназначены для поддержки приложениями многократного использования рабочего набора данных в нескольких параллельных операциях. Слабость Spark заключается в том, что производительность ограничена памятью. Чтобы подчеркнуть различные аспекты двух сред выполнения больших данных, были введены PageRank. Мы измерили время работы, максимальное и среднее использование памяти и ЦП и пропускную способность, чтобы сравнить разницу в производительности между этими платформами для теста.
chairman_dissertation_council.surname: Терехов А.Н.
chairman_dissertation_council.position: Проф. каф. сист. программир.
chairman_dissertation_council.degree: Доктор физико-математических наук
organization_supervisor.surname: Гнетов А.В.
organization_supervisor.position: Ученый секретарь СПбГУ
organization_supervisor.degree: Кандидат биологических наук
rubrics.code: 50.33.04
rubrics.name: Перспективные архитектуры. Архитектуры параллельной обработки
rubrics.code: 50.07.03
rubrics.name: Теория и моделирование вычислительных сред, систем, комплексов и сетей
rubrics.code: 50.41.21
rubrics.name: Системы управления базами данных (СУБД)
oecds.code: 01.02.ET
oecds.name: COMPUTER SCIENCE, INFORMATION SYSTEMS
speciality_codes.name: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
speciality_codes.code: 05.13.11
supervisors.fio: Богданов А.В.
supervisors.scientific_degree: Доктор физико-математических наук
supervisors.speciality_code: Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
supervisors.responsible_type: Научный руководитель
opponents.fio: -
opponents.responsible_type: Оппонент
protection_organization.short_name: Санкт-Петербургский государственный университет, Санкт-Петербургский университет, СПбГУ
protection_organization.name: федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет"
protection_organization.ogrn: 1037800006089
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные бюджетные учреждения
author_organization.short_name: СПбГМТУ
author_organization.name: Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный морской технический университет"
author_organization.ogrn: 1027810221548
author_organization.organization_type: Организация
author_organization.okogu: Министерство науки и высшего образования Российской Федерации
author_organization.okopf: Федеральные государственные бюджетные учреждения