На сегодняшний день одним из самых популярных открытых облачных сервисов является OpenStack. Сервис OpenStack состоит из большого числа независимых сервисов, многие из которых опциональны. В результате можно создавать собственные облачные кластера с необходимым набором функций. К особенностям OpenStack относятся возможность создания сложных топологий сетей, собственная система оркестрации, менеджер кластеров, мониторинг и многое другое. Сервис OpenStack быстро развивается благодаря большому сообществу участвующих в разработке. Все эти аспекты делают OpenStack довольно привлекательной платформой для создания собственного облака как для промышленных целей, так и для проведения экспериментов с облачными технологиями.

В то же время сегодня весьма популярным является направление обработки больших данных. Для этой цели хорошо подходят облака в силу своей дешевизны и гибкости: в облаках нет необходимости проектировать кластер под конкретную задачу и отсутствует простой ресурсов. В OpenStack существует сервис Sahara, нацеленный на создания и управления виртуальными кластерами для работы с большими данными. Вплоть до версии Kilo сервис Sahara поддерживал технологии Hadoop и Spark версии 1.0.0. Поскольку Spark на сегодняшний день считается одной из основных технологий обработки больших данных, авторы поставили своей задачей обеспечить поддержку достаточно новой версии Spark. Благодаря усилиям авторов, Sahara в релизе Liberty (октябрь 2015 г.) имеет возможность работать с достаточно современной версией дистрибутива Cloudera, который обеспечивает поддержку актуальной версии Spark.

В докладе будут освещены основные сервисы OpenStack и детально рассмотрен сервис Sahara.

Слайды доклада.

Видео доклада.

Литература:

1. Official ApacheSpark homepage.
2. OpenStack Sahara Architecture.
3. Aleksiyants, D. Turdakov, A. Sher, S. Kuznetsov. Implementing Apache Spark jobs execution and Apache Spark cluster creation for Openstack Sahara. Труды ИСП РАН. 27(5):2015.