КлаудСтрап АД

Мариан Пенчев Игнев

Мариан Пенчев Игнев

Мариан Пенчев Игнев

Павел Господинов Иванов

КлаудСтрап Крю

Непарична вноска на стойност 50 000 (петдесет хиляди) лева, представляваща вземане по договор за заем, сключен на 01.11.2016 г. между „СуперХостинг.БГ“ ООД, ЕИК 131449987 и „КлаудСтрап“ АД, ЕИК 204018250.

• Ноу-хау технология за платформа CloudStrap и услуга ParseGround. CloudStrap е стандартна платформа като услуга (PaaS), базирана на технологии с отворен код. Тя е независима от хардуера и облачните услуги, и като такава може лесно да бъде разположена на всеки доставчик на облачни услуги, например Amazon, Google CloudPlatform, Azure и др. Основният компонент зад платформата е платформата OpenShift Origin, която е разработена от Red Hat като проект с отворен код. Фигура 1 показва в детайли архитектурата OpenShift V3, състояща се от няколко системни слоя. Основните компоненти на платформата са Docker и Kubernetes: • Docker предвижда абстракция за опаковане и създаване на Linux-базирани, леки контейнери. • Kubernetes осигурява управление на клъстера и организира работата на Docker контейнерите на няколко хоста. Освен това, OpenShift V3 предлага функционалност за управление на изходния код, различни сценарии за билдване на приложения (docker, изходен код-към-образ (source-to-image) или потребителски билдове) и разгръщане на приложения. Голямо предимство на вътрешно компилираните системни абстракции е, че приложенията могат да бъдат автоматично мащабирани въз основа на наличните ресурси и ограниченията, зададени от разработчиците на приложения. По-долу накратко са описани някои от основните понятия на OpenShift, използвани в целия документ: • Контейнерите (containers) и образите (images) са градивните елементи за разполагане вашите приложения. • Модулите (pods) и услугите (services) дават възможност на контейнерите да комуникират помежду си и позволяват прокси връзки. • Проектите (projects) и потребителите (users) предоставят пространство и средства на общностите да организират и управляват съдържанието си заедно. • Билдовете (builds) и потоците от образи (image streams) ви позволяват да билдвате работещи образи и да реагирате на нови образи. • Разгръщанията (deployments) добавят разширена поддръжка за разработката на софтуер и жизнения цикъл на разгръщането. • Маршрутите за предаване (routes) съобщават за вашата услуга на света. • Шаблоните (templates) дават възможност за създаване на множество обекти наведнъж въз основа на персонализирани параметри. Повече подробности за вътрешната организация на платформата могат да бъдат намерени в официалната документация на OpenShift Origin. Много важен инструмент на платформата OpenShift е уеб-конзолата. Тя предлага потребителски интерфейс достъпен от уеб браузър, който разработчиците могат да използват за визуално разглеждане и управление на съдържанието на проектите. Още по-широк спектър от функционалности за създаване и управление на OpenShift проекти през терминал са осигурени от интерфейса от командния ред (CLI) на OpenShift. Той е достъпен чрез синтаксиса на командата "oc". И накрая, има Kubernetes v1 REST API и OpenShift v1 REST API, достъпни от главните сървъри чрез HTTP(s). Всички гореописани функции са достъпни и се използват в платформата CloudStrap за изграждане на множество нови услуги, насочени към различни функционалности, като съхраняване на база данни и файлове, общи интерфейси за управление на приложения, наблюдение и архивиране на приложения, и още много други. Наред с другите, инструментът DevOps и пакетите MongoDB microservice, са едни от най-важните разширения на платформата CloudStrap. Типичният минимален, с висока надеждност CloudStrap клъстер може да се състои от 15 облачни възли, изброени във Таблица 1. Двата разпределящи натоварването възли приемат външния трафик и го проксират към целевите модули вътре в клъстера. Трите главни възела се използват, за да се гарантира високата надеждност на системата в случай на софтуерни и хардуерни откази. На всеки главен възел работи API сървър, сървър за управление на контролера (controller manager server), etcd и управлява другите възли чрез клъстерната услуга Kubernetes. etcd съхранява постоянното основно състояние, докато другите компоненти го наблюдават за промени, за да се актуализират в желаното състояние. Сървърът за управление на контролери наблюдава etcd за промени в обектите на контролера на копията, а след това използва API за прилагане на желаните промени. Регистрите на Docker (Docker registries) отговарят за обезпечаване на нови хранилища в движение, които дават възможност на потребителите да билдват, качват и свалят техните Docker образи. Възлите осигуряват среда за изпълнение на контейнерите. Те включват Docker, kubelet (Kubernetes) услугата и прокси услуга, необходими за изпълнение на модулите. Действителните потребителски приложения се хостват на модулите, създадени чрез средствата, осигурени от възлите. Клъстерът на MongoDB отговаря за съхраняването на данните на потребителското приложение. Четирите възела са конфигурирани в малък клъстер на MongoDB с един първичен и два вторични възела/копия. Вторичните възли осигуряват отказоустойчивост и висока надеждност на данните. Управлението и мониторинга на клъстера се извършват чрез пакета за MongoDB microservice, описан по-нататък в документа. Мониторингът на CloudStrap клъстера се осъществява чрез използване на множество инструменти, сред които са: • Подсистемата за показатели (metrics engine) Hawkular, която съхранява данните в подсистемата за съхранение (storage engine) Apache Cassandra • Elasticsearch, Fluentd и Kibana за събиране, съхранение и визуализиране на логовете • Cockpit за администриране и мониторинг на възлите По отношение на сигурността, CloudStrap клъстерът използва навсякъде SSL сертификати и различни видове удостоверяване (например OAuth сървър). Управлението е автоматизирано чрез използването на стандартни инструменти като “ansible“ за лесно настройване на нови разгръщания на клъстери, както и специално разработени инструменти, например инструментът DevOps, описани по-нататък. Инструментът DevOps автоматизира процеса на настройка на всички възли в CloudStrap клъстера. Това започва със създаването на ново работещо копие на VM от приет за истински тестов (златен) образ (текущо реализирано на AWS, но лесно може да се прехвърли към други доставчици на облачни услуги). След това той инсталира всички необходими OS пакети, настройва ssh ключове за сигурен достъп и генерира уникално, постоянно име на хост, което се използва за конфигуриране на DNS. Предишните стъпки може да са малко по-различни в зависимост от профила на инсталирания възел (главни, работни или MongoDB възли). Например, скриптът на MongoDB профила инсталира агент за автоматизация на MongoDB и задава конкретните параметри на MongoDB (тип подсистема, размери на логовете, URL адреси на логовете и т.н.) в конфигурационните файлове. Пакетът MongoDB microservice отговаря за автоматичното управление на всички необходими услуги в MongoDB. Това включва управление, мониторинг, архивиране и възстановяване на работещи копия на MongoDB. Освен това пакетът осигурява REST API за директно взаимодействие с услугите. Фигура 2 изобразява цялостната архитектура на услугата, заедно с основните й модули. Контролерът (Director) отговаря за стартирането, спирането и мониторинга на отделните услуги. Комуникацията до и между услугите се извършва чрез шината за комуникация на услуги (service communication bus), който се използва и от REST API. Клъстер мениджърите (Cluster Managers) управляват създаването, изтриването и конфигурацията на клъстерите на MongoDB. Новият клъстер се разгръща автоматично въз основа на предварително зададена конфигурация, която определя броя на копията или сегментите в клъстера, както и допълнителните параметри. Разгръщането на клъстер по подразбиране използва множество комплекти копия с първия комплект копия, запазен за използване само от вътрешните услуги. Това изолира оперативните данни на услугите от потребителските данни, като следва широко приети най-добри практики по отношение на сигурността и отказоустойчивостта. Мениджърът също така отговаря за управлението на всякакви други услуги за мониторинг, архивиране и възстановяване. Той проследява техните статистики и въз основа на тях задейства подходящите действия. Пример за такова събитие е скалирането (мащабирането) на клъстер чрез добавяне или премахване на комплект копия или сегменти въз основа на размера на данните. Наблюдаващите контрольори (Monitoring Watchers) имат за задача да следят всички агенти и копия за автоматизация от гледна точка на работоспособността и състоянието на неизправност, както и наличните ресурси. Въз основа на предварително определени правила се генерират сигнали за събития. Наблюдаваните показатели на MongoDB и одитните логове са налични като визуални графики, и могат да помогнат на мониторинга и на администраторите на клъстера. Събирачите на показатели (Metrics Miners) са услуги, които извличат показатели, статистика и аналитична информация за MongoDB от системните и потребителските бази данни, за да се проследи използването на ресурсите от тях. Тези показатели се използват за изчисляване на разходите за ресурси на потребител и за мащабиране на услугите. Архивиращите работни процеси (Backup workers) насрочват и правят резервно копие (архивиране) на потребителските данни. Понастоящем на всеки 6 часа се правят базови снимки на данните, които са разположение в продължение на 3 дни, а ежедневните архиви на пълното копие се правят и съхраняват в продължение на 7 дни. Седмичните снимки се съхраняват в продължение на 1 месец, а месечните снимки се съхраняват в продължение на една година. Всички тези действия за създаване на резервно копие на ниво комплект копия са автоматизирани. Освен това има ежедневни архиви за всяка отделна потребителска база данни, което позволява възстановяване на данните на определен потребител. Този тип архивиране може да бъде насрочено индивидуално въз основа на времевите изисквания на потребителя. Възстановяващите работни процеси (Restore workers) отговарят за възстановяването на потребителските данни. Има няколко начина да се направи това. Може да се направи на ниво снимка, като се възстанови комплект копие/сегмент или конкретна потребителска база данни. Процесът може да се извършва автоматично според предварително зададени конфигурационни параметри или ръчно - чрез директно задаване на необходимите параметри. ParseGround е мобилен сървър като услуга (MBaaS) за мобилни приложения, който е наследник на услугата parse.com на Facebook. Той е построен върху скорошния Parse Server с отворен код и Parse Dashboard. Parse Server е версията с отворен код на сървъра parse.com. Той е билднат в Node.js и работи с платформата за уеб приложения Express. Parse Server е независим от Parse.com и използва MongoDB за съхранение на данните на приложението. Той поддържа Push уведомления, LiveQueries, външен клауд код (Cloud Code), файлове и други. Parse Dashboard е самостоятелен панел с инструменти за управление на вашите Parse приложения и сървърни конфигурации. Освен това той предлага функции като DB браузър, Parse Server логове, управление на Parse Server, API конзола, Управление на конфигурирането, управление на Push уведомленията, управление на потребителите и други. Икони Новите функции на Parse Server и Parse Dashboard, налични в услугата ParseGround са: • Push уведомления o Активност o Присъстващи • Панел с инструменти o JSON редактор включително автоматично валидиране, форматиране и автоматично завършване на кода. o Прелистване в DB браузъра o Управление на потребителите o Управление на приложенията • Икони o Управление на настройките • Взаимодействащи обекти (Collaborators) • Клауд код (Cloud Code) o Интегриране на GitHub и Private Repo за вашия клауд код o Автоматично разгръщане на GitHub Автоматизираното създаване на ново parse приложение е една от най-важните функции на услугата ParseGround, тъй като всеки нов потребител или ще създаде ново приложение, или ще мигрира съществуващо от parse.com. Потребителят може да създаде ново приложение, като кликне върху бутона "Create New App". Това ще започне процеса на създаване чрез запитване на потребителя за име на неговото приложение. След това потребителят трябва да избере от списък с региони (Северна Америка, Южна Америка, Европа, Азия и Австралия), този, в който трябва да бъде внедрено приложението. Всички следващи стъпки автоматично се изпълняват на заден план от услугата: • CREATING (СЪЗДАВАНЕ)- Уникално име на хост за приложението ви. • BUILDING (БИЛДВАНЕ) - Docker образи за разгръщане на вашия Parse Server. • DEPLOYING (РАЗГРЪЩАНЕ) - Мащабируема Docker инфраструктура с разпределение на натоварването и висока надеждност. • DEPLOYING (РАЗГРЪЩАНЕ) – Комплект копия на MongoDB с висока надеждност. • SETTING UP (НАСТРОЙВАНЕ) – Мониторинг на инфраструктурата и услугите. • PREPARING (ПОДГОТВЯНЕ) – Хранилище GitHub за вашия клауд код. • FINALIZE (ЗАВЪРШВАНЕ) - Конфигурациите на вашия клъстер за приложения. • TESTING (ТЕСТВАНЕ) - Всички компоненти са налице и работят. Втората функционалност е автоматично мигриране на съществуващо потребителско приложение от Parse.com към нашата услуга. Този процес започва при кликване на бутона “Migrate from Parse.com” и включва следните стъпки: • Първо потребителят трябва да предостави потребителското си име и парола за Parse.com. • След това потребителят ще види съществуващите си приложения и ще може да избере приложението, което трябва да се мигрира към ParseGround. • При натискане на бутона " migration ", новото приложение ще бъде автоматично мигрирано към ParseGround и ще бъдат извършени следните операции. o Мигриране на базата данни MongoDB от Parse.com o Мигриране на клауд кода (Cloud code) o Мигриране на настройките o Мигриране на взаимодействащите обекти o Мигриране на ключовете o Мигриране на файловете Клауд кодът на приложението ще бъде хостван и наличен в частно GitHub хранилище, което ще бъде на разположение за изменения в клауд редактора (cloud editor). След процесите на създаване и мигриране потребителското приложението ще се появи на панела с инструменти и потребителят може да управлява данните на приложението, като кликне върху него. Ще се отвори браузърът на приложенията и отляво ще се появят всички категории параметри. Големи предимства за потребителите са възможностите за свързване с поддръжката на ParseGround чрез интерактивен разговор или чрез подаване на билет (тикет) за програмна грешка, без да се налага излизане от панела с инструменти.