О компании Core 24/7

Наши SRE-инженеры развернули несколько кластеров Kubernetes, имплементировали процессы CI/CD для различных сред разработки и мигрировали более 600 сервисов на новые "рельсы". Так же разработали шаблоны CI/CD для нескольких языков программирования - PHP, Python и др. Организовали централизованный доступ к различным системам для 450 сотрудников и модернизировали систему мониторинга цифровых продуктов.

В первую очереди нашими инженерами была подготовлена целевая инфраструктура, развернут сетевой слой и созданы необходимые виртуальные машины на стороне АО Страховая Компания «Basel». Для связи с ЦОД АО «Kaspi Bank» был «поднят» временный канал связи и прописаны соответсвующие маршруты, что в свою очередь позволило совершить поэтапный процесс миграции без отказа в обслуживании для конечного пользователя. В обозначенный период времени мы полностью отделили IP телефонию, СУБД и различные вспомогательные системы. Также нашими специалистами была проведена модернизация некоторых систем и внедрение различных решений на базе open source.

Развертывание инфраструктуры без интернета: мы использовали Kubernetes в качестве платформы для управления контейнерами. Особое внимание уделяли локальной установке всех необходимых компонентов и хранилищ данных. Для хранения больших объемов данных выбрали ClickHouse, которая идеально подходит для аналитических и BI задач. Важной частью архитектуры стало использование Patroni для создания отказоустойчивого кластера на основе PostgreSQL. Для передачи данных между микросервисами использовали Kafka, что позволило наладить масштабируемую коммуникацию между компонентами системы. Для безопасного управления доступом внедрили FreeIPA и Keycloak. Для мониторинга всей системы настроили Grafana и ELK (Elasticsearch, Logstash, Kibana) для логирования и анализа событий. Следующим шагом стало внедрение и настройка CI/CD пайплайнов. Мы использовали Airflow для оркестрации задач и интеграции с пайплайнами, что значительно упростило работу над аналитическими задачами и сократило время до выхода продукта в продакшен.

Для реализации поставленных бизнес требований, мы «развернули» отказоустойчивую инфраструктуру на базе Kubernetes в режиме multi-master, PostgreSQL из 3 реплик с «оберткой» Patroni, а так же распределенное файловое хранилище GlusterFS. После базовой конфигурации перешли к нагрузочному тестированию, благодаря которому получили точные метрики для горизонтального масштабирования и выявили все "узкие места" системы. На финальном этапе нашими специалистами был проведен performance tuning с последующей передачей инфраструктуры специалистам заказчика.

Мы сократили парк физических серверов благодаря использованию облачных вычислений. В результате миграции проекта на платформу Kubernetes, в связке с облачными сервисами, удалось оптимизировать расход ресурсов, а также применить технологии для горизонтального автоматического масштабирования. Наши инженеры внедрили методологию GitOps, c использованием решений от компании GitLab и развернули безопасный VPN-сервер для централизованной работы клиентской команды. В результате клиент смог, уменьшить расходы на инфраструктуру, а также автоматизировать процессы разработки и как следствие снизить time-to-market.

Архитектура приложения состояла из микросервисов, разработанных на java и angular. В производстве была частично применена практика CI, но при этом из-за огромного количества собственных скриптов многие процессы зависели от работы одного инженера. Для решения этой задачи мы развернули кластер Kubernetes, cоздали репликацию master-slave PostgreSQL. Внедрили настоящий унифицированный CI для всех микросервисов через Helm. У клиента теперь больше окружений для тестирования.

В результате аудита инфраструктуры мы решили с нуля создать для клиента технологию сборки, тестирования и доставки продуктов. Для разработанного нами решения мы также наладили сквозную интеграцию между всеми системами клиента. Полученный продукт мы назвали Semaphor и активно совершенствуем его. В результате Сбербанк смог успешно внедрить DevOps в своих процессах.

Нашими инженерами была проделана работа по развертыванию гибридной инфраструктуры: Development, Stage окружения и среда разработки на физических серверах, Production на Yandex cloud. Подготовили инфраструктуру и успешно прошли аудит по информационной безопасности (PCI DSS). Автоматизировали процессы разработки, внедрили инструменты статистического анализа кода и docker-контейнеров на наличие уязвимостей. Организовали систему проактивного реагирования на инциденты и внедрили инструментарий для мониторинга критических метрик.