Создание цифровой платформы и построение процессов поставки для сервиса «Сравни»
В рамках проекта создана цифровая платформа и выстроены процессы поставки ПО для команды DWH с использованием современных DevOps технологий.
О клиенте
«Сравни» — сервис выбора финансовых и страховых продуктов с собственной IT-инфраструктурой и экосистемой сервисов.
Проблемы клиента
Клиенту необходимо было обеспечить возможность масштабирования и повышения стабильности работы команды DWH.
отсутствие возможности масштабирования решений команды DWH;
отсутствие процессов непрерывной поставки решений команды DWH;
отсутствие наблюдаемости текущей инфраструктуры, используемой командой DWH;
низкая стабильность текущей инфраструктуры, используемой командой DWH;
отсутствие в команде DWH инженерных компетенций по управлению инфраструктурой.
Наше решение
Для достижения целей, стоящих перед клиентом, был реализован проект в результате которого команда Экспресс 42:
спроектировала, построила и описала цифровую платформу на базе Kubernetes в Azure, развернула инструменты для CI/CD, мониторинга и логирования, хранения артефактов разработки и секретов;
выстроила процесс развертывания продуктов команды, ETL скриптов и kafka коннекторов, описала его в виде кода;
проработала и реализовала ролевую модель во всех сервисах цифровой платформы, интегрировала их с Azure AD, повысила уровень защищенности инфраструктуры в целом;
интегрировала текущие инструменты (Snowflake, Prefect.io), используемые командой DWH, в цифровую платформу;
передала экспертизу по работе решения команде DWH и команде эксплуатации.
Результат
Нам удалось автоматизировать рутинные процессы, разработать удобные способы работы с окружениями, оптимизировать вычислительные ресурсы команды DWH.
Автоматизация
Была автоматизирована большая часть рутинных операций и убрали необходимость тратить на них время разработчиков.
Увеличился процент времени, затрачиваемого разработчиками команды DWH на реализацию бизнес-функционала.
Работа с окружениями
Проработан и автоматизирован процесс создания и наполнения окружений:
- подготовка Docker образов;
- интеграция окружений с HashiCorp Vault;
- запуск Prefect flow и отладка выполняемых задач;
- количество успешно завершенных прогонов флоу в Prefect.io поднялось с 83% до 95+ %.
Оптимизация ресурсов
Используемые командой DWH вычислительные ресурсы были оптимизированы, подключение авто-масштабирования компонентов цифровой платформы позволило сократить затраты на нее.
Отказоустойчивость и стандартизация
Унифицированы процессы непрерывной поставки и эксплуатации для приложений с учетом подготовленной цифровой платформы и инженерных практик DevOps.
Технологический стек
В своей работе команда Экспресс 42 успешно применила следующие инструменты
