Создание цифровой платформы и построение процессов поставки для сервиса «Сравни»

В рамках проекта создана цифровая платформа и выстроены процессы поставки ПО для команды DWH с использованием современных DevOps технологий.

О клиенте

«Сравни» — сервис выбора финансовых и страховых продуктов с собственной IT-инфраструктурой и экосистемой сервисов.

16 млн
активных пользователей
ежемесячно
14 лет
на рынке финансовых и
страховых услуг
в топ 10
самых популярных банковских
сайтов России

Проблемы клиента

Клиенту необходимо было обеспечить возможность масштабирования и повышения стабильности работы команды DWH.

отсутствие возможности масштабирования решений команды DWH;
отсутствие процессов непрерывной поставки решений команды DWH;
отсутствие наблюдаемости текущей инфраструктуры, используемой командой DWH;
низкая стабильность текущей инфраструктуры, используемой командой DWH;
отсутствие в команде DWH инженерных компетенций по управлению инфраструктурой.

Наше решение

Для достижения целей, стоящих перед клиентом, был реализован проект в результате которого команда Экспресс 42:

спроектировала, построила и описала цифровую платформу на базе Kubernetes в Azure, развернула инструменты для CI/CD, мониторинга и логирования, хранения артефактов разработки и секретов;
выстроила процесс развертывания продуктов команды, ETL скриптов и kafka коннекторов, описала его в виде кода;
проработала и реализовала ролевую модель во всех сервисах цифровой платформы, интегрировала их с Azure AD, повысила уровень защищенности инфраструктуры в целом;
интегрировала текущие инструменты (Snowflake, Prefect.io), используемые командой DWH, в цифровую платформу;
передала экспертизу по работе решения команде DWH и команде эксплуатации.

Результат

Нам удалось автоматизировать рутинные процессы, разработать удобные способы работы с окружениями, оптимизировать вычислительные ресурсы команды DWH.

Автоматизация
Была автоматизирована большая часть рутинных операций и убрали необходимость тратить на них время разработчиков.

Увеличился процент времени, затрачиваемого разработчиками команды DWH на реализацию бизнес-функционала.
Работа с окружениями
Проработан и автоматизирован процесс создания и наполнения окружений:
- подготовка Docker образов;
- интеграция окружений с HashiCorp Vault;
- запуск Prefect flow и отладка выполняемых задач;
- количество успешно завершенных прогонов флоу в Prefect.io поднялось с 83% до 95+ %.
Оптимизация ресурсов
Используемые командой DWH вычислительные ресурсы были оптимизированы, подключение авто-масштабирования компонентов цифровой платформы позволило сократить затраты на нее.
Отказоустойчивость и стандартизация
Унифицированы процессы непрерывной поставки и эксплуатации для приложений с учетом подготовленной цифровой платформы и инженерных практик DevOps.

12%
рост успешно завершенных
прогонов флоу в Prefect.io
90%
сократились ошибки в
ETL-процессах

У меня похожие проблемы

»

Отзыв клиента

"Коллеги из компании Express 42 показали себя профессиональной командой, которой по плечу даже такие сложные и неординарные задачи, как развертывания инфраструктуры оркестратора данных при непрерывности потоков данных и невозможности выделения технологических окон более одного часа и инфраструктуры самого хранилища.
После завершения проекта мы видим множество положительных изменений — например, ошибки в ETL-процессах сократились в 10 раз."

Технический диреткор

в сервисе Сравни

Технологический стек

В своей работе команда Экспресс 42 успешно применила следующие инструменты:

Kafka & Kafka connectors инструмент DevOps

Связаться с нами

Тел: +7 (495) 088-42-84
Email: input@express42.com

124482, г. Москва, г. Зеленоград, к.322, этаж 3, офис 309

К главному меню