DevOps (DataOps) / Middle-to-Senior

Сердце отдела анализа данных - решения и продукты, созданные на основе данных.

Чтобы создавать много качественных data driven продуктов сотрудники дата офиса постоянно адаптируются к новым требованиям и используют гибкую платформу данных, позволяющую решать их задачи. Платформа данных - набор проектов, которые совместно образуют общий инструментарий по обработке, сохранению, чтения и изучению данных. Сейчас, платформа данных состоит из следующих частей:

• Airflow - для оркестрации ETL задач
  • Наш внутренний фреймворк для Airflow с шаблонными операциями
• Clickhouse - для хранения и изучения кликстрима, а также один из слоев DWH
• Кликстрим на основе Java микросервисов в k8s
• Kafka - для потоковой передачи данных и Kafka-Streams для потоковой обработки данных
• Kafka Connect и Debezium - для CDC
• PostgreSQL как основной источник мастер данных
• CubeJS - для предоставления OLAP кубов в другие продукты
• Feature Store - для интеграции ML решений и доставки ML ценности быстрее
• ODD как платформа метаданных и DQ
• и другое

Задачи:

• Улучшать процессы CI/CD, чтобы продукт развивался быстрее и качественнее
  • e.g. Хорошо продуманные релизные циклы для inner source библиотек
  • e.g. Поддержка feature контуров на основе helm чартов
• Интеграция инструментов платформы данных с Keycloak и vault для снижения оверхеда на администрирование пользователей
• Работа с ролевой моделью доступов к данным вместе с аналитиками, для обеспечения безопасности данных
• Поддержка и улучшение чартов компонентов платформы данных - расширение функционала, поддержка зависимостей и обновление версий
• Улучшение и поддержка observability и мониторинга компонентов платформы с помощью сбора метрик и алертов

У хорошего кандидата найдутся следующие навыки и опыт:

• Helm
• k8s
• Vault
• Keycloak
• Prometheus / Grafana / AlertManager
• опыт администрирования БД / нагруженных сервисов
• Было бы круто, если бы был опыт с Airflow, Clickhouse, Kafka, Kafka Connect, Debezium, Schema Registry

• 🔥 Много ответственности - наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта
• 🚀 Сильную и энергичную команду, нацеленную на быстрый рост на конкурентном рынке
• 🦾 Современные и интересные технологии, возможность тестировать новое и эффективное
• 🏝 Удалёнка если тебе это по душе. Ну а если нет, то есть доступные комфортные офисы в Москва-Сити или Иннополисе
• 🧑‍⚕️ ДМС со стоматологией, частичная компенсация спортзала и обучений и конференций

Дополнительные инструкции

Чтобы откликнуться на вакансию - присылай свое CV сюда или в тг: @ann_hrke