DevOps (DataOps) / Middle-to-Senior
Требования
Местоположение и тип занятости
Компания
Торговая площадка
Описание вакансии
Условия работы
Сердце отдела анализа данных - решения и продукты, созданные на основе данных.
Чтобы создавать много качественных data driven продуктов сотрудники дата офиса постоянно адаптируются к новым требованиям и используют гибкую платформу данных, позволяющую решать их задачи. Платформа данных - набор проектов, которые совместно образуют общий инструментарий по обработке, сохранению, чтения и изучению данных. Сейчас, платформа данных состоит из следующих частей:
- Airflow - для оркестрации ETL задач
- Наш внутренний фреймворк для Airflow с шаблонными операциями
- Clickhouse - для хранения и изучения кликстрима, а также один из слоев DWH
- Кликстрим на основе Java микросервисов в k8s
- Kafka - для потоковой передачи данных и Kafka-Streams для потоковой обработки данных
- Kafka Connect и Debezium - для CDC
- PostgreSQL как основной источник мастер данных
- CubeJS - для предоставления OLAP кубов в другие продукты
- Feature Store - для интеграции ML решений и доставки ML ценности быстрее
- ODD как платформа метаданных и DQ
- и другое
Задачи:
- Улучшать процессы CI/CD, чтобы продукт развивался быстрее и качественнее
- e.g. Хорошо продуманные релизные циклы для inner source библиотек
- e.g. Поддержка feature контуров на основе helm чартов
- Интеграция инструментов платформы данных с Keycloak и vault для снижения оверхеда на администрирование пользователей
- Работа с ролевой моделью доступов к данным вместе с аналитиками, для обеспечения безопасности данных
- Поддержка и улучшение чартов компонентов платформы данных - расширение функционала, поддержка зависимостей и обновление версий
- Улучшение и поддержка observability и мониторинга компонентов платформы с помощью сбора метрик и алертов
У хорошего кандидата найдутся следующие навыки и опыт:
- Helm
- k8s
- Vault
- Keycloak
- Prometheus / Grafana / AlertManager
- опыт администрирования БД / нагруженных сервисов
- Было бы круто, если бы был опыт с Airflow, Clickhouse, Kafka, Kafka Connect, Debezium, Schema Registry
Бонусы
- 🔥 Много ответственности - наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта
- 🚀 Сильную и энергичную команду, нацеленную на быстрый рост на конкурентном рынке
- 🦾 Современные и интересные технологии, возможность тестировать новое и эффективное
- 🏝 Удалёнка если тебе это по душе. Ну а если нет, то есть доступные комфортные офисы в Москва-Сити или Иннополисе
- 🧑⚕️ ДМС со стоматологией, частичная компенсация спортзала и обучений и конференций
Дополнительные инструкции
Чтобы откликнуться на вакансию - присылай свое CV сюда или в тг: @ann_hrke