Data-инженер (DWH) / Разработчик SQL + Python

Нам в Делимобиле нужен data engineer. В его качестве вам предстоит поддерживать и развивать систему, состоящую сейчас из batch-processing (DWH) на базе Vertica, real-time аналитики на основе MemSQL и пайплайнов с применением Kafka, Airflow, Python.

ОБЯЗАННОСТИ:

• проектирование логической и физической модели данных аналитических систем;
• обеспечение качества данных (своевременность, полнота, отсутствие ошибок, доступность документации, прозрачность потоков преобразования данных);
• интеграция внутренних и внешних источников данных компании;
• построение внутренних инструментов data discoverу.

ЖЕЛАТЕЛЬНО:

• знание современных архитектурных подходов DWH/Data Lake, Data Vault/Anchor Modeling, Lambda Architecture/Kappa Architecture;
• уверенная практика в MPP RDBMS (Vertica, Greenplum, Teradata, etc);
• отличное владение Python 3, в том числе умение писать многопоточные приложения;
• экспертное знание SQL, предпочтительно Vertica-SQL;
• опыт работы с планировщиками/оркестраторами (Apache Airflow, Luigi, etc)
• опыт работы с Kafka;
• опыт работы с NoSQL базами: MongoDB, Redis, Elasticsearch, etc.

БУДЕТ ПЛЮСОМ:

• опыт работы с технологиями стека Hadoop;
• опыт работы с CDC-системами (Debezium, GoldenGate, etc);
• опыт работы с Docker, Kubernetes;
• опыт разработки в парадигме CI/CD;
• опыт работы с BI-инструментами (PowerBI, Tableau, QlikView, etc.)

УСЛОВИЯ:

• Работа в международном и развивающемся по всему миру сервисе;
• Мы располагаемся в современном офисе недалеко от станций метро Преображенская площадь (7 мин. пешком);
• График работы 5/2 офис либо гибрид.
• Скидки на каршеринг;
• Обеды;
• Мы предоставляем ДМС после испытательного срока.