Senior Data Engineer
Зарплата
до 250 000 ₽
Требования
Местоположение и тип занятости
Компания
Поставщик ИТ-решений для высокотехнологичных компаний
Описание вакансии
О компании и команде
Full Stack Data Engineer
Ключевые задачи:
- Написание и поддержка коннекторов для Kafka Connect и Debezium.
- Разработка DAGов на Airflow.
- Написание процедур обработки данных + Data Quality Control.
- Развитие системы мониторинга данных и процессов.
- Участие во внедрении систем Data Governance и DQC.
Ожидания от кандидата
- SQL - на уровне аналитических функций.
- Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
- Airflow - человек должен понимать что это за инструмент и уметь использовать его.
- Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
- Опыт работы с PostgreSQL.
- Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
- Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
- Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
- Debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
- Знание/понимание Инмона, Кимбела, DataVault, Anchor modeling и других моделей данных - преимущество, но не обязательно.
Условия работы
- Трудоустройство в соответствии с ТК РФ.
- ДМС с первого рабочего дня.