Senior Data Engineer

Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов. Мы занимаемся имплементацией и развитием DataLake gen 3 и аналитической платформы данных, строим витрины данных, внедряем лучшие практики обработки и доставки данных в компании, реализуем MLOPS, следим за качеством и «чистотой» данных.

Чем предстоит заниматься:

• Разрабатывать пайплайны загрузки данных из различных источников (РСУБД, NoSQL, files, streaming) в Datalake;
• Реализовать PoC (MVP) с использованием новых инструментов и технологий;
• Оптимизировать процессы хранения и обработки данных с использованием современных технологии и подходов;
• Реализация распределенных алгоритмов на больших данных;
• Продукционализация моделей машинного обучения.

Наши ожидания:

• Профильное образование: информационные технологии, статистика, математика;
• Опыт коммерческой разработки от 5 лет;
• Основной язык программирования – Scala/Python;
• Отличные навыки - SQL;
• Опыт работы с – Apache Spark, Apache Spark structured streaming, Flink, Kafka;
• Опыт работы с экосистемой кластера Hadoop (CDP, Arenadata, Hortonworks);
• Опыт работы с БД: Oracle, Postgre, Greenplum, HBase;
• Опыт работы с Apache Airflow и Apache NiFi.

Будет плюсом:

• Опыт работы с табличным форматом хранения данных Delta lake;
• Опыт работы разработки приложений распределенных вычислений и обработки данных на Apache Flink;
• Опыт работы с Data science в части доставки данных и продукционализации моделей машинного обучения;
• Опыт построения Data lineage;
• Опыт работы с БД: Cassandra, Redis;
• Опыт работы с Feast.

Условия:

• Достойная твоего профессионального уровня зарплата и очень приятный годовой бонус;
• Возможности для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, внешнее и внутреннее обучение;
• Комфортные условия труда: работа из дома или из офиса ст. м. Павелецкая (5 минут от метро);
• Гибкий график: начало рабочего дня - с 8:00 до 11:00 - выбираете сами;
• Современная техника для комфортной работы: выдаём ThinkPad;
• Забота о здоровье: оформим полис ДМС со стоматологией, дадим 3 дополнительных дня к отпуску, компенсируем затраты на абонемент в зал;
• По-настоящему дружеская атмосфера: поддерживаем, когда вы приводите своих друзей, и выплачиваем реферальный бонус.