Big Data Engineer (middle)

Что потребуется:

• Опыт работы с большими данными: Hadoop, HDFS, Spark, Kafka;
• Уверенно знание SQL (PostgreSQL, GreenPlum, ClickHouse, Oracle), оптимизация запросов;
• Умение разрабатывать процессы в Airflow;
• Знание Python/Java или иные языки программирования;
• Понимание подходов к организации разработки (CI/CD, DevOps), Git;
• Работа с командной строкой Linux (bash).

Будет неплохо если ты знаешь или за время испытательного срока освоишь:

• Возможности платформы Yandex Cloud;
• Особенности работы с ClickHouse;
• Области применения и ключевые фичи Delta Lake и аналогов;
• Как работают CDC процессы.

Что предстоит:

• Создание и поддержка батч и стриминговые потоки данных в облачную платформу;
• Мониторинг качества данных: интеграция библиотек/инструментов для поиска аномалий и смещений;
• Разработка ETL/ELT с использованием Spark и Airflow;
• Наполнение и развивитие Feature Store.

Что даем взамен:

• Социальный пакет с ДМС, включающий стоматологию, льготное кредитование и ипотеку, частичную компенсацию детского сада и другие приятные бонусы;
• Комфортный офис;
• Профессиональный рост: HR- департамент разрабатывает и проводит обучающие программы для сотрудников;
• Официальную заработную плату с выплатой два раза в месяц;
• Оформление согласно ТК РФ;
• Режим работы: пятидневную рабочую неделю с 09:00 до 18:00.