Data Engineer

Блок инженерии больших данных обеспечивает Data Science проекты инфраструктурой, данными и каналами интеграции с бизнес процессами.

Инженер больших данных отвечает за доставку, хранение и обработку данных, организацию стриминговых потоков.

Нам нужен человек, который:

• имеет опыт работы с большими данными: Hadoop, HDFS, Spark, Kafka;
• уверенно знает SQL (GreenPlum, ClickHouse, Oracle), оптимизация запросов;
• умеет разрабатывать процессы в Airflow;
• знает Python/Java или иные языки программирования;
• понимает подходы к организации разработки (CI/CD, DevOps), Git;
• работает с командной строкой Linux (bash).

Будет неплохо если ты знаешь или за время испытательного срока освоишь:

• возможности платформы Yandex Cloud;
• особенности работы с ClickHouse;
• области применения и ключевые фичи Delta Lake и аналогов;
• как пользоваться CDC инструментом Debezium.

Ваша работа:

• создавать и поддерживать потоки данных в облачную платформу, в том числе в реальном времени;
• мониторинг качества данных: интеграция библиотек/инструментов для поиска аномалий и смещений;
• разрабатывать ETL/ELT с использованием Spark и Airflow;
• наполнять и развивать Feature Store.

Мы предлагаем:

• работу в банке из списка ТОП-50 крупнейших банков России по оценке Центробанка;
• отличный социальный пакет с ДМС, включающим стоматологию и массаж; ипотекой по эксклюзивно сниженным ставкам для сотрудников, льготным кредитованием; компенсацией детского сада и другими приятными бонусами;
• комфортный офис в центре города рядом с метро «Геологическая»;
• регулярное внутреннее обучение и возможность внешнего обучения для профессионального развития;
• официальную заработную плату два раза в месяц;
• оформление согласно ТК РФ;
• график работы пятидневную рабочую неделю с 8:30 до 17:30;
• работа в современном креативном офисе.