Junior/Middle Data Engineer

Наша команда занимается разработкой витрин данных и созданием внутренних инструментов для автоматизации процесса разработки и вывода, исследованием новых источников данных, помогает командам соседних подразделений построить интеграцию с нашими процессами.

Мы ищем специалиста, желающего развиваться в DE и готового делиться своими знаниями с коллегами.

Задачи:

• исследование источников данных (внешних данных, реплик АС Банка, других витрин);
• разработка и изменение витрин данных на Hadoop/GreenPlum исходя из требований аналитиков данных;
• создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
• написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python).

Что мы ожидаем:

• понимание работы Hive, Spark на Hadoop;
• базовые знания языков программирования Python;
• знание SQL на уровне аналитических запросов;
• понимание объектно-ориентированного подхода к разработке;
• умение обращаться с git, bash.

Будет плюсом:

• опыт разработки на Spark/PySpark;
• оптимизация выполнения сценариев на Spark;
• понимание процессов ETL, ELT.

Что мы предлагаем:

• команда высокомотивированных и увлеченных профессионалов, с которой вы получите максимальное удовольствие от работы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• возможность работы с новыми технологиями;
• обучение за счет компании;
• красивый и комфортный офис (пр-т Кутузовский 32);
• ДМС с первого дня.