Junior/Middle Data Engineer
Требования
Местоположение и тип занятости
Компания
Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек
Описание вакансии
Условия работы
Наша команда занимается разработкой витрин данных и созданием внутренних инструментов для автоматизации процесса разработки и вывода, исследованием новых источников данных, помогает командам соседних подразделений построить интеграцию с нашими процессами.
Мы ищем специалиста, желающего развиваться в DE и готового делиться своими знаниями с коллегами.
Задачи:
- исследование источников данных (внешних данных, реплик АС Банка, других витрин);
- разработка и изменение витрин данных на Hadoop/GreenPlum исходя из требований аналитиков данных;
- создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
- написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python).
Что мы ожидаем:
- понимание работы Hive, Spark на Hadoop;
- базовые знания языков программирования Python;
- знание SQL на уровне аналитических запросов;
- понимание объектно-ориентированного подхода к разработке;
- умение обращаться с git, bash.
Будет плюсом:
- опыт разработки на Spark/PySpark;
- оптимизация выполнения сценариев на Spark;
- понимание процессов ETL, ELT.
Бонусы
Что мы предлагаем:
- команда высокомотивированных и увлеченных профессионалов, с которой вы получите максимальное удовольствие от работы;
- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
- возможность работы с новыми технологиями;
- обучение за счет компании;
- красивый и комфортный офис (пр-т Кутузовский 32);
- ДМС с первого дня.