👀 Признавайтесь, бросали курсы когда-то? Расскажите нам, не держите это в себе → погнали!

Data Engineer (разработчик ETL) Middle/Senior

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Группа компаний, которые оказывают профессиональные услуги в области информационных и цифровых технологий

Описание вакансии

О компании и команде

Лига Цифровой Экономики находится в поисках коллеги на проект по автоматизации кредитного процесса крупного Банка. Команда будет заниматься разработкой и выводом витрин данных в промышленный контур (Hadoop), исследованием новых источников данных, строить интеграцию со смежными системами.
Мы ищем специалиста в области DE, готового делиться своими знаниями с коллегами. Планируется расширение команды под цели миграции функционала легаси-системы на целевую платформу. Впереди большое количество задач и широкий горизонт для их технической реализации. Есть возможность стоять у истоков проекта и непосредственно влиять на его технологическое развитие.

Твои задачи:

  • Исследование источников данных (внешних данных, реплик АС Банка, других витрин)
  • Разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных
  • Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
  • Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
  • Code Review изменений, предлагаемых коллегами из своей и соседних команд

Ожидания от кандидата

  • Знание SQL на уровне аналитических запросов
  • Умение обращаться с git, bash
  • Знания языков программирования Java/Scala, Python
  • Понимание работы Hive, Spark на Hadoop
  • Будет плюсом:

    • Опыт разработки на Spark/PySpark
    • Оптимизация выполнения сценариев на Spark
    • Опыт использования Apache Oozie
    • Понимание процессов ETL, ELT

    Условия работы

    • У нас современный стек технологий и работа в гибкой методологии разработки, микросервисная архитектура приложений
    • Удаленный или гибридный формат работы, гибкое начало рабочего дня
    • Безграничная прокачка скиллов 
    • Возможность принять участие в проектах разной сложности, масштаба и направленности, повысить свой экспертный уровень 
    • Сессии профессионального развития персонала дважды в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи
    • Новая техника для комфортной работы
    • Корпоративная культура с своими ценностями и традициями, в которой каждый чувствует себя частью команды