Data Engineer

Зарплата

от 150 000 до 300 000 ₽

Требования

АналитикаSQLApache SparkApache HadoopScala

Местоположение и тип занятости

Санкт-ПетербургПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

Наша команда Data – инженеров и аналитиков занимается проектированием, разработкой, тестированием и выводом в промышленную эксплуатацию целевых решений (витрин данных, реализацию интеграционных процессов между аналитическими и продуктовыми системами Банка и партнеров). Наша цель собрать данные из более сотни Источников данных Банка, мы будем работать с данными как с актуальностью Т-1 так и Near Real Time репликами. Продукт нашей работы — экосистема для конкретного сегмента клиентов: продукты, сервисы, каналы обслуживания и коммуникаций.

Обязанности:

  • Проектирование и разработка аналитических витрин данных для целей отчетности и моделирования на стеке Hadoop + Spark + Scala
  • Разработка NRT потоков Apache Flink
  • Мониторинг и оптимизация процессов сборки витрин
  • Разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными
  • Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных

Требования:

  • Не менее 1 года работы в качестве Data Engineer / Data Analyst / ETL Developer
  • Знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности),
  • Опыт работы с большими объемами данных с использованием стека технологий Big Data (Hadoop, Spark, Hive/Impala)
  • Знание основных понятий и концепций из области Data Warehousing. Желателен опыт разработки витрин данных.
  • Знание Apache Flink и опыт построения NRT потоков обработки данных.
  • Знание HBase является преимуществом
  • Знание Scala является преимуществом
  • Знание Python является преимуществом
  • Знание розничного банковского бизнеса является преимуществом
  • Знание Apache Airflow приветствуется
  • Опыт работы по Agile (SCRUM, Kanban, и т.д.) приветствуется

Основной тех. стек:

  • Hadoop(Hive/Impala/Oozie)
  • Apache Spark
  • Apache Flink
  • HBase
  • Kafka
  • Scala
  • Java

Условия:

  • Профессиональное обучение, семинары, тренинги, конференции;
  • Годовые премии;
  • ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников;
  • Самые инновационные, амбициозные проекты и задачи;
  • Дисконт-программа от множества компаний партнеров.