DWH Разработчик

К нам в команду требуется опытный дата инженер баз данных для построения хранилища данных транзакционных продуктов корпоративного бизнеса.

Функциональные обязанности:

• Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов
• Исследование источников данных
• Создание алгоритмов загрузки данных в витрины
• Написание функций и хранимых процедур для преобразования и агрегации данных
• Настройка первичной обработки данных от источников (очистка, обогащение и т.д.)
• Управление качеством данных
• Разработка новых витрин/объектов исходя из требований аналитиков данных

Навыки и опыт работы:

• Опыт работы по направлению от 2 лет
• Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации)
• Знание стека Hadoop(HDFS, YARN, HIVE) и Spark;
• Знание Scala/Python на уровне, достаточном для создания витрин данных на Spark;
• Понимание процессов ETL, ELT

Как преимущество:

• Опыт работы с Teradata, GreenPlum, Apache Kafka;
• Опыт работы в банковской сфере;
• Особенности написания эффективного кода для стека Hadoop, Spark, использование UDF
  

Мы предлагаем:

• Команда профессионалов, готовых поддержать ваши инициативы;
• Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• Возможность работы с новыми технологиями;
• Обучение за счёт компании;
• Гибкий график (гибкое начало рабочего дня);
• Красивый и комфортный офис рядом с метро.
• ДМС;
• Прозрачная система бонусов и премий, достойная зарплата — размер обсудим на собеседовании.