Big Data Engineer

К нам в команду требуется опытный разработчик баз данных, мы создаем хранилище данных на базе корпоративной аналитической платформы (КАП), наша цель обеспечить хранение, доступ и получение транзакционных данных продуктов корпоративного бизнеса аналитиками и дата инженерами для разных задач начиная от выполнения анализа, обучения ML моделей и заканчивая искусственным интеллектом.

Функциональные обязанности:

• Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов;
• Исследование источников данных;
• Создание алгоритмов загрузки данных в витрины;
• Написание функций и хранимых процедур для преобразования и агрегации данных;
• Настройка первичной обработки данных от источников (очистка, обогащение и т.д.);
• Управление качеством данных;
• Разработка новых витрин/объектов исходя из требований системных аналитиков.

Требования:

• Опыт работы по направлению от 1 года;
• Хорошее знание SQL и реляционных баз данных: аналитические функции, индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации);
• Знание стека Hadoop(HDFS, YARN, HIVE) и Spark;
• Знание Scala/Java на уровне, достаточном для создания витрин данных на Spark;
• Понимание процессов ETL, ELT;

Как преимущество:

• Опыт работы с Teradata, GreenPlum, Apache Kafka;
• Опыт работы в банковской сфере;

Мы предлагаем:

• Профессиональный и карьерный рост: работа над масштабным проектом в крупнейшем банке России;
• Знание – сила: обучение с курсами и поездками на конференции за счет работодателя;
• Огненные бонусы к зарплате: годовая премия, плюшки от компаний-партнеров;
• Забота о здоровье: расширенный соц. пакет (ДМС, страхование жизни), бесплатный тренажерный зал;
• Комната отдыха с удобными креслами и пополняющейся библиотекой;
• Ожидание VS реальность: у нас нет бюрократии с многотомными ТЗ и черно-белого дресс-кода, горизонтальная иерархия;