Big Data Engineer
Зарплата
от 200 000 ₽
Требования
Местоположение и тип занятости
Компания
Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек
Описание вакансии
Условия работы
К нам в команду требуется опытный разработчик баз данных, мы создаем хранилище данных на базе корпоративной аналитической платформы (КАП), наша цель обеспечить хранение, доступ и получение транзакционных данных продуктов корпоративного бизнеса аналитиками и дата инженерами для разных задач начиная от выполнения анализа, обучения ML моделей и заканчивая искусственным интеллектом.
Функциональные обязанности:
- Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов;
- Исследование источников данных;
- Создание алгоритмов загрузки данных в витрины;
- Написание функций и хранимых процедур для преобразования и агрегации данных;
- Настройка первичной обработки данных от источников (очистка, обогащение и т.д.);
- Управление качеством данных;
- Разработка новых витрин/объектов исходя из требований системных аналитиков.
Требования:
- Опыт работы по направлению от 1 года;
- Хорошее знание SQL и реляционных баз данных: аналитические функции, индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации);
- Знание стека Hadoop(HDFS, YARN, HIVE) и Spark;
- Знание Scala/Java на уровне, достаточном для создания витрин данных на Spark;
- Понимание процессов ETL, ELT;
Как преимущество:
- Опыт работы с Teradata, GreenPlum, Apache Kafka;
- Опыт работы в банковской сфере;
Мы предлагаем:
- Профессиональный и карьерный рост: работа над масштабным проектом в крупнейшем банке России;
- Знание – сила: обучение с курсами и поездками на конференции за счет работодателя;
- Огненные бонусы к зарплате: годовая премия, плюшки от компаний-партнеров;
- Забота о здоровье: расширенный соц. пакет (ДМС, страхование жизни), бесплатный тренажерный зал;
- Комната отдыха с удобными креслами и пополняющейся библиотекой;
- Ожидание VS реальность: у нас нет бюрократии с многотомными ТЗ и черно-белого дресс-кода, горизонтальная иерархия;