Data Engineer (разработчик ETL)
Требования
Местоположение и тип занятости
Компания
Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек
Описание вакансии
Условия работы
Команда трайба ищет опытного инженера (разработчика ETL) для разработки витрин данных в Облаке.
Мы с радостью примем тебя в команду и поделимся:
- Знаниями об особенностях работы с большим количеством источников данных;
- Задачами по проектированию и разработке процедур загрузки/выгрузки и обработки большого объема данных.
Основные задачи:
- Проработка входящих требований к витринам данных и подготовка сопровождающей технической документации
- Разработка прототипа конечной витрины данных (Hadoop, Greenplum) и подготовка дистрибутива этой витрины (Java)
- Участие в разработке автоматизированного процесса поставки данных (data pipeline)
- Настройка потоковой передачи данных из витрин во внутренние системы банка (потоковое, пакетное)
- Развитие системы мониторинга проверок качества данных
- Поддержка разработанных data-продуктов, выполнение функций 3-ей линии сопровождения
Требования:
- Опыт работы с MPP РСУБД (Greenplum, Teradata);
- Опыт работы со стеком Hadoop (Hive, HDFS, Oozie и тд);
- Отличное знание SQL (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
- Знание Java – очень желательно;
- Понимание принципов ETL-процессов;
- Умение вести задачу end-to-end, от бизнес-задачи на логический слой и разработки, до вывода витрин данных в ПРОМ;
- Опыт работы c Kafka – желательно;
- Опыт работы с инструментами для организации и оптимизации работы: git, Jenkins, Confluence, Jira.
Работа у нас — это:
- Команда профессионалов, готовых поддержать ваши инициативы;
- Возможность работы с новыми технологиями;
- Обучение за счёт компании;
- Гибкий график (5/2, Сб и Вс - выходные дни), возможна дистанционная работа;
- Красивый и комфортный офис в Санкт-Петербурге на п. Карла Фаберже д.8 (5 мин. от метро Ладожская);
- ДМС (медицинское страхование);
- Прозрачная система бонусов и премий, достойная зарплата — размер обсудим на собеседовании.