Data Engineer (разработчик ETL)

Команда трайба ищет опытного инженера (разработчика ETL) для разработки витрин данных в Облаке.

Мы с радостью примем тебя в команду и поделимся:

• Знаниями об особенностях работы с большим количеством источников данных;
• Задачами по проектированию и разработке процедур загрузки/выгрузки и обработки большого объема данных.

Основные задачи:

• Проработка входящих требований к витринам данных и подготовка сопровождающей технической документации
• Разработка прототипа конечной витрины данных (Hadoop, Greenplum) и подготовка дистрибутива этой витрины (Java)
• Участие в разработке автоматизированного процесса поставки данных (data pipeline)
• Настройка потоковой передачи данных из витрин во внутренние системы банка (потоковое, пакетное)
• Развитие системы мониторинга проверок качества данных
• Поддержка разработанных data-продуктов, выполнение функций 3-ей линии сопровождения

Требования:

• Опыт работы с MPP РСУБД (Greenplum, Teradata);
• Опыт работы со стеком Hadoop (Hive, HDFS, Oozie и тд);
• Отличное знание SQL (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
• Знание Java – очень желательно;
• Понимание принципов ETL-процессов;
• Умение вести задачу end-to-end, от бизнес-задачи на логический слой и разработки, до вывода витрин данных в ПРОМ;
• Опыт работы c Kafka – желательно;
• Опыт работы с инструментами для организации и оптимизации работы: git, Jenkins, Confluence, Jira.

Работа у нас — это:

• Команда профессионалов, готовых поддержать ваши инициативы;
• Возможность работы с новыми технологиями;
• Обучение за счёт компании;
• Гибкий график (5/2, Сб и Вс - выходные дни), возможна дистанционная работа;
• Красивый и комфортный офис в Санкт-Петербурге на п. Карла Фаберже д.8 (5 мин. от метро Ладожская);
• ДМС (медицинское страхование);
• Прозрачная система бонусов и премий, достойная зарплата — размер обсудим на собеседовании.