ETL разработчик (Инженер данных)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Проект по технологической трансформации бэкофисных систем одного из крупнейших Банков, в цели которого входит реализация на новой технологической платформе отчетности Банка внедренных в Калипсо продуктов. Проект представляет собой участие в мастер-команде по развитию платформы для построения регуляторной, операционной и налоговой отчетности банка перед регуляторами в рамках технологической трансформации. Платформа представляет собой первую версию Фабрики Данных Банка и представляет собой интеграционное решение, основанное на использовании концепции Единого Семантического слоя (ЕСС) и построенное на базах данных MS SQL Server 2014:
- интеграция с целевой бэк-офисной системой Банка (Калипсо) по каналам Kafka;
- интеграция с легаси-системами на платформе Diasoft (Diasoft Dealing, Diasoft Custody Self) по каналам Oracle Golden Gate;
- интеграция с BIUI платформой QlikView;
- разработка приложений и расширений под QlikView;
- перспективная интеграция с бухгалтерской книгой (АЕ ГР) по шинам данных Kafka / TFS;
Дальнейшее развитие платформы предполагает внедрение технологий Big Data/Hadoop, Business Intelligence инструментов.
Ожидания от кандидата
Основные задачи:
- Разработка ETL Pipeline с использованием Spark
- Обеспечение целостности и полноты данных в Хранилище Данных
- Решение и расследование возникающих при эксплуатации системы проблем
- Техническое развитие системы и процесса поставки ПО
- Взаимодействие с другими ролями (тестеры, аналитики и руководители) внутри и вне команды
- Кросс-функциональность, участие в оценке реализации (code review) и архитектуры
Обязательные навыки:
- Опыт работы с Java от 1 года
- Опыт работы с SQL и оптимизации SQL-запросов от 2-х лет
- Опыт работы с Инженером данных
- Опыт работы с Linux
- Понимание принципов архитектуры корпоративных хранилищ данных
- Понимание принципов ООП
Желательные навыки:
- Опыт или знание фреймворка Spark
- Опыт или знание технологий BigData (Hadoop, Hive и т.д.)
Условия работы
- Работа в аккредитованной компании
- Участие в проектах для крупных коммерческих компаний
- Современный подход к обучению и развитию сотрудников
- Стабильный доход, который обсуждается индивидуально
- Приятные бонусы: ДМС со стоматологией для сотрудников, возможность подключить родственников к программе ДМС, обучение и сертификация, скидки на курсы, фитнес и многое другое