Senior Data Engineer

Наша задача реализовать новое ПКАП(прикладное корпоративное аналитическое приложение) и перенести все сервисы в него из легаси систем, дополнив современными техническими возможностями, позволяющими ускорить, облегчить, автоматизировать работу пользователей с данными.

Для решения бизнес задач Дивизиона «Развитие внешнеэкономического партнерства» в плотном взаимодействии с командами DS , ML, бизнес аналитиков, в рамках проекта нам потребуется построить витрины данных в Hadoop, PostgreSQL и обеспечить потребности смежных команд в необходимых данных.

Наша команда Data - инженеров и аналитиков занимается проектированием, разработкой , тестированием и выводом в промышленную эксплуатацию целевых решений (витрин данных и реализация интеграционных процессов между аналитическими и продуктовыми системами Банка). Наша цель собрать данные из различных Источников данных Банка, мы будем работать с данными как с актуальностью Т-1 так и Near Real Time репликами. В ходе работ вы столкнетесь с огромными данными (таблицы в 10-ки Тб и сотни миллиардов записей), извлечением и загрузкой данных, методами их обработки и трансформации, современными инструментами DEVOPS (CI/CD). Источники данных – продуктовые системы Банка (реляционные СУБД Oracle, MS SQL, PostgreSQL), работать предстоит с реализованными в Hadoop репликами источников. Команда работает c применением методологии Agile, используя инструменты Jira и Confluence.

Обязанности:

• Разработка и поддержка витрин данных в Облаке данных (используются SQL, Java, Scala);
• Вывод витрин в промышленную эксплуатацию;
• Управление качеством данных.

Требования:

• Отличное знание SQL (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
• Навыки разработки витрин данных на Big Data с использованием описанного ниже стека инструментов и знанием соответствующего окружения и языков программирования:

- экосистема Hadoop (Hive, Spark, Kafka, Oozie),

- языки программирования (Scala, Java, Pyton),

- инструменты DEVOPS (Git, Nexus, Jenkins).

• Понимание принципов ETL-процессов;
• Опыт проектирования, разработки витрин данных, тестирования и вывода решений в промышленную эксплуатацию
• Опыт от 1 лет работы с экосистемой Hadoop в роли Data инженера;