Дата инженер

Информация о проекте:

• проект: «Единый Семантический Слой» (ЕСС) - единое облако данных
• цель: предоставление потребителям интегрированных данных не зависимо от АС-источника
• модель: данные в ЕСС объединены в единую модель, имеют сквозную идентификацию объектов и размечены единой нормативно-справочной информацией
• основные драйверы создания ЕСС: формирование регуляторной отчетности и миграция риск-инфраструктуры на данные единой корпоративной аналитической платформы
• предметная область «Торговое финансирование».

Обязанности

• работа с DWH, проектирование схем для хранения данных
• загрузка данных в DWH из различных источников - как внутренние БД, так и внешние аналитические платформы и т.д.
• развитие и поддержка существующих в рамках проекта DevOps процессов
• проектирование и разработка ETL процессов
• поиск ошибок и аномалий в данных, автоматизация проверок качества данных
• подготовка и поддержание в актуальном состоянии каталога метаданных
• разработка кода в соответствии с требованиями к предоставлению данных подотчетной предметной области единого семантического слоя
• ревью и оптимизация ранее разработанного (автосгенерированного) кода
• разработка и прогон автотестов на разработанный/доработанный код
• подготовка дистрибутивов и описания в соответствии с требованиями оформления Банка
• участие в проектировании логической модели данных.

Требования

• понимание принципов организации хранилищ данных, внутренней архитектуры Hadoop и Spark. Опыт работы с DWH
• опыт работы в роли разработчика в проектах по разработке и/или модификации и/или внедрению ПО
• понимание методологии DevOps
• навыки работы с BitBucket, Jenkins, Nexus или аналогичными инструментами DevOps
• опыт работы с ETL инструментами
• уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность
• опыт командной разработки с использованием программных продуктов Confluence и Jira (желательно).

Ключевые навыки:

• Hadoop, Spark, Jenkins,Bitbucket, Nexus, Git, ETL, SQL, DWH, Jira.