Data Engineer (ALM. Динамическое моделирование баланса)

Проект: мы разрабатываем ALM (asset-liability management) систему, решающую задачи управления балансом (порядка 18 трлн руб), в которые входит: факторный анализ и прогнозирование финансового результата Банка, управление нормативами ликвидности, достаточности капитала, задачи ценообразования и внутреннего фондирования. Ключевые операционные и стратегические финансовые решения Банка будут основываться на аналитике, прогнозах и сценариях, подготовленных на нашей системе. Благодаря данной системе, Банк сможет лучше управлять и прогнозировать свои риски, нормативы и финансовый результат. Система строится по принципам микросервисной архитектуры на современном тех стеке Spark + Python. Функционал стрима предполагает как создание модулей системы, так и RnD по разработке моделей.

Проект разрабатывается полностью с нуля, поэтому имеется возможность напрямую влиять на продукт и брать на себя больше инициативы, а также дает возможность поработать на Spark / Hadoop.

Решение задач Казначейства по автоматизации управления активами и пассивами:

1. полный цикл разработки всех слоёв хранилища данных, начиная с ядра;
2. участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
3. участие в проектировании системы, решение исследовательских задач по реализации функционала;
4. разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop с использование Apache Spark;
5. разработка и оптимизация ETL процессов, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов;
6. организация оптимального процесса разработки;
7. участие в процессе передачи системы (пром).

Требования:

• высшее техническое образование;
• знания принципов построения систем хранения и обработки данных;
• наличие опыта работы с экосистемой Hadoop (Hive, Spark, Parquet);
• опыт программирования на Python;
• опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL, реляционных СУБД (Oracle, MS SQL);
• опыт промышленной разработки ETL Apache AirFlow;
• опыт работы в Jira и Confluence;
• понимание методологий Agile и DevOps;
• Опыт работы с ALM-системами будет большим плюсом.

• возможность участвовать в масштабном и долгосрочном проекте в составе Agile-команды;
• пятидневная рабочая неделя (пн-пт), гибкое начало и окончание рабочего дня, удаленный / гибридный формат работы;
• пакет льгот для сотрудников от наших партнеров: ДМС, зарплатный проект ВТБ, льготное кредитование и страхование;
• релокационный пакет (при необходимости);
• всё, что нужно для успешной работы: дополнительные мониторы, мощное железо, компенсируем расходы на мобильную связь.