Data Engineer (Spark, ALM Динамическое моделирование баланса)

Проект: мы разрабатываем ALM (asset-liability management) систему, решающую задачи управления балансом (порядка 18 трлн руб), в которые входит: факторный анализ и прогнозирование финансового результата Банка, управление нормативами ликвидности, достаточности капитала, задачи ценообразования и внутреннего фондирования. Ключевые операционные и стратегические финансовые решения Банка будут основываться на аналитике, прогнозах и сценариях, подготовленных на нашей системе. Благодаря данной системе, Банк сможет лучше управлять и прогнозировать свои риски, нормативы и финансовый результат. Система строится по принципам микросервисной архитектуры на современном тех стеке Hadoop + Spark + Python + Java. Функционал стрима предполагает как создание модулей системы, так и RnD по разработке моделей.

Проект разрабатывается полностью с нуля, поэтому имеется возможность напрямую влиять на продукт и брать на себя больше инициативы; Новая молодая команда; Возможность получить опыт работы с Hadoop/Spark; Так же планируется развитие команды и проведение регулярных встреч (технологизаций), направленных на развитие команды.

Обязанности:

Решение задач Казначейства по автоматизации управления активами и пассивами:

1. Полный цикл разработки всех слоёв хранилища данных, начиная с ядра;
2. Участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
3. Участие в проектировании системы, решение исследовательских задач по реализации функционала;
4. Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop с использование Apache Spark;
5. Разработка и оптимизация ETL процессов, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов;
6. Организация оптимального процесса разработки;
7. Участие в процессе передачи системы (пром).

Требования:

• Высшее ИТ-образование;
• Знания принципов построения систем хранения и обработки данных;
• Наличие опыта работы с экосистемой Hadoop (Hive, Spark, Parquet);
• Опыт работы с реляционными СУБД (Oracle, MS SQL);
• Опыт программирования на Python;
• Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
• Опыт промышленной разработки ETL Apache AirFlow;
• Опыт работы в Jira и Confluence;
• Понимание методологий Agile и DevOps;
• Опыт работы с ALM-системами будет большим плюсом.

Условия:

• Возможность участвовать в масштабном и долгосрочном проекте в составе Agile-команды;
• Гибкое начало и окончание рабочего дня;
• Пакет льгот для сотрудников от наших партнеров: ДМС, зарплатный проект ВТБ, льготное кредитование и страхование;
• Релокационный пакет;
• Даем все, что нужно для успешной работы: дополнительные мониторы, мощное железо, компенсируем расходы на мобильную связь.