Data Engineer

Описание проекта: Наша agile-команда создает информационную платформу в интересах Департамента Глобальных Рынков (ДГР).
ДГР – предоставляет корпоративным и розничным клиентам широкий спектр продуктов и услуг на локальных и зарубежных финансовых рынках. Ключевые направления бизнеса – Fx trading, Commodities, Equity, Founding, Fixed Income, Rates, Credit Valuation Adjustment, Structured Products, Investment Banking.
Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью:
• поддержки регулярных бизнес-операций
• проведения Ad hoc анализа
• подготовки регулярной аналитической / управленческой отчетности
• разработки моделей машинного обучения, направленных на решение широкого спектра прикладных задач прогнозирования, классификации, кластеризации, выявления поведенческих паттернов и отклонений от них, сентимент-анализ и т.д.
Разрабатываемая нами информационная платформа – высоконагруженное решение, призванное обеспечить достижение всех этих целей.
Текущий инструментальный стек платформы:
Python, Java, Informatica PowerCenter, Kafka, AirFlow, InfluxDB, kdb+, OneTick, MS SQL, PostgreSQL, MongoDB, Grafana, Qlik Sense, Kibana, ELK, OpenShift, Python ML/DL libraries, PySpark, TensorFlow

Основные задачи сотрудника на данной позиции:

• Проектирование и разработка потоков для загрузки данных в хранилище
  
• Проектирование и разработка слоев детальных данных
  
• Проектирование и разработка корпоративной аналитической платформы (ПКАП);
  
• Системная разработка, поддержка и оптимизация ETL-процессов
  
• Поддержка промышленной эксплуатации разработанных решений
  
• Поддержание технической документации в актуальном состоянии

• Опыт работы с любой промышленной ETL-системой
  
• Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, PostrgeSQL)
  
• Знание SQL, PL/SQL или PL/pgSQL

• Официальное оформление в аккредитованную IT-компанию
• Система ДМС
• Есть собственный учебный центр с тренингами по языкам программирования, soft skills, карьерному росту и пр.
• Участие в крупных отраслевых мероприятиях
• Cпортивные и well-being мероприятия
• Корпоративные скидки от компаний-заказчиков и многое другое