Data Engineer( GreenPlum+Hadoop)

Блок Управление Благосостоянием Сбера расширяет команду создания и развития комплексного решения на КХД Teradata+Hadoop+GreenPlum. Наши инвестиционные, страховые, пенсионные продукты переживают взрывной рост в связи с падением доходности депозитов на рынке. Возникает масса новых клиентских путей основанных на данных как в режиме пакетной обработки, так и в near-real-time в тесной интеграции с AI-моделями. Команда растет, нужны разные роли.

Планируем задачи на уровне команды:

- Развернуть контуры Hadoop+GreenPlum+Teradata для прикладных задач соответствующего типа, обеспечить гетерогенную среду доступа к данным.

- Обеспечить регулярный импорт внешних данных (несколько внешних компаний) на ETL (Informatica, Apache Spark). В перспективе 1 года перевод части входов на потоки Kafka

- Реализовать базовые интегрированные и прикладные витрины данных

- Нормировать к справочникам, проконтролировать качество данных.

- Обеспечить процессы прикладного использования данных (расчет DS-моделей, аналитических показателей и т.д.)

- Реализовать сервисы доступа к данным и результатам КХД в реальном времени для бэк- и фронтальных- АС.

- Обеспечить соответствие всех решений ролевым моделям доступов, обезличивания, безопасности.

- Поставка данных в Лаборатории и Песочницы для быстрого профилирования и прототипирования.

Ищем:

- Ты дата-аналитик или дата-инженер с системным подходом и таким же ходом мысли.

- Разбираешься в устройстве Hadoop и многопоточности Greenplum (PosgreSQL), неплохо понимаешь как она работает.

- Есть успешный опыт разработки витрин и аналитических подсистем на СУБД Greenplum (PosgreSQL), стеке Hadoop (HDFS, Hive, Spark, Impala, HBase). Teradata желательна, но можем и научить.

- Есть успешный опыт оптимизации производительности загрузки данных и расчетов.

- Понимаешь, как организовать интеграцию данных и контроль консистентности результатов.

Плюсом будет, если ты:

- Активно обучаешься, понимаешь куда интересно развиваться. С нас – помощь в развитии, включая внешние курсы.

- Участвуешь в жизни Habr, подборка самостоятельных публикаций.

- Понимаешь принципы ETL, хотя у нас есть специалист.

- Владеешь Сертификатами, подтверждающими экспертизу