Data Engineer

Зарплата

от 200 000 ₽

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

Блок Управление Благосостоянием Сбербанка расширяет команду создания и развития комплексного решения на КХД Teradata+Hadoop+GreenPlum. Наши инвестиционные, страховые, пенсионные продукты переживают взрывной рост в связи с падением доходности депозитов на рынке. Возникает масса новых клиентских путей основанных на данных как в режиме пакетной обработки, так и в near-real-time в тесной интеграции с AI-моделями. Команда растет, нужны разные роли.

Планируем задачи на уровне команды:

  • Развернуть контуры Hadoop+GreenPlum+Teradata для прикладных задач соответствующего типа, обеспечить гетерогенную среду доступа к данным.
  • Обеспечить регулярный импорт внешних данных (несколько внешних компаний) на ETL (Informatica, Apache Spark). В перспективе 1 года перевод части входов на потоки Kafka
  • Реализовать базовые интегрированные и прикладные витрины данных
  • Нормировать к справочникам, проконтролировать качество данных.
  • Обеспечить процессы прикладного использования данных (расчет DS-моделей, аналитических показателей и т.д.)
  • Реализовать сервисы доступа к данным и результатам КХД в реальном времени для бэк- и фронтальных- АС.
  • Обеспечить соответствие всех решений ролевым моделям доступов, обезличивания, безопасности.
  • Поставка данных в Лаборатории и Песочницы для быстрого профилирования и прототипирования.

Ищем:

  • Ты дата-аналитик или дата-инженер с системным подходом и таким же ходом мысли.
  • Разбираешься в устройстве Hadoop и многопоточности Greenplum (PosgreSQL), неплохо понимаешь как она работает.
  • Есть успешный опыт разработки витрин и аналитических подсистем на СУБД Greenplum (PosgreSQL), стеке Hadoop (HDFS, Hive, Spark, Impala, HBase). Teradata желательна, но можем и научить.
  • Есть успешный опыт оптимизации производительности загрузки данных и расчетов.
  • Понимаешь, как организовать интеграцию данных и контроль консистентности результатов.

Плюсом будет, если ты:

  • Активно обучаешься, понимаешь куда интересно развиваться. С нас – помощь в развитии, включая внешние курсы.
  • Участвуешь в жизни Habr, подборка самостоятельных публикаций.
  • Понимаешь принципы ETL, хотя у нас есть специалист.
  • Владеешь Сертификатами, подтверждающими экспертизу

Бонусы

  • Работа в крупнейшем банке России;
  • Трудоустройство согласно ТК РФ;
  • Регулярное корпоративное обучение;
  • ДМС, страхование от несчастных случаев и тяжелых заболеваний;
  • Материальная помощь и социальная поддержка, корпоративная пенсионная программа;
  • Льготные условия кредитования;
  • Яркая и насыщенная корпоративная жизнь.