GreenPlum разработчик

Коротко о проекте:

Мы формируем команду для решения амбициозной задачи по созданию доступной и удобной информационной платформы (Лаборатория Данных на Greenplum) для работы с данными (ad-hoc, моделирование, BI) для самого технологически продвинутого бизнес-блока в Банке (Риски).

Источником для нашей Лаборатории является корпоративное Облако Данных на базе Hadoop (десятки петабайт данных).

Нашими потребителями являются сотни бизнес-пользователей блока риски (аналитики, дата инженеры, дата сайнтисты).

Наша первостепенная задача – развернуть кластер Greenplum, обеспечить в него бесперебойную поставку данных, разработать ролевую модель, удовлетворяющую требованиям бизнес-пользователей и ограничениям со стороны информационной безопасности, реализовать механизмы для создания пользовательских процессов внутри Лаборатории, разработать систему мониторинга для контроля за данными процессами.

В дальнейшем предполагается развивать контуры Лаборатории данных (как с точки зрения подключения новых источников, развития ролевой модели, так и с точки зрения применяемых технологий) для расширения области применения и удобства эксплуатации.

Основные обязанности:

• Участие в разработке технологической стратегии развития лаборатории данных на Greenplum
• Разработка процедур на Greenplum для загрузки и подготовки данных для работы с ними со стороны бизнес-пользователей
• Разработка и развитие ролевой модели Лаборатории
• Оптимизация структуры хранения данных для эффективного использования
• Разработка и настройка механизмов управления ETL/ELT процессами
• Разработка механизмов «охлаждения» данных
• Разработка механизмов контроля качества данных (DQ)
• Поддержка пользователей в части технологий и решения сложных задач по оптимизации

Профиль кандидата:

Вы начинающий специалист со знанием SQL, с практическим опытом работы (возможно небольшим) с системами класса DWH на базе Greenplum (приветствуется опыт работы в компаниях-интеграторах), пониманием ETL/ELT процессов

Вы хотите изучать новые технологии (как на практике, так и в теории), углублять имеющиеся знания, принимать непосредственное участие в развитии команды и разработки стратегии развития продукта, накапливать и развивать экспертизу, и делиться ей с окружающими

Вы инициативны и нацелены на результат

Требования к знаниям/опыту:

Must have (необходим практический опыт и теоретические знания)

• Greenplum (SQL/PSQL, MPP – архитектура, технология дистрибуции, ролевая модель)
• Опыт оптимизации производительности запросов (план запроса, индексы, дистрибуция, full scan)
• Знание/опыт работы с ETL (как промышленные, так и самописные инструменты), понимание терминов: инкремент, snapshot и т.п.
• Знание и/или практический опыт с экосистемой Hadoop (HDFS, Hive, Spark)

Nice to have (значительно расширит круг решаемых задач)

• Java
• Python
• Greenplum Platform Extension Framework (PXF)
• Знание концепций и вариантов архитектуры DWH, опыт построения/развития DWH/Витрин данных
• Опыт решения задач по качеству данных (разработка механизмов DQ, опыт в реализации и разборе сверок)
• Опыт DBA в части тюнинга производительности СУБД, решения проблем эксплуатации (управление местом, зависшие запросы, мониторинг производительности), установка, настройка сетевого взаимодействия
• BI инструменты (QlikSence)
• Знание/опыт работы в Agile
• Знание/опыт работы с DevOps
• MS SQL/MS SSAS/MS SSIS
• ClickHouse

Что мы предлагаем с точки зрения профессионального роста:

• Развитие практических компетенций в части аналитических систем, хранилищ данных и всего что с этим связано
• Изучение и практическое применение наиболее современных технологий обращения с BigData
• Развитие навыков стратегического планирования архитектуры и технологий в части развития продукта
• Стать центром компетенции в рамках нашего технологического блока в части развития хранилищ данных и лабораторий данных на Greenplum
• Получить опыт развития команды специалистов
• Получить опыт в крупнейшем банке в самом технологически продвинутом блоке (Риски)

Компенсационный пакет:

• ДМС для сотрудника и членов семьи
• Софинансируемая банком пенсионная программа
• Корпоративные скидки и предложения для сотрудников группы Сбербанк
• Возможность дистанционной работы (на период пандемии)