GreenPlum разработчик
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Коротко о проекте:
Мы формируем команду для решения амбициозной задачи по созданию доступной и удобной информационной платформы (Лаборатория Данных на Greenplum) для работы с данными (ad-hoc, моделирование, BI) для самого технологически продвинутого бизнес-блока в Банке (Риски).
Источником для нашей Лаборатории является корпоративное Облако Данных на базе Hadoop (десятки петабайт данных).
Нашими потребителями являются сотни бизнес-пользователей блока риски (аналитики, дата инженеры, дата сайнтисты).
Наша первостепенная задача – развернуть кластер Greenplum, обеспечить в него бесперебойную поставку данных, разработать ролевую модель, удовлетворяющую требованиям бизнес-пользователей и ограничениям со стороны информационной безопасности, реализовать механизмы для создания пользовательских процессов внутри Лаборатории, разработать систему мониторинга для контроля за данными процессами.
В дальнейшем предполагается развивать контуры Лаборатории данных (как с точки зрения подключения новых источников, развития ролевой модели, так и с точки зрения применяемых технологий) для расширения области применения и удобства эксплуатации.
Основные обязанности:
- Участие в разработке технологической стратегии развития лаборатории данных на Greenplum
- Разработка процедур на Greenplum для загрузки и подготовки данных для работы с ними со стороны бизнес-пользователей
- Разработка и развитие ролевой модели Лаборатории
- Оптимизация структуры хранения данных для эффективного использования
- Разработка и настройка механизмов управления ETL/ELT процессами
- Разработка механизмов «охлаждения» данных
- Разработка механизмов контроля качества данных (DQ)
- Поддержка пользователей в части технологий и решения сложных задач по оптимизации
Профиль кандидата:
Вы начинающий специалист со знанием SQL, с практическим опытом работы (возможно небольшим) с системами класса DWH на базе Greenplum (приветствуется опыт работы в компаниях-интеграторах), пониманием ETL/ELT процессов
Вы хотите изучать новые технологии (как на практике, так и в теории), углублять имеющиеся знания, принимать непосредственное участие в развитии команды и разработки стратегии развития продукта, накапливать и развивать экспертизу, и делиться ей с окружающими
Вы инициативны и нацелены на результат
Требования к знаниям/опыту:
Must have (необходим практический опыт и теоретические знания)
- Greenplum (SQL/PSQL, MPP – архитектура, технология дистрибуции, ролевая модель)
- Опыт оптимизации производительности запросов (план запроса, индексы, дистрибуция, full scan)
- Знание/опыт работы с ETL (как промышленные, так и самописные инструменты), понимание терминов: инкремент, snapshot и т.п.
- Знание и/или практический опыт с экосистемой Hadoop (HDFS, Hive, Spark)
Nice to have (значительно расширит круг решаемых задач)
- Java
- Python
- Greenplum Platform Extension Framework (PXF)
- Знание концепций и вариантов архитектуры DWH, опыт построения/развития DWH/Витрин данных
- Опыт решения задач по качеству данных (разработка механизмов DQ, опыт в реализации и разборе сверок)
- Опыт DBA в части тюнинга производительности СУБД, решения проблем эксплуатации (управление местом, зависшие запросы, мониторинг производительности), установка, настройка сетевого взаимодействия
- BI инструменты (QlikSence)
- Знание/опыт работы в Agile
- Знание/опыт работы с DevOps
- MS SQL/MS SSAS/MS SSIS
- ClickHouse
Бонусы
Что мы предлагаем с точки зрения профессионального роста:
- Развитие практических компетенций в части аналитических систем, хранилищ данных и всего что с этим связано
- Изучение и практическое применение наиболее современных технологий обращения с BigData
- Развитие навыков стратегического планирования архитектуры и технологий в части развития продукта
- Стать центром компетенции в рамках нашего технологического блока в части развития хранилищ данных и лабораторий данных на Greenplum
- Получить опыт развития команды специалистов
- Получить опыт в крупнейшем банке в самом технологически продвинутом блоке (Риски)
Компенсационный пакет:
- ДМС для сотрудника и членов семьи
- Софинансируемая банком пенсионная программа
- Корпоративные скидки и предложения для сотрудников группы Сбербанк
- Возможность дистанционной работы (на период пандемии)