Разработчик DWH (ETL)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Наша команда «Управление развития аналитических решений и кампаний продаж» Департамента ИТ блока "Управление благосостоянием" занимается развитием аналитической платформы для управления инвестиционной деятельностью группы Сбербанк. Мы собираем данные, связанные с деятельностью дочерних компаний Банка, обрабатываем их и предоставляем пользователям в удобном и доступном виде. Данные нашей платформы используются для формирования управленческой отчетности нашего блока, а также доступны клиентам банка в мобильных приложениях для анализа своих финансов или предоставления рекомендаций, подготовленных с использованием искусственного интеллекта.
Общее описание:
Мы ищем «Разработчика хранилищ/витрин данных», способного принять активное участие в развитии детального слоя хранилища, а также в построении витрин данных. Данная роль предусматривает построение оптимальных ETL-потоков в соответствии с предоставленными алгоритмами, используя все возможности технологии Big Data.
Функции:
- Проектирование и разработка ETL-потоков внутри экосистемы Hadoop;
- Выстраивание потоков зависимостей загрузок;
- Формирования совместно с архитектором стандартов разработки;
- Реализация онлайн проверок качества загружаемых данных;
- Проверка архитектурных гипотез на практике;
- Выработка предложений по выбору инструментов для наиболее эффективной реализации задач;
Требования
- Высшее техническое\математическое образование;
- Опыт работы на проектах построения Хранилищ данных в качестве ETL-разработчика или архитектора (обязательно);
- Опыт работы с одной из промышленных СУБД: Oracle, TeraData, Greenplum (обязательно);
- Умение писать сложные SQL-запросы (обязательно);
- Опыт оптимизации ETL-потоков;
- Опыт выстраивания зависимостей загрузки;
- Опыт реализации переиспользуемых процедур: Интеграции данных, Формирования бизнес и технической-истории, формирования суррогатных ключей и так далее.
- Знакомство или опыт практической работы со следующими инструментами: Hadoop, HBase, Spark, Apache NiFi, Impala, Kudu, Kafka, Solr, ElasticSearch (желательно);
- Знания Java (желательно).
Будет плюсом, если ты:
- Понимаешь методологии Agile, DevOps;
- Есть опыт работы с Jira, Confluence;
- Имеешь хорошую стрессоустойчивость, обучаемость, умение работать в команде, клиентоориентированность;
- Знакомы с терминологией и процессами на финансовых рынках, с бизнес-процессами работы инвестиционной (управляющей) компании.
Стэк:
- У нас есть батчевые расчеты с классическим DWH по Инмону и по Кимбалу. На батче: Spark (Scala/Java), Informatica PC, Teradata, PostgreSQL, Oracle, GreenPlum, Hadoop;
- Есть кэш для фронтов на HBASE/SOLR;
- Есть Kafka и NiFi для real-time обработки потоковых данных;
- Kомитим код в bitbucket, есть собственные фрейсворки и devops pipeline. Обязательное покрытие тестами;
- Самописный гетерогенный оркестровщик.
Мы предлагаем:
- Масштабные и высоконагруженные проекты с использованием новых технологий;
- Команду профессионалов, готовых поддержать ваши инициативы;
- Возможность обучения и сертификации за счёт компании;
- Гибкий график работы;
- Трудоустройство согласно трудовому кодексу;
- Белую заработную плату (оклад + годовая премия);
- Медицинскую страховку;
- Материальную поддержку в особых случаях;
- Отсутствие строгого дресс-кода.
Сбер - это современная техническая платформа, создающая новые способы потребления финансовых (и не только) услуг. Мы собираем лучшие технологии и управленческие методы из мировой практики, чтобы превратить «главный» банк России в передовую сервисную экосистему. Если тебе нравится эта идея, присоединяйся к нашей команде.