Data Engineer
Требования
Местоположение и тип занятости
Компания
Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек
Описание вакансии
Условия работы
В команду графов кластера «Data Science и клиентская аналитика» корпоративного блока Сбербанка мы ищем специалистов по работе с данными. Часть команды уже функционирует в московском офисе, в Санкт-Петербурге расширяется команда. Вам предстоит работать с графами связей, строить витрины данных, использующиеся для построения моделей и автоматизации.
Обязанности:
- Обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов
- Написание ETL процессов на стеке Spark+Hadoop для построения витрин Геоданных
- Создание собственного фреймворка на языке Scala для работы с экосистемой Hadoop и внутренними сервисами банка
Требования:
- Опыт работы по направлению от 1 года
- Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации)
- Scala\Java, (Python)
- Понимание процессов ETL, ELT
Будет плюсом:
- Знание Spark, PySpark, особенности написания кода для стека Hadoop, Spark, использование UDF
- Знание особенностей программирования в распределённых системах
- Опыт работы с noSql базами
Мы предлагаем:
- возможность работы с новыми технологиями;
- корпоративное обучение и возможность получить новую квалификацию за счет компании
- комфортный офис;
- стабильный оклад и премии по итогам работы
- ипотеку выгоднее на 4% для каждого сотрудника
- льготные условия кредитования
- ДМС с первого дня и льготное страхование для близких
- бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров: Okko, Сбер Маркет, Delivery Club, Самокат, Ситимобил, Сбер Еаптека и других
- корпоративную пенсионную программу