Описание вакансии
Условия работы
Требуемый опыт работы: 3–6 лет
Полная занятость, полный день
SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.
Сервис Data insight отвечает за восстановление подробных сведений о потоке данных от системы‑источника к системе-приемнику, которые позволяют отследить их преобразования и взаимосвязи.
Цель:
- Восстановить data lineage в системах хранения данных
- Собрать статистику использования и выявить востребованность данных
- Создать общий справочник информационных потоков
- Реализовать рекомендательную система оптимизации потоков данных
- Строить ad-hoc аналитику над метаданными
- Проект только стартовал, и мы активно ищем новых сотрудников в нашу команду.
Задачи:
- Восстановление и активное развитие data lineage в системах хранения данных
- Создание собственных коннекторов для сбора метаданных или доработка open-source решений
- Разработка на Java
- Доработка Apache Atlas под задачи Сбера
- Участие в проработке архитектурны решений
- Конфигурирование и настройка Solr, Hbase, Kafka
Навыки:
- Уверенные знания Java Core/Spring Boot
- Опыт работы с графовыми базами данных
- Знание и использование экосистемы Hadoop (Spark, Hive, Spark ML)
- Знание CI/CD инструментов (Gradle, GitLab, Jenkins, Nexus, Docker, Kubernetes)
Огромным плюсом будет:
- Знание Apache Atlas
- Опыт работы в High load
- Понимание архитектуры/опыт сопровождения Hadoop
Ключевые навыки:
Spring Framework Java Java SE Apache Maven SQL
С нашей стороны:
- Небольшая, но очень амбициозная команда
- Множество интересных задач
- Комфортный офис, фитнес зал
- Регулярное корпоративное обучение;
- ДМС, страхование от несчастных случаев и тяжелых заболеваний;
- Материальная помощь и социальная поддержка, корпоративная пенсионная программа;
- Льготные условия кредитования