Java developer Data insight

Вакансия Java developer Data insight в Москве, работа в компании Сбер. IT

Sberdata– департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Сервис Data insight отвечает за восстановление подробных сведений о потоке данных от системы‑источника к системе-приемнику, которые позволяют отследить их преобразования и взаимосвязи.

Цель:

• Восстановить data lineage в системах хранения данных
• Собрать статистику использования и выявить востребованность данных
• Создать общий справочник информационных потоков
• Реализовать рекомендательную система оптимизации потоков данных
• Строить ad-hoc аналитику над метаданными
• Проект только стартовал, и мы активно ищем новых сотрудников в нашу команду.

Задачи:

• Восстановление и активное развитие data lineage в системах хранения данных
• Создание собственных коннекторов для сбора метаданных или доработка open-source решений
• Разработка на Java
• Доработка Apache Atlas под задачи Сбера
• Участие в проработке архитектурны решений
• Конфигурирование и настройка Solr, Hbase, Kafka

Навыки:

• Уверенные знания Java Core/Spring Boot
• Опыт работы с графовыми базами данных
• Знание и использование экосистемы Hadoop (Spark, Hive, Spark ML)
• Знание CI/CD инструментов (Gradle, GitLab, Jenkins, Nexus, Docker, Kubernetes)

Огромным плюсом будет:

• Знание Apache Atlas
• Опыт работы в High load
• Понимание архитектуры/опыт сопровождения Hadoop