ETL developer

3 августа 2022

Зарплата

от 350 000 ₽

Требования

Разработчик баз данных, Старший (Senior) • Java • Apache Kafka • PostgreSQL • ETL • DWH • OLAP • SQL • Python

Местоположение и тип занятости

• Полный рабочий день • Можно удаленно

Компания

Газпром ID

Создаем уникальный IT-продукт — единое корпоративное пространство для сотрудников Газпрома

Описание вакансии

Условия работы

Проект: Построение дата-платформы компании, от выбора технологий, до реализации задач развёртывания компонентов для построения современного стека для принятия решений на данных

Стек: Java, Kubernetes, Kafka, Kafka connect, Spark/Flink, Data lake (dremio), SQL (Postgres, Clickhouse), temporal database, GitOps, Argo CD

Что делать:

Построение и поддержка интеграций с различными системами
Написание коннекторов, адаптеров и SQL кода по загрузке, трансформации и валидации данных Активное участие в построении мониторинга таких процедур и качества данных (совместно с DQ-инженерами)
Участие в построении DataOps, GitOps процедур

От Вас:

уверенные знания SQL middle+ (Postgres, Clickhouse)
Понимание ETL процедур (Python, REST, SQL, Java) и способов интеграции
Опыт общения со стриминговыми данными (kafka)
Базовое понимание GitOps, умение работать с Kubernetes, Linux
Опыт написания автотестов

Как плюс:

Опыт анализа данных (Jupyter lab)
Опыт построения BI
Опыт использования стека Hadoop

Бонусы

ТК РФ, ДМС (включая стоматологию и госпитализацию)
Новый социально значимый проект в начальной стадии разработки с 500к пользователями
Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство
Скидки на спорт, кино, языковые курсы