⭐️ Бэкендеры, с какой командой у вас мэтч? Проверяйте на Вайб-чеке → vibe.habr.com

Data engineer (интеграция с источниками)

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group

Описание вакансии

О компании и команде

В команде ETL X5 Технологии, в связи расширением и появлением новых задач по загрузке новых данных, открыта позиция Data engineer (интеграция с источниками)
На данный момент, у нас построен кластер Hadoop 2 и 3 версии. Объем наших «сырых данных» в хранилище 1 петабайт. Команда ETL отвечает за интеграцию кластера с источниками данных.
Мы загружаем данные из различных источников данных (как внутри компании, так и извне) в кластер Hadoop и Greenplum Database.Результат работы разработанных нашей командой механизмов - стабильно обновляемые базы данных в Hive. На основе этих баз данных ДБД разрабатывает различные продукты для широкого круга заказчиков внутри X5 Group и снаружи.

Наш стек: Java, Python, Groovy, Spring boot, NiFi, Gradle, Spark, Kafka, Hadoop, Gitlab, Docker, Kubernetes, Confluence, Idea, Kaiten.

Ожидания от кандидата

Чем предстоит заниматься:

  • Разработка ETL Java приложений и тестов к ним;
  • Технический анализ источников данных;
  • Отладка и исправление ошибок загрузки данных;
  • Применение и развитие инженерных практик в команде;
  • Настройка CI и деплой приложений в Kubernetes;
  • Поддержка и развитие существующей кодовой базы.

Наш кандидат:

  • Навык работы с GIT
  • Уверенные знание Java;
  • Хорошие знания SQL (Oracle/PostgreSQL/MSSQL);
  • Знание и понимание CI/CD (Gitlab CI)
  • Навык работы с Docker;
  • Опыт работы с Linux;
  • Опыт работы в BigData проектах;
  • Технический английский.

Условия работы

Мы предлагаем:

  • возможность работать удалённо или ездить в офис на м. Волгоградский проспект / м. Добрынинская
  • возможность роста: план развития, регулярная обратная связь, 2 раза в год оценка персонала
  • яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: X5 Tech Bar, регулярные внутренние митапы, демо-дни, открытые микрофоны, обмен опытом через внутренние комьюнити, день IT-специалиста, программы корпоративного волонтерства, корпоративное предпринимательство X5 Idea Challenge
  • широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья; забота о благополучии сотрудников: регулярная онлайн-йога, ежедневные онлайн-зарядки по утрам, ЗОЖ-марафоны.
  • скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Карусель», «ОКОЛО», «Много лосося», «5post», «Перекресток Впрок»)
  • программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
  • материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию.