🔥 1000+ вакансий с удаленкой на Хабр Карьере → посмотреть и откликнуться

Senior Data Engineer

Зарплата

до 250 000 ₽

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Поставщик ИТ-решений для высокотехнологичных компаний

Описание вакансии

О компании и команде

Full Stack Data Engineer

Ключевые задачи:

  • Написание и поддержка коннекторов для Kafka Connect и Debezium.
  • Разработка DAGов на Airflow.
  • Написание процедур обработки данных + Data Quality Control.
  • Развитие системы мониторинга данных и процессов.
  • Участие во внедрении систем Data Governance и DQC.

Ожидания от кандидата

  • SQL - на уровне аналитических функций.
  • Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
  • Airflow - человек должен понимать что это за инструмент и уметь использовать его.
  • Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
  • Опыт работы с PostgreSQL.
  • Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
  • Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
  • Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
  • Debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
  • Знание/понимание Инмона, Кимбела, DataVault, Anchor modeling и других моделей данных - преимущество, но не обязательно.

Условия работы

  • Трудоустройство в соответствии с ТК РФ.
  • ДМС с первого рабочего дня.