Data Engineer

Местоположение и тип занятости

Казань, Нижний Новгород, СамараПолный рабочий день

Компания

Российский телеком-оператор с 50 миллионами клиентов и 30 тысячами сотрудников

Описание вакансии

О компании и команде

Мы создаем не просто аналитическое хранилище (Data Lake), а продвинутое – по принципам Data Mesh. Все данные мы описываем каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним как к продукту.

Для этого надо, чтобы в каждом подразделении были люди с навыками data engineer, погруженные в предметную область. Мы очень к этому стремимся и активно набираем людей.

Одно из требований к сотрудникам компании - постоянное развитие. Начальный уровень может быть и Junior, но в процессе работы он должен расти, чему мы активно способствуем. Наши сотрудники проходят периодическую оценку знаний и навыков, по итогам которой определяется их текущий уровень.

Ссылка на интервью Михаила Благова (руководителя чаптера дата инженеров) https://www.youtube.com/watch?v=ZwNgIZHTOcQ

Задачи:

  • анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
  • поиск и исследование источников данных для последующей интеграции;
  • оценка пригодности, качества исходных данных;
  • разработка ETL процессов на Spark;
  • оркестрация ETL процессов в Airflow;
  • проектирование баз данных;
  • создание конвейеров данных NiFi.

Для этого надо, чтобы в каждом подразделении были люди с навыками data engineer, погруженные в предметную область. Мы очень к этому стремимся и активно набираем людей.

Одно из требований к сотрудникам компании - постоянное развитие. Начальный уровень может быть и Junior, но в процессе работы он должен расти, чему мы активно способствуем. Наши сотрудники проходят периодическую оценку знаний и навыков, по итогам которой определяется их текущий уровень.

Ссылка на интервью Михаила Благова (руководителя чаптера дата инженеров) https://www.youtube.com/watch?v=ZwNgIZHTOcQ

Задачи:

  • анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
  • поиск и исследование источников данных для последующей интеграции;
  • оценка пригодности, качества исходных данных;
  • разработка ETL процессов на Spark;
  • оркестрация ETL процессов в Airflow;
  • проектирование баз данных;
  • создание конвейеров данных NiFi.

В своей работе DE используют следующий стек технологий:

  • экосистема Hadoop – HDFS, YARN, Hive, HBase;
  • ETL-процессы – Spark (Scala);
  • потоковая обработка – NiFi, Flink;
  • брокер сообщений – Kafka;
  • оркестрация ETL процессов – Airflow;
  • СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server;
  • CI/CD – GitLab.

Ожидания от кандидата

  • опыт разработки на Spark, Scala от 2 лет;
  • знание стека: Hadoop, Airflow, PostgreSQL, Kafka

Условия работы

Мы предлагаем:

  • сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться;
  • обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах и публикуемся на Хабр и т.д.;
  • конструктивную и открытую рабочую атмосферу;
  • полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
  • корпоративные скидки на фитнес, обучение, путешествия и т.п.;
  • служебную сотовую связь;
  • трудоустройство в аккредитованную ИТ-компанию.