Инженер данных (Data Engineer)

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Место встречи лучших

Описание вакансии

Задачи:

  • участие совместно с командой data scientist в процессе построения рекомендации для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных для модели;
  • повышение надежности и отказоустойчивости ETL-процессов;
  • написание новых ETL-процессов;
  • участие в поддержке и улучшении инфраструктуры для построения рекомендаций;
  • участие в разработке продакшн-кода в части загрузки и обработки данных.

Требования:

  • понимание принципов работы Hadoop, опыт работы с BigData, знание Hive и Spark;
  • опыт в разработке ETL-процессов;
  • уверенное знание SQL на уровне написания сложных запросов;
  • умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
  • опыт разработки на Python с применением концепций ООП;
  • Linux, Bash.

Будет плюсом:

  • опыт работы с Airflow, Docker, CI;
  • глубокое понимание Hadoop;
  • знание классических алгоритмов и структур данных;
  • опыт работы с BI-системами;
  • понимание принципов работы машинного обучения.

Бонусы

Условия работа:

  • проекты большого масштаба;
  • сложные и интересные задачи;
  • оформление по ТК РФ, оплачиваемый отпуск, 100-процентная оплата больничного, медицинское страхование, удобный рабочий график;
  • система бонусов и ежегодных аттестаций;
  • обучение от компании, семинары и лекции, библиотека;
  • помощь при переезде для кандидатов из других городов.