Инженер данных (Data Engineer)

Задачи:

• участие совместно с командой data scientist в процессе построения рекомендации для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных для модели;
• повышение надежности и отказоустойчивости ETL-процессов;
• написание новых ETL-процессов;
• участие в поддержке и улучшении инфраструктуры для построения рекомендаций;
• участие в разработке продакшн-кода в части загрузки и обработки данных.

Требования:

• понимание принципов работы Hadoop, опыт работы с BigData, знание Hive и Spark;
• опыт в разработке ETL-процессов;
• уверенное знание SQL на уровне написания сложных запросов;
• умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
• опыт разработки на Python с применением концепций ООП;
• Linux, Bash.

Будет плюсом:

• опыт работы с Airflow, Docker, CI;
• глубокое понимание Hadoop;
• знание классических алгоритмов и структур данных;
• опыт работы с BI-системами;
• понимание принципов работы машинного обучения.

Условия работа:

• проекты большого масштаба;
• сложные и интересные задачи;
• оформление по ТК РФ, оплачиваемый отпуск, 100-процентная оплата больничного, медицинское страхование, удобный рабочий график;
• система бонусов и ежегодных аттестаций;
• обучение от компании, семинары и лекции, библиотека;
• помощь при переезде для кандидатов из других городов.