Инженер данных (Data Engineer)
Требования
Местоположение и тип занятости
Компания
Место встречи лучших
Описание вакансии
Условия работы
Задачи:
- участие совместно с командой data scientist в процессе построения рекомендации для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных для модели;
- повышение надежности и отказоустойчивости ETL-процессов;
- написание новых ETL-процессов;
- участие в поддержке и улучшении инфраструктуры для построения рекомендаций;
- участие в разработке продакшн-кода в части загрузки и обработки данных.
Требования:
- понимание принципов работы Hadoop, опыт работы с BigData, знание Hive и Spark;
- опыт в разработке ETL-процессов;
- уверенное знание SQL на уровне написания сложных запросов;
- умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
- опыт разработки на Python с применением концепций ООП;
- Linux, Bash.
Будет плюсом:
- опыт работы с Airflow, Docker, CI;
- глубокое понимание Hadoop;
- знание классических алгоритмов и структур данных;
- опыт работы с BI-системами;
- понимание принципов работы машинного обучения.
Бонусы
Условия работа:
- проекты большого масштаба;
- сложные и интересные задачи;
- оформление по ТК РФ, оплачиваемый отпуск, 100-процентная оплата больничного, медицинское страхование, удобный рабочий график;
- система бонусов и ежегодных аттестаций;
- обучение от компании, семинары и лекции, библиотека;
- помощь при переезде для кандидатов из других городов.