Инженер по работе с данными

«Синимекс» — российский разработчик и системный интегратор с 23-летней историей компании.

Сейчас мы расширяем команду по анализу данных. Это подразделение занимается большими данными и машинным обучением.

Чем предстоит заниматься:

• Созданием batch-процессов обработки данных;
• Созданием витрин данных, трансформация и выгрузка данных из Hadoop хранилища в реляционную БД;
• Оптимизацией запросов к данным;
• Оркестровкой нескольких Spark-задач в единый процесс обработки данных.

Технологический стек:

• Scala, Spark;
• PostgreSQL;
• Git;
• Bash.

Что нужно знать и уметь:

• Понимание принципов работы Apache Spark, умение применять основные техники оптимизации Spark Job’ов;
• Понимание принципов работы реляционных БД, умение писать и оптимизировать сложные запросы;
• Знание Scala Dataframe API;
• Умение писать сложные join-ны, использовать when().otherwise() и оконные функции;
• Понимание работы партицирования и области его применения;
• Знание PostgreSQL, HDFS;
• Навыки работы с SSH, умение работать в командной строке linux;
• Умение работать с HDFS CLI.

Что мы предлагаем:

• Белая зарплата, оплачиваемый отпуск и больничные листы;
• Бессрочный трудовой договор;
• ДМС со стоматологией (после года работы в компании);
• Праздники, спортивные и кибер- турниры;
• Комфортный офис в центре города (просторный, с обеденными зонами, кофе-поинт и комнатой отдыха);
• Гибкое начало рабочего дня (с 09.00 до 11.00);
• Внешнее и внутреннее обучение;
• Свобода от дресс кода;
• Возможность работать удаленно.