Инженер по работе с данными

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Разработка, внедрение и обслуживание сложных программных решений мирового уровня

Описание вакансии

Условия работы

«Синимекс» — российский разработчик и системный интегратор с 23-летней историей компании.

Сейчас мы расширяем команду по анализу данных. Это подразделение занимается большими данными и машинным обучением.

Чем предстоит заниматься:

  • Созданием batch-процессов обработки данных;
  • Созданием витрин данных, трансформация и выгрузка данных из Hadoop хранилища в реляционную БД;
  • Оптимизацией запросов к данным;
  • Оркестровкой нескольких Spark-задач в единый процесс обработки данных.

Технологический стек:

  • Scala, Spark;
  • PostgreSQL;
  • Git;
  • Bash.

Что нужно знать и уметь:

  • Понимание принципов работы Apache Spark, умение применять основные техники оптимизации Spark Job’ов;
  • Понимание принципов работы реляционных БД, умение писать и оптимизировать сложные запросы;
  • Знание Scala Dataframe API;
  • Умение писать сложные join-ны, использовать when().otherwise() и оконные функции;
  • Понимание работы партицирования и области его применения;
  • Знание PostgreSQL, HDFS;
  • Навыки работы с SSH, умение работать в командной строке linux;
  • Умение работать с HDFS CLI.

Бонусы

Что мы предлагаем:

  • Белая зарплата, оплачиваемый отпуск и больничные листы;
  • Бессрочный трудовой договор;
  • ДМС со стоматологией (после года работы в компании);
  • Праздники, спортивные и кибер- турниры;
  • Комфортный офис в центре города (просторный, с обеденными зонами, кофе-поинт и комнатой отдыха);
  • Гибкое начало рабочего дня (с 09.00 до 11.00);
  • Внешнее и внутреннее обучение;
  • Свобода от дресс кода;
  • Возможность работать удаленно.