👀 Бизнес-аналитик, зовем на Публичное собеседование на Хабр Карьере! Для участия нужно → оставить заявку

Ведущий инженер больших данных / Senior Data engineer

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Бизнес-интеграция и разработка программных решений для бизнеса

Описание вакансии

О компании и команде

BIA-Technologies – бизнес-интегратор и разработчик инновационных программных решений. 
Более 10 лет мы создаём IT-продукты и оптимизируем процессы для повышения эффективности бизнеса своих заказчиков.
В связи с расширением задач по data-lake направлению - мы ищем Ведущего инженера больших данных с уверенными знаниями и опытом применения Hadoop-технологий и сопутствующего стека, включая инструменты на базе Python.

Чем предстоит заниматься:

  • Развитие озера данных на базе Hadoop: проектирование озера данных, написание пайплайнов для подключения новых источников, написание интеграционных механизмов, в том числе для передачи данных в DWH, реализация механизмов параллельной обработки данных на базе Hadoop.

Ожидания от кандидата

Что важно:

  • Значительный (от 3 лет) опыт работы с Hadoop и его экосистемой Hive, Spark, Kafka, Airflow и т.д;
  • Хорошее знание SQL;
  • Уверенный опыт программирования на Python;
  • Отличное понимание процессов ETL/ELT и как их применять;
  • Понимание принципов CI/CD;
  • Широкий кругозор в технологиях хранения, обработки и анализа данных (СУБД, ETL-инструменты, BI-решения и т.д.)

Будет плюсом:

  • Опыт в администрировании Linux;
  • Опыт работы с RDBMS: MSSQL Server и/или PostgreSQL;
  • Опыт работы с Docker, Kubernetes;
  • Опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы.

Условия работы

Мы предлагаем:

  • Достойный уровень заработной платы, официальное оформление в аккредитованной ИТ компании, социальные гарантии;
  • Комфортные условия: гибкий график, удаленный (в пределах РФ) или гибридный формат работы;
  • ДМС со стоматологией + Программа «Кафетерий льгот»: сотрудники за счет компании могут компенсировать расходы на страхование, обучение, спорт, спортивный инвентарь;
  • Развитие и обучение: ежегодный performance review, внутреннее и внешнее обучение.