Data Engineer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Мы создаем не просто аналитическое хранилище (Data Lake), а продвинутое – по принципам Data Mesh. Все данные мы описываем каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним как к продукту.
Для этого надо, чтобы в каждом подразделении были люди с навыками data engineer, погруженные в предметную область. Мы очень к этому стремимся и активно набираем людей.
Одно из требований к сотрудникам компании - постоянное развитие. Начальный уровень может быть и Junior, но в процессе работы он должен расти, чему мы активно способствуем. Наши сотрудники проходят периодическую оценку знаний и навыков, по итогам которой определяется их текущий уровень.
Ссылка на интервью Михаила Благова (руководителя чаптера дата инженеров) https://www.youtube.com/watch?v=ZwNgIZHTOcQ
Задачи:
- анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
- поиск и исследование источников данных для последующей интеграции;
- оценка пригодности, качества исходных данных;
- разработка ETL процессов на Spark;
- оркестрация ETL процессов в Airflow;
- проектирование баз данных;
- создание конвейеров данных NiFi.
Для этого надо, чтобы в каждом подразделении были люди с навыками data engineer, погруженные в предметную область. Мы очень к этому стремимся и активно набираем людей.
Одно из требований к сотрудникам компании - постоянное развитие. Начальный уровень может быть и Junior, но в процессе работы он должен расти, чему мы активно способствуем. Наши сотрудники проходят периодическую оценку знаний и навыков, по итогам которой определяется их текущий уровень.
Ссылка на интервью Михаила Благова (руководителя чаптера дата инженеров) https://www.youtube.com/watch?v=ZwNgIZHTOcQ
Задачи:
- анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
- поиск и исследование источников данных для последующей интеграции;
- оценка пригодности, качества исходных данных;
- разработка ETL процессов на Spark;
- оркестрация ETL процессов в Airflow;
- проектирование баз данных;
- создание конвейеров данных NiFi.
В своей работе DE используют следующий стек технологий:
- экосистема Hadoop – HDFS, YARN, Hive, HBase;
- ETL-процессы – Spark (Scala);
- потоковая обработка – NiFi, Flink;
- брокер сообщений – Kafka;
- оркестрация ETL процессов – Airflow;
- СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server;
- CI/CD – GitLab.
Ожидания от кандидата
- опыт разработки на Spark, Scala от 2 лет;
- знание стека: Hadoop, Airflow, PostgreSQL, Kafka
Условия работы
Мы предлагаем:
- сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться;
- обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах и публикуемся на Хабр и т.д.;
- конструктивную и открытую рабочую атмосферу;
- полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
- корпоративные скидки на фитнес, обучение, путешествия и т.п.;
- служебную сотовую связь;
- трудоустройство в аккредитованную ИТ-компанию.