Big Data (Hadoop) developer

22 апреля 2022

Требования

Бэкенд разработчик, Средний (Middle) • Java • Scala • Apache Spark • Mapreduce • Apache Kafka • RabbitMQ • Большие данные

Местоположение и тип занятости

• Полный рабочий день • Можно удаленно

Компания

IT_One

Стратегический партнер по цифровизации российского бизнеса и государственных органов

Описание вакансии

Условия работы

Компания IT_One расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.

Стек
Streaming: Kafka, Spark Streaming, Flink
Batch: Flink, Spark (DF, Scala), Hive, HDFS
DataLake c выделенными слоями STG, ODS и DDS
Автоматизированная генерация рутинного кода SQL
Оркестрация на Oozie (в планах airflow) + Kubernetes
Базы данных: Vertica, Cassandra, ClickHouse, KSQL DB

Команда
Состав подгруппы разработки: 8 разработчиков, 6 из них - Senior Data Engineer + Scala
Отдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженер
Команда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CD

Методология разработки ПО
Scrum для разработки
Kanban для поддержки 3й линии

Обязанности:

• Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг
• Рефакторинг, оптимизация кода, code coverage
• Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake
• Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS
• Прототипирование и оценка новых open source frameworks и in house solutions

Необходимые навыки:

•Хорошие знания одного из языков Java, Scala
•Опыт работы с обработкой данных (Spark, Hive или MapReduce)
•Опыт работы и хорошие знания SQL
•Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)

Желательные навыки:

•Опыт разработки Big Data пайплайнов на Spark Streaming (стриминговых и батчевых)
•Опыт разработки высоконагруженных хранилищ данных Data Lake
•Опыт разработки флоу на Oozie + Hue, AirFlow
•Инжестинг и обработка данных в реальном времени с Apache Kafka, Apache Flink
•Ведение коммуникации с заказчиком и готовность обосновать технические решения