Big Data (Hadoop) developer

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Стратегический партнер по цифровизации российского бизнеса и государственных органов

Описание вакансии

Условия работы

Компания IT_One расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.

Стек

Streaming: Kafka, Spark Streaming, Flink
Batch: Flink, Spark (DF, Scala), Hive, HDFS
DataLake c выделенными слоями STG, ODS и DDS
Автоматизированная генерация рутинного кода SQL
Оркестрация на Oozie (в планах airflow) + Kubernetes
Базы данных: Vertica, Cassandra, ClickHouse, KSQL DB

Команда

Состав подгруппы разработки: 8 разработчиков, 6 из них - Senior Data Engineer + Scala
Отдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженер
Команда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CD

Методология разработки ПО

Scrum для разработки
Kanban для поддержки 3й линии

Обязанности:

• Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг
• Рефакторинг, оптимизация кода, code coverage
• Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake
• Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS
• Прототипирование и оценка новых open source frameworks и in house solutions

Необходимые навыки:

•Хорошие знания одного из языков Java, Scala
•Опыт работы с обработкой данных (Spark, Hive или MapReduce)
•Опыт работы и хорошие знания SQL
•Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)

Желательные навыки:

•Опыт разработки Big Data пайплайнов на Spark Streaming (стриминговых и батчевых)
•Опыт разработки высоконагруженных хранилищ данных Data Lake
•Опыт разработки флоу на Oozie + Hue, AirFlow
•Инжестинг и обработка данных в реальном времени с Apache Kafka, Apache Flink
•Ведение коммуникации с заказчиком и готовность обосновать технические решения

Бонусы

• Оформление по ТК РФ, оплачиваемые больничные листы

• Работа в комфортных современных офисах в локациях нашего присутствия или в частично/полностью удаленном формате

• Спортивные и корпоративные мероприятия

• Программа обучения и сертификация, доступ к электронной библиотеке

• Внутренние профессиональные сообщества и митапы для обмена опытом

• Добровольное медицинское страхование (в том числе полис ВЗР, возможность страхования жизни и др.)