Senior Release Engineer

Мы занимается созданием big data платформы для крупнейшей логистической компании России. Платформа построена на open source технологиях, и с помощью таких open source технологий как Kafka, Flink, Spark Streaming, Spark, Hive, ClickHouse позволяет обрабатывать от 200 до 400 млн. событий в сутки.
Платформа активно развивается - растущий поток данных и новые бизнес задачи требуют исследования и внедрения новых фреймворков и технологий, поэтому мы ищем новых специалистов в команду.

Технологический стек:
У нас есть стриминговые и батчевые расчеты с классическим data lake.
На стриминговых расчетах используется: Kafka, Spark Streaming, Flink, Kafka Streams(в перспективе).
На батче: Flink, Spark (DF, Scala), ClickHouse, Vertica
Коммитим код в Gitlab, собираем с помощью Maven.
Обязательное покрытие тестами и ревью кода в Upsource.
Автоматизировано создание рутинного кода по выделению слоев STG, ODS и DDS.
Оркестрация на Oozie (в планах airflow).
Процесс CI/CD выстроен с помощью Team City, релиз-инженеров и команды девопсовбыстро масштабировать data-driven решения и продукты. Мы используем: Java 8, Scala 10/11, SQL. Big Data stack: Hadoop, Hive, Spark, Spark Streaming, Sqoop, Oozie, Kafka, Flume. DBs: PostgreSQL, Cassandra, ClickHouse, Vertica. BI: Pentaho. Data Analysis: Spark Ml.

Чем предстоит заниматься:
• Сбор и актуализация информации о статусе релиза и его артефактах;
• Ревью подробного плана релиза, анализ влияния на другие сервисы и стратегии восстановления;
• Участие в деплое релиза;
• Планирование ресурсов на релиз;
• Поддержка и развитие инструментов для автоматизации процесса релизов;
• Подготовка периодических отчетов, презентаций о статусе релизов, отклонениях и проблемах.

Необходимые навыки и требования:
• Опыт коллективной разработки OSS ПО (Java/Scala/Python, Maven, Git)
• Уверенное владение SQL и shell (написание и отладка сценариев sh/ksh/bash/zsh);
• Опыт использования непрерывной доставки релизов (CI/CD Jenkins/TeamCity/CircleCI/GitLab/etc);
• Опыт управления оркестратором потоков работ (Oozie/Airflow/Azkaban/Conductor/Argo/Brigade/Cadence/Cylc/Dagster/Nextflow);
• Опыт работы с документами SRS (Software Requirements Specification) для сверки релизной активности с требованиями.

Желательные навыки и требования:
• Преимущества будут иметь кандидаты, знакомые с технологическим стеком HortonWorks, имеющие опыт релизной активности в data-driven архитектурах (лямбда, каппа), с опытом удаленной работы в data-driven проектах и полным высшим профильным образованием по информатике (магистр: Computer science / IT / System Engineering);
• idef, erd - для понимания реляционных моделей данных.

Что мы предлагаем:

• Оформление по ТК РФ, оплачиваемые больничные листы;

• Работа в комфортных современных офисах в локациях нашего присутствия или в частично/полностью удаленном формате;

• Спортивные и корпоративные мероприятия;

• Программа обучения и сертификация, доступ к электронной библиотеке;

• Внутренние профессиональные сообщества и митапы для обмена опытом;

• Добровольное медицинское страхование (в том числе полис ВЗР, возможность страхования жизни и др.).