Разработчик Big Data

Компания Usetech была основана в 2006 году. За 16 лет мы успешно реализовали и внедрили сотни проектов по разработке ПО на заказ и зарекомендовали себя как надежного IT-партнера.

Среди наших клиентов крупнейшие ритейл-компании, финансовые организации, компании в сфере IT, телеком и блокчейн и т.д.

Проект - платформа исполнения моделей-Batch. Специализация Hadoop, ETL, Python/Scala/Spark/контейнеры, Openshift.

Обязанности:

- Реализация интеграций в гетерогенной среде с помощью Python/Spark/
- ETL.
- Работа с Airflow, написание кастомных операторов, формирование дагов.
- Оптимизация дагов.
- Оптимизация существующего кода.
- Базовые знания работы Kerberos.
- Разработка и поддержка платформы исполнения моделей.

Требования:

- Понимание и опыт работы со средствами экосистемы технологий Hadoop.
- Знание Python (Spark).
- Знание Apache Airflow.
- Знание Apache Kafka.
- Знание Docker.
- Опыт решения ETL/data engineering задач.

• Условия работы в соответствии с ТК РФ + социальный пакет (ДМС со стоматологией, оплата обучения и скидки у партнеров).
• Формат работы - удаленка, гибрид или офис.
• Мы проводим регулярные внутренние семинары, посвященные новым технологиям и самым актуальным темам в области разработки, аналитики и тестирования.
• Гибкий рабочий график с началом дня с 8:00 до 12:00.