Разработчик BigData

Если говорить коротко, ГК Иннотех занимается цифровизацией банковской отрасли. Мы хоть и молодая группа компаний, но нас уже 4000+ сотрудников. Ближе познакомиться с нами можно на странице компании и на нашем карьерном сайте.

Мы ищем Разработчика в команду Batch.

Команда Batch занимается загрузкой данных по клиентам из источников в целевые таблицы Хранилища быстрых витрин, в целях дальнейшего обогащения из внешних источников и применения к ним математических моделей в рамках задач Платформы исполнения моделей. Работа ведётся в batch режиме, т.е. в режиме пакетной обработки данных.

Стек проекта: Hadoop, AirFlow, Oracle Big Data Appliance, Kafka, Spark, Витрины, Хранилище быстрых витрин.
Стек на этой должности: Hadoop, ETL, Python/Scala/Spark /контейнеры, Openshift

Описание задач:

• реализация интеграций в гетерогенной среде с помощью Python/Spark
• ETL
• Применение моделей в Openshift
• Работа с Airflow, написание кастомных операторов, формирование дагов
• Контейнеризация процессов загрузки/выгрузки данных
• Оптимизация существующего кода
• Развертывание, поддержка, внедрение DevOps инструментов
• Разработка и поддержка платформы исполнения моделей

Мы ждём от кандидата:

• Опыт реализации интеграции в гетерогенных средах
• Понимание и опыт работы со средствами экосистемы технологий Hadoop
• Знание Python/Scala (Spark)
• Знание Apache Airflow, Apache Kafka, Docker
• Опыт решения ETL/data engineering задач
• Опыт развертывания Linux серверов/контейнеров, скриптовых языков (Bash)
• Опыт разработки микросервисов для внутренних инфраструктурных задач
• Базовые знания работы Kerberos

Приветствуется:

• Знание Java
• Опыт работы с REST сервисами
• Опыт работы с Kafka, ELK
• Опыт работы с Grafana, разработка мониторинга на Grafana
• Опыт построения Devops-инфраструктуры:
• знание и опыт администрирования Linux-систем
• опыт работы с Openshift\Kubernetes
• понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО
• Опыт построения фреймворков с нуля

• возможна удалёнка, но находиться надо на территории РФ,
• офис в Москве
• 8-часовой рабочий день с гибким началом дня,
• белая конкурентная заработная плата,
• пакет льгот для сотрудников от наших партнеров: ДМС, льготное кредитование и страхование,
• даем все, что нужно для успешной работы: хорошая техника, корпоративная сим-карта,
• и всё, что нужно для развития: оплата внешнего обучения, внутренняя Цифровая академия, библиотека в мобильном приложении.