Data Engineer

Неофлекс - ведущий поставщик программного обеспечения и профессиональных услуг в области информационных технологий.

Более 17 лет компания фокусируется на выполнении ИТ-проектов федерального масштаба в интересах крупнейших российских и зарубежных банков.

Мы ищем кандидата без привязки к локации.

Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА. Рассматриваем кандидатов из любых других городов России в том числе на удаленный формат работы.

Основные задачи:

• Реализация процессов обработки данных в гетерогенной среде с помощью Python/Spark;
• ETL;
• Работа с Airflow, написание кастомных операторов, формирование дагов;
• Оптимизация существующего кода.

Что используем:

• Spark/Scala API (spark streaming/batch);
• Pandas, Koalas, Pyarrow;
• Hadoop(HDFS, Yarn, Impala);
• Форматы хранения данных (parquet, AVRO, orc);
• Data Lake(Delta Lake, Iceberg).

Требования:

• Понимание и опыт работы со средствами экосистемы технологий Hadoop;
• Знание Python/Scala (Spark), Apache Airflow, Apache Kafka, Docker;
• Опыт решения ETL/data engineering задач;
• Опыт развертывания Linux серверов/ контейнеров, скриптовых языков (Bash).

Будет плюсом:

• Знание Java;
• Приветствуется опыт работы с REST сервисами;
• Опыт работы с Kafka, ELK;
• Опыт работы с Grafana, разработка мониторинга на Grafana;
• Знание и опыт администрирования Linux-систем;
• Опыт работы с Openshift\Kubernetes;
• Понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО;
• Опыт построения фреймворков с нуля.

Условия:

• Официальное трудоустройство по ТК РФ.
• График работы 5/2.
• Day off (4 дня в год).
• Амбициозные задачи и проекты.
• Работа в команде профессионалов в доброжелательной атмосфере.
• ДМС (с 3-го месяца работы, которое включает в себя стоматологию).
• Корпоративное обучение и развитие (портал обучения и развития удаленным доступом 24/7; собственный Центр развития компетенций).
• Насыщенная корпоративная жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия; мотивационные награждения.
• Социальная ответственность: адресная помощь детским домам; возможность сделать окружающую природу чище (являемся активными участниками экологического движения «Добрые крышечки»).