Data Engineer

Местоположение и тип занятости

СочиПолный рабочий деньМожно удаленно

Компания

Делаем жизнь 36 миллионов клиентов проще и удобнее каждый день

Описание вакансии

Условия работы

Мы ищем разработчика для развития ETL-инструмента Apache NiFi. Инструмент предназначен для быстрой разработки ETL потоков доставляющих данные из разных источников в разных форматах, и приводящих данные в удобный для обработки и хранения вид.

Наша инфраструктура:

  • Разнообразные источники данных Файлы, СУБД, Сервисы, очереди сообщений
  • Основные получатели данных Greenplum / Hadoop / Clickhouse / Kafka
  • Apache NiFi в собственном сборке
  • Java (openJDK 11) для кастомизации NiFi
  • Gitlab для автоматизации процессов сборки
  • Python 3 для создания дополнительных средств упрощающих процесс разработки нашим коллегам разработчикам

Наш технологический стек постоянно растет и развивается.

Что тебе необходимо:

  • Высшее техническое образование
  • Опыт работы с базами данных в качестве разработчика от 1 года
  • Знание SQL
  • Знание Python
  • Знание паттернов проектирования
  • Понимание теории СУБД и ETL-процессов
  • Будет плюсом знакомство с
  1. Apache NiFi
  2. Apache Kafka
  3. Hadoop стеком
  4. Greenplum
  • Будет плюсом опыт написания кода на Java

Чем предстоит заниматься:

  • Создавать новые процессоры для Apache NiFi
  • Кастомизировать ядро Apache NiFi для достижения максимальной эффективности от использования инструмента
  • Создавать инструменты упрощающие разработку на базе Apache NiFi (Портал автоматизации разработки/ Вспомогательные библиотеки для Groovy/ Скрипты автоматизации релизов)
  • Оптимизировать потоки Apache NiFi
  • Помогать разработчикам ETL более глубоко понимать принципы работы
  • Создавать потоки на Apache NiFi
  • Исследовать возможности эффективного взаимодействия с источниками данных

Мы предлагаем:

  • Профессиональное развитие: проводим митапы, тренинги и мастер-классы, огромная tech-библиотека в твоем распоряжении
  • Компенсацию обедов или такси
  • Заботу о здоровье: полис ДМС и страховка от несчастных случаев для тебя и льготные условия страхования для близких
  • Компенсацию затрат на спорт: возвращаем 50% от стоимости абонемента
  • Гибкий рабочий график с началом работы с 8:00 до 11:00
  • Достойную твоего профессионального уровня зарплату, размер обсудим на собеседовании