Data Engineer
Требования
Местоположение и тип занятости
Компания
Делаем жизнь 40+ миллионов клиентов проще и удобнее каждый день
Описание вакансии
Условия работы
Мы ищем разработчика для развития ETL-инструмента Apache NiFi. Инструмент предназначен для быстрой разработки ETL потоков доставляющих данные из разных источников в разных форматах, и приводящих данные в удобный для обработки и хранения вид.
Наша инфраструктура
- Разнообразные источники данных Файлы, СУБД, Сервисы, очереди сообщений
- Основные получатели данных Greenplum / Hadoop / Clickhouse / Kafka
- Apache NiFi в собственном сборке
- Java (openJDK 11) для кастомизации NiFi
- Gitlab для автоматизации процессов сборки
- Python 3 для создания дополнительных средств упрощающих процесс разработки нашим коллегам разработчикам
Наш технологический стек постоянно растет и развивается.
Что тебе необходимо
- Высшее техническое образование
- Опыт работы с базами данных в качестве разработчика от 1 года
- Знание SQL
- Знание Python
- Знание паттернов проектирования
- Понимание теории СУБД и ETL-процессов
- Будет плюсом знакомство с
- Apache NiFi
- Apache Kafka
- Hadoop стеком
- Greenplum
- Будет плюсом опыт написания кода на Java
Чем предстоит заниматься
- Создавать новые процессоры для Apache NiFi
- Кастомизировать ядро Apache NiFi для достижения максимальной эффективности от использования инструмента
- Создавать инструменты упрощающие разработку на базе Apache NiFi (Портал автоматизации разработки/ Вспомогательные библиотеки для Groovy/ Скрипты автоматизации релизов)
- Оптимизировать потоки Apache NiFi
- Помогать разработчикам ETL более глубоко понимать принципы работы
- Создавать потоки на Apache NiFi
- Исследовать возможности эффективного взаимодействия с источниками данных
Мы предлагаем
- Профессиональное развитие: проводим митапы, тренинги и мастер-классы, огромная tech-библиотека в твоем распоряжении
- Компенсацию обедов или такси
- Заботу о здоровье: полис ДМС и страховка от несчастных случаев для тебя и льготные условия страхования для близких
- Компенсацию затрат на спорт: возвращаем 50% от стоимости абонемента
- Гибкий рабочий график с началом работы с 8:00 до 11:00
- Достойную твоего профессионального уровня зарплату, размер обсудим на собеседовании