Big Data Engineer

Еаптека – сервис для покупки лекарств и товаров для здоровья. Мы меняем индустрию, чтобы сделать здоровье доступным для всех. Компания расширяет отдел «Управление данными» и сейчас в поиске cильных Data Engineers.

⚙️ Стек: Scala, Hadoop, Spark / PySpark, Kafka, Airflow, Docker, SQL

Что надо будет делать?
— участвовать в разработке и проектировании потоков данных, алгоритмов загрузки и обработки данных в Hadoop в cтриминговом и батчевом режиме на базе Apache Spark;
— оптимизировать производительность ETL-процессов;
— настраивать CI/CD процесс вместе с DevOps;
— участвовать в разработке продуктов моделей ML совместно с DS.

 Для нас важно:

— опыт разработки на Scala или Python (уровень: middle, senior);
— опыт разработки на Spark и Spark Structured Streaming;
— опыт работы с Hadoop (уверенное знание);
— опыт работы с облачными платформами;
— опыт работы с Kafka (уверенное использование);
— docker, docker-compose, (k8 будет плюсом);
— опыт работы с Airflow;
— опыт работы с S3 (будет плюсом);
— Linux, Bash;
— Git;
— СI/CD;
— SQL;
— проактивность и желание развиваться.

— официальное трудоустройство, белая зп;

— работа в аккредитованной ИТ компании;

— гибридный/удаленный формат работы по России;

— ДМС со стоматологией в лучших клиниках города;

— возможность развития в крупной компании;

— современная техника на выбор;

— опыт работы в команде профессионалов.