Big Data Platform Engineer (OK.RU)

Наша платформа работы с данными построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу внедряя новые решения и дорабатывая существующие.

Особенности:

• big data: 4 hdfs кластера общим объемом ~150PB;
• high load: обслуживаем десятки тысяч серверов;
• high available: все сервера расположены в 5 разных дата центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
• lang: java, scala, python, bash.

Задачи:

• развивать платформу хранения и обработки больших данных;
• предлагать, отстаивать и реализовывать архитектурные решения;
• оптимизировать и настраивать различные компоненты: hdfs, kafka, clickhouse, spark, zeppelin, etc;
• разрабатывать инструменты для хранения и обработки данных на java/scala/kotlin.

Мы ожидаем:

• хорошее знание java/scala;
• опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.

Условия:

• сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
• оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий;
• команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой;
• профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
• новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
• социальный пакет: спорт, ДМС(в т. ч. на детей до 18 лет), английский язык;
• комфортный офис с парковкой, душем и зонами отдыха в паре минут от м. «Площадь Александра Невского»;
• возможность работать в гибридном режиме (совмещение удаленки с работой в офисе совместно с командой);
• дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
• корпоративные мероприятия и Team Building Events в России и за рубежом.