Data Platform Engineer в Одноклассники

Наша платформа работы с данными построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу внедряя новые решения и дорабатывая существующие.

Особенности:

• big data: 4 hdfs кластера общим объемом ~50PB;
• high load: обслуживаем десятки тысяч серверов;
• high available: все сервера расположены в 5 разных дата центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow
• lang: java, scala, python, bash.

Задачи:

• развитие платформы хранения и обработки больших данных;
• внедрение новых инструментов для анализа данных / машинного обучения;
• разработка сервисов облегчающих работу data-science-специалистов;
• решение различных задач связанных с производительностью и отказоустойчивостью big-data-инфраструктуры;
• создание новых и поддержка рабочих пайплайнов - MapReduce, Spark, Samza;
• взаимодействие с командами DataScience и SRE;
• написание новой и дополнение уже имеющейся документации.

Требования:

• готовность к самостоятельному обучению и постоянному развитию;
• понимание принципов работы локальных сетей и основных сетевых сервисов;
• знания принципов работы баз данных и распределенных систем хранения и обработки данных;
• знание Bash/Python для автоматизации процессов и Java/Scala для поддержки ETL и внедрения новых сервисов;
• опыт администрирования GNU/Linux, сборки пакетов и понимание принципов заложенных в Kerberos/SSL;
• опыт работы с системами мониторинга и инструментами для сбора метрик;
• опыт работы с со свежими версиями продуктов фонда Apache: Hadoop, Kafka, Spark, Zeppelin, Airflow, Zookeeper.

• сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
• оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий;
• команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой;
• профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
• новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
• социальный пакет (питание, спорт, ДМС, английский язык);
• комфортный офис с парковкой, душем и зонами отдыха в паре минут от м. «Площадь Александра Невского»;
• дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
• корпоративные мероприятия и Team Building Events в России и за рубежом.