Data Platform Engineer в Одноклассники

Требуемые навыки

БэкендСредний (Middle) · Java · Scala · Hadoop · Spark · Kafka · ClickHouse

Местоположение и тип занятости

Санкт-Петербург · Полный рабочий день

Компания

Мы ждем людей, которые хотят воплощать и развивать масштабные проекты

Описание вакансии

Наша платформа работы с данными построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу внедряя новые решения и дорабатывая существующие.

Особенности:

  • big data: 4 hdfs кластера общим объемом ~50PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все сервера расположены в 5 разных дата центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow
  • lang: java, scala, python, bash.

Задачи:

  • развитие платформы хранения и обработки больших данных;
  • внедрение новых инструментов для анализа данных / машинного обучения;
  • разработка сервисов облегчающих работу data-science-специалистов;
  • решение различных задач связанных с производительностью и отказоустойчивостью big-data-инфраструктуры;
  • создание новых и поддержка рабочих пайплайнов - MapReduce, Spark, Samza;
  • взаимодействие с командами DataScience и SRE;
  • написание новой и дополнение уже имеющейся документации.

Требования:

  • готовность к самостоятельному обучению и постоянному развитию;
  • понимание принципов работы локальных сетей и основных сетевых сервисов;
  • знания принципов работы баз данных и распределенных систем хранения и обработки данных;
  • знание Bash/Python для автоматизации процессов и Java/Scala для поддержки ETL и внедрения новых сервисов;
  • опыт администрирования GNU/Linux, сборки пакетов и понимание принципов заложенных в Kerberos/SSL;
  • опыт работы с системами мониторинга и инструментами для сбора метрик;
  • опыт работы с со свежими версиями продуктов фонда Apache: Hadoop, Kafka, Spark, Zeppelin, Airflow, Zookeeper.

Бонусы

  • сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
  • оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий;
  • команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • социальный пакет (питание, спорт, ДМС, английский язык);
  • комфортный офис с парковкой, душем и зонами отдыха в паре минут от м. «Площадь Александра Невского»;
  • дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
  • корпоративные мероприятия и Team Building Events в России и за рубежом.

Ваш отклик

Авторизуйтесь
Откликаться на вакансии могут только зарегистрированные пользователи.