DataOps engineer

Одноклассники — это крупнейшая развлекательная социальная сеть в России. Место, где можно всегда оставаться на связи со своими друзьями и близкими, выкладывать и редактировать фотографии, слушать любимую музыку, смотреть самые популярные видео, сериалы и фильмы, дарить эмоции друзьям и близким при помощи разных подарков, играть в самые интересные игры, находить группы известных компаний и брендов и многое-многое другое!

Миллионы пользователей онлайн в час пик, свыше 10 000 серверов и устройств хранения, сотни петабайт данных — это наша повседневная реальность и рабочая среда.

Наша платформа работы с данными построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок.

О нас:

• high load: обслуживаем десятки тысяч серверов;
• high available: все сервера расположены в 7 разных дата центрах;
• не enterprise: разрабатываем решения, которые сами же и используем;
• stack: hadoop, kafka, spark, grafana, clickhouse, airflow, one-cloud;
• lang: java, scala, python, bash.

Особенности:

• большие инсталляции кластеров(hadoop -- 200 PB, clickhouse -- 1 PB, kafka -- 2PB), развернутые в нескольких ДЦ;
• вычислительный кластер(YARN) на 200+ TB ram, 60k cores и десятки тысяч задач в день(преимущественно spark);
• все сервисы(stateless, stateful) разворачиваются во внутреннем инфраструктурном контейнерном облаке

Вам предстоит:

• развивать и сопровождать кластера Hadoop, Kafka, Clickhouse и тд;
• обеспечивать отказоустойчивость инфраструктуры и сервисов;
• автоматизировать рутинные задачи, разрабатывать и развивать решения “as a Service”;
• расследовать инциденты и устранять их последствия.

Мы ожидаем:

• опыт развертывания и эксплуатации Hadoop/Kafka/Clickhouse;
• понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем;
• опыт администрирования Linux серверов;
• опыт работы с оркестрацией;
• знание базовых алгоритмов и структур данных;
• уверенные навыки программирования на Python и хотя бы в одном статически типизированном языке.

Будет плюсом:

• продвинутые навыки программирования на java/scala;
• понимание концепции хранилищ данных и ETL-процессов.

Условия:

• сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
• оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий;
• команда: с нами работают професcионалы экстра класса, каждый из которых может поделиться своей экспертизой;
• профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
• новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
• офис в 5 минутах от метро, крытый паркинг для сотрудников, велопарковка;
• возможность работать в гибридном формате (как удаленно, так и из офиса);
• спорт: компания компенсирует затраты на спортивные активности — занятия в фитнес-клубе, индивидуальные тренировки, участия в соревнованиях;
• компенсация питания;
• регулярно пересматриваемая зарплата, годовые бонусы, социальный пакет с первого дня: ДМС(в т. ч. на детей до 18 лет), английский язык.