Senior Data Engineer в Одноклассники

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Senior Data Engineer. Основные задачи команды – это построение и оптимизация ETL-процессов на базе Hadoop-стека.

Мы ожидаем хорошее понимание принципов распределённых вычислений, опыт работы с данными и навыки самостоятельного ведения задач и проектов.

Конкретный опыт с теми или иными технологиями не сильно критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без четких ТЗ, плотно взаимодействуя с заказчиком.

Задачи:

• активное взаимодействия с продуктовыми командами для решения собственных задач;
• продвижение культуры работы с данными внутри команды и за её пределами;
• участие в определении направления развития data platform и ETL-фреймворка;
• построение новых и оптимизация существующих ETL-процессов, преимущественно на Spark + Java;
• Ad-hoc задачи по подготовке данных, их автоматизация;
• участие в доработках платформы и фреймворков для расчетов;
• анализ сырых данных, построение модели данных.

Требования:

• опыт самостоятельного ведения проектов, прямого общения с бизнесом;

• опыт продвижения своих идей, внедрения новых процессов работы с данными;
• уверенное понимание принципов и опыт работы с большими объемами данных и распределенными вычислениями;
• опыт работы или знакомство с Hadoop-стеком: в первую очередь, Spark + Java или Scala; знакомство с Kafka и Hive – будет плюсом;
• опыт построения сложных ETL-процессов;
• навыки разработки с применением концепций ООП;
• знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределенных систем.

Будет плюсом

• опыт продуктовой аналитики;
• знакомство с ML/DS, знание базовых идей и концепций;
• понимание основ теории вероятности/статистики.

• сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
• оборудование: мощное железо, десятки петабайтов данных, GPU-кластера и облачный инструментарий;
• команда: с нами работают професионалы экстра класса, каждый из которых может поделиться своей экспертизой;
• профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
• новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
• офис в 5 минутах от метро, крытый паркинг для сотрудников, велопарковка;
• здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; тренажерный и спортивный зал в офисе.