DWH-разработчик (департамент бизнес-процессов)

Требования

Бэкенд, Средний (Middle)ScalaApache SparkPythonDWH

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Место встречи лучших

Описание вакансии

Условия работы

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Задачи:

  • участие в роли DWH-инженера в развитии хранилища и сервисов по загрузке и обработке данных;
  • построение и оптимизация ETL-процессов обработки данных;
  • разработка сервисов для автоматизации и поддержки ETL-процессов;
  • налаживание системы мониторинга работы ETL;
  • подготовка и поддержка технической документации в актуальном состоянии.

Требования:

  • опыт работы с хранилищами данных — от 3 лет;
  • опыт программирования на Python — от 1 года;
  • опыт работы с Hadoop — от 1 года;
  • уверенное владение SQL на уровне написания сложных запросов;
  • понимание принципов построения DWH;
  • умение покрывать свой код тестами (unit-тесты / интеграционные тесты);
  • умение разбираться в сложных процессах преобразования данных;
  • владение Spark (Scala) / PySpark на уровне решения дата-инженерных задач;
  • английский на уровне intermediate (чтение технической документации; часть переписки на английском; устная коммуникация не требуется).

Будет плюсом:

  • опыт работы с Docker;
  • знание asyncio;
  • навыки работы с Airflow — будут существенным плюсом;
  • навыки работы с ClickHouse — будут существенным плюсом.

Работа в Mail.ru Group — это:

  • проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция — в каждом есть возможность делать жизнь миллионов людей лучше;
  • сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
  • оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты — все для решения масштабных задач и экспериментов;
  • команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом — прокат велосипедов, лонгбордов и самокатов;
  • здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.