Python-разработчик (команда DWH)

Тебе предстоит заниматься разработкой аналитической платформы.
Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать быстрее и успешнее.
У нас используется стек Hadoop/Kafka/PySpark/Clickhouse. Для аналитики используются данные размером десятки петабайт. Предстоит работать с настоящей BigData.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.

Задачи:

• разработка DWH платформы;
• проектирование схем для хранения данных;
• автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т.д.);
• автоматизация data-pipelines, ETL-процессов;
• автоматизация построения витрин данных;
• организация CI/CD и мониторинга процессов обработки данных;
• готовность разбираться в чужом коде;
• ревью кода в команде.

• опыт разработки на Python;
• опыт DWH разработки;
• понимание принципов работы классических СУБД;
• работа с Linux Bash.

Будет плюсом:

• знакомство и опыт работы с экосистемой Hadoop;
• опыт работы с MPP базами;
• опыт организации ETL-процессов обработки данных.

Работа в VK— это:

• возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей;
• амбициозные задачи, масштабные проекты и возможности для профессионального роста;
• совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время;
• работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом;
• программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников;
• компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день;
• компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге;
• 16 корпоративных команд по 12 видам спорта.

Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.​​​​​