Team Lead Data Engineer в СберМаркет

СберМаркет — это высоконагруженный маркетплейс. В компании работают более 600 мобильных и веб-разработчиков, DevOps, SecOps, QA-специалистов, аналитиков, продакт-менеджеров.

С нами ты будешь влиять на продукт, пробовать новое и задавать тренды. Масштабируй знания, профессиональные навыки и вместе с этим масштабируй компанию. А мы обеспечим тебе лучшие условия (сильное Tech-комьюнити, отличную зарплату, гибкий соцпакет, well-being программы).

И сейчас мы в поисках тимлида в команду хранилища данных и инструментов для их анализа.

Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов. У нас есть как задачи классического DWH, так и задачи развитие DataLake и потоковой обработки данных, так что применить свои знания и умения можно практически в любом направлении обработки данных на уровне всей компании.

Чем предстоит заниматься:

• принимать участие в стратегических и тактических инициативах руководящей команды.
• декомпозировать бизнес-требования на задачи, распределять их в команде и контролировать выполнение.
• Загружать данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH и Datalake.
• Реализовать PoC (MVP) с использованием новых инструментов и технологий. Оптимизировать процессы хранения и обработки данных с использованием облачные технологии и подходов.
• Осуществить миграцию текущей облачной инфраструктуры на собственную инфраструктуру (вплоть до bare metal).

Стек:

SQL, PostgreSQL (можно Oracle), Greenplum.

Мы ждем, что у тебя есть:

• опыт в проектировании и разработке DWH (у нас DataVault на Greenplum).
• глубокое понимание организации процессов обмена информацией.
• уверенное владение spark стеком. Мы пишем на Scala. Есть как batch, так и streaming. Необходимы знания оптимизаций.
• опыт работы с Apache Kafka.
• опыт с Apache Airflow.
• опыт работы с Clickhouse.
• опыт работы с реляционными СУБД (у нас Mysql и Postgres).

Что требуется дополнительно:

• проработка целевой архитектуры потоков данных на уровне компании.
• управление командой от 10 человек.
• навыки организации сбора требований и управления ожиданиями.
• коммуникация с основными стейкхолдерами, планирование и реализация внутренних проектов.

Что интересного у нас есть?

• можешь выбрать свой соцпакет — ДМС, спорт, промокоды на заказ продуктов или билеты в отпуск;
• работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
• предоставляем технику для работы на твой выбор;
• помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
• мы уделяем большое внимание обучению и развитию сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций.

А еще:

• мы сами участвуем в конференциях, как спикеры;
• проводим внутренние митапы и дискуссионные клубы;
• не боимся экспериментировать с новыми решениями и технологиями;
• заботимся о сотрудниках, в компании есть специалист по здоровью на случай, если заболел ты или кто-то из родных. Психолог для разговоров по душам и команда счастья для неформальных мероприятий и внерабочих активностей :)