Team Lead Data Engineer в СберМаркет
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
СберМаркет — это высоконагруженный маркетплейс. В компании работают более 600 мобильных и веб-разработчиков, DevOps, SecOps, QA-специалистов, аналитиков, продакт-менеджеров.
С нами ты будешь влиять на продукт, пробовать новое и задавать тренды. Масштабируй знания, профессиональные навыки и вместе с этим масштабируй компанию. А мы обеспечим тебе лучшие условия (сильное Tech-комьюнити, отличную зарплату, гибкий соцпакет, well-being программы).
И сейчас мы в поисках тимлида в команду хранилища данных и инструментов для их анализа.
Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов. У нас есть как задачи классического DWH, так и задачи развитие DataLake и потоковой обработки данных, так что применить свои знания и умения можно практически в любом направлении обработки данных на уровне всей компании.
Чем предстоит заниматься:
- принимать участие в стратегических и тактических инициативах руководящей команды.
- декомпозировать бизнес-требования на задачи, распределять их в команде и контролировать выполнение.
- Загружать данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH и Datalake.
- Реализовать PoC (MVP) с использованием новых инструментов и технологий. Оптимизировать процессы хранения и обработки данных с использованием облачные технологии и подходов.
- Осуществить миграцию текущей облачной инфраструктуры на собственную инфраструктуру (вплоть до bare metal).
Стек:
SQL, PostgreSQL (можно Oracle), Greenplum.
Мы ждем, что у тебя есть:
- опыт в проектировании и разработке DWH (у нас DataVault на Greenplum).
- глубокое понимание организации процессов обмена информацией.
- уверенное владение spark стеком. Мы пишем на Scala. Есть как batch, так и streaming. Необходимы знания оптимизаций.
- опыт работы с Apache Kafka.
- опыт с Apache Airflow.
- опыт работы с Clickhouse.
- опыт работы с реляционными СУБД (у нас Mysql и Postgres).
Что требуется дополнительно:
- проработка целевой архитектуры потоков данных на уровне компании.
- управление командой от 10 человек.
- навыки организации сбора требований и управления ожиданиями.
- коммуникация с основными стейкхолдерами, планирование и реализация внутренних проектов.
Бонусы
Что интересного у нас есть?
- можешь выбрать свой соцпакет — ДМС, спорт, промокоды на заказ продуктов или билеты в отпуск;
- работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
- предоставляем технику для работы на твой выбор;
- помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
- мы уделяем большое внимание обучению и развитию сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций.
А еще:
- мы сами участвуем в конференциях, как спикеры;
- проводим внутренние митапы и дискуссионные клубы;
- не боимся экспериментировать с новыми решениями и технологиями;
- заботимся о сотрудниках, в компании есть специалист по здоровью на случай, если заболел ты или кто-то из родных. Психолог для разговоров по душам и команда счастья для неформальных мероприятий и внерабочих активностей :)