Team Lead Data Engineer в СберМаркет

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Мы tech-команда, которая создает сервис доставки из магазинов и ресторанов (ex СберМаркет) и делает это с любовью

Описание вакансии

Условия работы

СберМаркет — это высоконагруженный маркетплейс. В компании работают более 600 мобильных и веб-разработчиков, DevOps, SecOps, QA-специалистов, аналитиков, продакт-менеджеров.

С нами ты будешь влиять на продукт, пробовать новое и задавать тренды. Масштабируй знания, профессиональные навыки и вместе с этим масштабируй компанию. А мы обеспечим тебе лучшие условия (сильное Tech-комьюнити, отличную зарплату, гибкий соцпакет, well-being программы).

И сейчас мы в поисках тимлида в команду хранилища данных и инструментов для их анализа.

Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов. У нас есть как задачи классического DWH, так и задачи развитие DataLake и потоковой обработки данных, так что применить свои знания и умения можно практически в любом направлении обработки данных на уровне всей компании.

Чем предстоит заниматься:

  • принимать участие в стратегических и тактических инициативах руководящей команды.
  • декомпозировать бизнес-требования на задачи, распределять их в команде и контролировать выполнение.
  • Загружать данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH и Datalake.
  • Реализовать PoC (MVP) с использованием новых инструментов и технологий. Оптимизировать процессы хранения и обработки данных с использованием облачные технологии и подходов.
  • Осуществить миграцию текущей облачной инфраструктуры на собственную инфраструктуру (вплоть до bare metal).

Стек:

SQL, PostgreSQL (можно Oracle), Greenplum.

Мы ждем, что у тебя есть:

  • опыт в проектировании и разработке DWH (у нас DataVault на Greenplum).
  • глубокое понимание организации процессов обмена информацией.
  • уверенное владение spark стеком. Мы пишем на Scala. Есть как batch, так и streaming. Необходимы знания оптимизаций.
  • опыт работы с Apache Kafka.
  • опыт с Apache Airflow.
  • опыт работы с Clickhouse.
  • опыт работы с реляционными СУБД (у нас Mysql и Postgres).

Что требуется дополнительно:

  • проработка целевой архитектуры потоков данных на уровне компании.
  • управление командой от 10 человек.
  • навыки организации сбора требований и управления ожиданиями.
  • коммуникация с основными стейкхолдерами, планирование и реализация внутренних проектов.

Бонусы

Что интересного у нас есть?

  • можешь выбрать свой соцпакет — ДМС, спорт, промокоды на заказ продуктов или билеты в отпуск;
  • работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
  • предоставляем технику для работы на твой выбор;
  • помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
  • мы уделяем большое внимание обучению и развитию сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций.

А еще:

  • мы сами участвуем в конференциях, как спикеры;
  • проводим внутренние митапы и дискуссионные клубы;
  • не боимся экспериментировать с новыми решениями и технологиями;
  • заботимся о сотрудниках, в компании есть специалист по здоровью на случай, если заболел ты или кто-то из родных. Психолог для разговоров по душам и команда счастья для неформальных мероприятий и внерабочих активностей :)