Data Engineer (команда RnD)

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Мы tech-команда, которая создает сервис доставки из магазинов и ресторанов (ex СберМаркет) и делает это с любовью

Описание вакансии

О компании и команде

СберМаркет — это онлайн-сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию, лидера рынка e-grocery. СберМаркет — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. СберМаркет Tech объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

В команде Data Engineering уже более 20 профессионалов 🌟

Мы создаем хранилища данных, а также инструменты для их анализа и использования в ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий работы с данными, разрабатывает стандарты.

 Чем будем заниматься

  • масштабировать существующее CDC-решение на базе Debezium и Spark Streaming;
  • участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
  • внедрять near real-time аналитику на базе ksqldb и Clickhouse, обучать аналитиков работе с новым решением;
  • развивать практику использования Trino в компании;
  • разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).

Ожидания от кандидата

  • понимание принципов организации хранилищ данных, принципов работы колоночных БД;
  • уверенное знание SQL, Python;
  • готовность изучать Spark (Scala);
  • стремление обосновывать и документировать появляющиеся решения;
  • знакомство с MPP системами;
  • понимание принципов CI/CD, Kubernetes.

Будет плюсом, если ты

  • программировал на Scala / Java;
  • знаешь фреймворк Apache Spark, Apache Airflow;
  • умеешь оптимизировать вычисления в MPP системах;
  • работал с форматами iceberg, parquet, avro;
  • использовал Trino / Greenplum / ClickHouse;
  • знаком с Kafka Connect.

Условия работы

  • ДМС с первого месяца работы в компании;
  • дополнительные опции на выбор — спорт, английский, промокоды на заказ продуктов или билеты в отпуск;
  • удаленная работа. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
  • техника для работы;
  • интеллектуальное и физическое развитие (электронная библиотека, книжный клуб, футбол, мастер-классы в офисе);
  • knowledge base с курсами, книгами и записями конференций + выделенный бюджет на внешнее индивидуальное обучение.

А ещё

  • мы сами участвуем в конференциях, как спикеры;
  • проводим внутренние митапы и дискуссионные клубы;
  • не боимся экспериментировать с новыми решениями и технологиями;
  • заботимся о сотрудниках: в компании есть команда счастья и корпоративные психологи для разговоров по душам.