Data Engineer (команда RnD)

СберМаркет — это онлайн-сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию, лидера рынка e-grocery. СберМаркет — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. СберМаркет Tech объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

В команде Data Engineering уже более 20 профессионалов 🌟

Мы создаем хранилища данных, а также инструменты для их анализа и использования в ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий работы с данными, разрабатывает стандарты.

 Чем будем заниматься

• масштабировать существующее CDC-решение на базе Debezium и Spark Streaming;
• участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
• внедрять near real-time аналитику на базе ksqldb и Clickhouse, обучать аналитиков работе с новым решением;
• развивать практику использования Trino в компании;
• разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).

• понимание принципов организации хранилищ данных, принципов работы колоночных БД;
• уверенное знание SQL, Python;
• готовность изучать Spark (Scala);
• стремление обосновывать и документировать появляющиеся решения;
• знакомство с MPP системами;
• понимание принципов CI/CD, Kubernetes.

Будет плюсом, если ты

• программировал на Scala / Java;
• знаешь фреймворк Apache Spark, Apache Airflow;
• умеешь оптимизировать вычисления в MPP системах;
• работал с форматами iceberg, parquet, avro;
• использовал Trino / Greenplum / ClickHouse;
• знаком с Kafka Connect.

• ДМС с первого месяца работы в компании;
• дополнительные опции на выбор — спорт, английский, промокоды на заказ продуктов или билеты в отпуск;
• удаленная работа. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
• техника для работы;
• интеллектуальное и физическое развитие (электронная библиотека, книжный клуб, футбол, мастер-классы в офисе);
• knowledge base с курсами, книгами и записями конференций + выделенный бюджет на внешнее индивидуальное обучение.

А ещё

• мы сами участвуем в конференциях, как спикеры;
• проводим внутренние митапы и дискуссионные клубы;
• не боимся экспериментировать с новыми решениями и технологиями;
• заботимся о сотрудниках: в компании есть команда счастья и корпоративные психологи для разговоров по душам.