Data Engineer (команда RnD)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
СберМаркет — это онлайн-сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию, лидера рынка e-grocery. СберМаркет — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. СберМаркет Tech объединяет свыше 1 300+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.
В команде Data Engineering уже более 20 профессионалов 🌟
Мы создаем хранилища данных, а также инструменты для их анализа и использования в ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий работы с данными, разрабатывает стандарты.
Чем будем заниматься
- масштабировать существующее CDC-решение на базе Debezium и Spark Streaming;
- участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
- внедрять near real-time аналитику на базе ksqldb и Clickhouse, обучать аналитиков работе с новым решением;
- развивать практику использования Trino в компании;
- разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala).
Ожидания от кандидата
- понимание принципов организации хранилищ данных, принципов работы колоночных БД;
- уверенное знание SQL, Python;
- готовность изучать Spark (Scala);
- стремление обосновывать и документировать появляющиеся решения;
- знакомство с MPP системами;
- понимание принципов CI/CD, Kubernetes.
Будет плюсом, если ты
- программировал на Scala / Java;
- знаешь фреймворк Apache Spark, Apache Airflow;
- умеешь оптимизировать вычисления в MPP системах;
- работал с форматами iceberg, parquet, avro;
- использовал Trino / Greenplum / ClickHouse;
- знаком с Kafka Connect.
Условия работы
- ДМС с первого месяца работы в компании;
- дополнительные опции на выбор — спорт, английский, промокоды на заказ продуктов или билеты в отпуск;
- удаленная работа. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome;
- техника для работы;
- интеллектуальное и физическое развитие (электронная библиотека, книжный клуб, футбол, мастер-классы в офисе);
- knowledge base с курсами, книгами и записями конференций + выделенный бюджет на внешнее индивидуальное обучение.
А ещё
- мы сами участвуем в конференциях, как спикеры;
- проводим внутренние митапы и дискуссионные клубы;
- не боимся экспериментировать с новыми решениями и технологиями;
- заботимся о сотрудниках: в компании есть команда счастья и корпоративные психологи для разговоров по душам.