Data engineer в рекомендательные системы
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Мы - динамично растущая команда экспертов в области построения рекомендательных систем
Наша главная цель - построить современную, масштабируемую платформу, которая будет постоянно предвосхищать и превосходить ожидания пользователей, предоставляя им персонализированные рекомендации на всем клиентском пути
Наша платформа будет обслуживать широкий круг потребителей и строить персональные рекомендации во всех сферах бизнеса, таких как музыка (Звук), фильмы (ОККО), онлайн торговля (СберМаркет, СберМегаМаркет), медицина (еАптека) и многих других
Если ты мечтаешь поучаствовать в создании такой рекомендательной системы, то тебе к нам!
Интеллектуальное ядро такой системы - это алгоритмы машинного обучения, которые анализируют по-настоящему большие данные, и в реальном времени рассчитывают предпочтения миллионов конечных пользователей. Работая в нашей команде, ты будешь участвовать в исследовании, разработке, тестировании и внедрении самых передовых алгоритмов классического и глубокого обучения в части рекомендаций. Ты получишь опыт внедрения таких алгоритмов в реальной индустриальной экосистеме, начиненной большими данными и работающей с высокими нагрузками при их обработке
Мы ищем:
Middle/Senior/Lead Data Engineer в команду рекомендательной платформы для компаний экосистемы Сбер
Обязанности
Что предстоит делать:
- Разработка продакшен-пайплайнов обработки данных;
- Продуктизация прототипов команды Data Science;
- Performance оптимизации кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой.
Стек технологий:
- Для разработки используем: Python, PySpark, Pandas, Redis, PostgreSQL, AirFLow, MLFlow и др.
- Для организации работы: Jira, Confluence, Git.
Требования
Что для нас важно:
- Мотивация учиться и развиваться в области рекомендательных систем;
- Экспертное знание Python;
- Уверенное знание Spark (и желательно Pandas);
- Опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику;
- Опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.);
- Хорошее понимание баз данных SQL / NoSQL.
Будет плюсом:
- Опыт оптимизации пайплайнов препроцессинга данных под highload;
- Знание Scala/Java;
- Опыт работы с рекомендательными системами;
- Опыт работы с облачными платформами;
- Опыт работы с Kafka, Flink, Hadoop;
- Хороший уровень понимания Computer Science алгоритмов.
Бонусы
Мы предлагаем:
- Официальное оформление с первого дня.
- Крупнейшее DS&AI community — более 600 DS-специалистов банка
- Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
- Стабильный доход и социальная поддержка сотрудников
- Расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- Корпоративная пенсионная программа
- Корпоративное обучение за счет компании
- Реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
- Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы
- Работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения
- Возможность выбрать удобный формат работы: гибрид или офис
- Комфортный офис, бесплатные снеки, спортзалы с бассейнами
- Офис: г. Нижний Новгород, ул. Бекетова 13Б