Старший инженер Big Data
Требования
Местоположение и тип занятости
Компания
Сервис покупки и доставки товаров для здоровья, красоты и домашних животных
Описание вакансии
О компании и команде
СБЕР ЕАПТЕКА – одна из крупнейших интернет-аптек в России. Мы меняем индустрию, чтобы сделать здоровье доступным для всех. Сейчас компания работает по всей России от Калининграда до Владивостока. Собственная сеть аптек-хабов превышает 250, а сеть пунктов самовывоза – 14000.
Сервис федерального масштаба в сегменте e-pharm строит сильная ИТ команда, разрабатывая надежную технологическую платформу, которая помогает клиентам заказывать лекарства и товары для здоровья онлайн.
Мы ждем в команде ответственных, проактивных и надежных людей, чтобы вместе развивать сервис, который делает жизнь лучше.
Мы в поиске Старшего инженера Big Data
Ожидания от кандидата
Обязанности:
- Управлять и настраивать инфраструктуру обработки данных для ML, аналитики и обслуживания пользователей.
- Разрабатывать процессы и интерфейсы обработки данных, полученных из исходных источников продукта (MSSQL, MySQL, PostgreSQL), S3 и API, обработка событий из Kafka.
- Настройка, оптимизация, обновление и контроль качества данных.
- Полный цикл получения задания, обработки и формирование пользовательской документации по существующим и новым источникам данных. Качественная интеграция в существующие модели данных.
- Разработка пайплайнов обработки данных как в batch режиме (Airbyte, Spark), так и в потоке (Flink, Spark Streaming).
- Оптимизация существующих пайплайнов.
- Подготовка и настройка окружений для DS.
Требования:
- YC, S3, Spark, Kafka, Airflow, Debezium, Airbyte, Prometheus, Grafana, GitLab.
- Python на уровне middle+ или senior (будет плюсом Scala, Golang).
- k8s на уровне пользователя (будет преимуществом).
- Опыт работы в компаниях, активно использующих современный технологический стек.
- Специализация не менее 3х лет обработки высоконагруженных потоков данных.
Условия работы
Условия:
- Работа в аккредитованной ИТ компании;
- График: 5/2, гибкое начало рабочего дня с 8:00 до 10:00, возможность удаленной работы;
- ДМС;
- Перспективы профессионального роста: пополняемая коллекция; профессиональной литературы, оплата посещения профильных конференций;
- Современная техника;
- Корпоративные мероприятия и тимбилдинги.