Старший инженер Big Data

СБЕР ЕАПТЕКА – одна из крупнейших интернет-аптек в России. Мы меняем индустрию, чтобы сделать здоровье доступным для всех. Сейчас компания работает по всей России от Калининграда до Владивостока. Собственная сеть аптек-хабов превышает 250, а сеть пунктов самовывоза – 14000.

Сервис федерального масштаба в сегменте e-pharm строит сильная ИТ команда, разрабатывая надежную технологическую платформу, которая помогает клиентам заказывать лекарства и товары для здоровья онлайн.
Мы ждем в команде ответственных, проактивных и надежных людей, чтобы вместе развивать сервис, который делает жизнь лучше.

Мы в поиске Старшего инженера Big Data

Обязанности:

• Управлять и настраивать инфраструктуру обработки данных для ML, аналитики и обслуживания пользователей.
• Разрабатывать процессы и интерфейсы обработки данных, полученных из исходных источников продукта (MSSQL, MySQL, PostgreSQL), S3 и API, обработка событий из Kafka.
• Настройка, оптимизация, обновление и контроль качества данных.
• Полный цикл получения задания, обработки и формирование пользовательской документации по существующим и новым источникам данных. Качественная интеграция в существующие модели данных.
• Разработка пайплайнов обработки данных как в batch режиме (Airbyte, Spark), так и в потоке (Flink, Spark Streaming).
• Оптимизация существующих пайплайнов.
• Подготовка и настройка окружений для DS.

Требования:

• YC, S3, Spark, Kafka, Airflow, Debezium, Airbyte, Prometheus, Grafana, GitLab.
• Python на уровне middle+ или senior (будет плюсом Scala, Golang).
• k8s на уровне пользователя (будет преимуществом).
• Опыт работы в компаниях, активно использующих современный технологический стек.
• Специализация не менее 3х лет обработки высоконагруженных потоков данных.

Условия:

• Работа в аккредитованной ИТ компании;
• График: 5/2, гибкое начало рабочего дня с 8:00 до 10:00, возможность удаленной работы;
• ДМС;
• Перспективы профессионального роста: пополняемая коллекция; профессиональной литературы, оплата посещения профильных конференций;
• Современная техника;
• Корпоративные мероприятия и тимбилдинги.