Data Engineer
Требования
Местоположение и тип занятости
Компания
Провайдер ИТ-инфраструктуры
Описание вакансии
О компании и команде
Цель нашей команды — построить надёжную дата-платформу, интерфейс в мир данных и решений на данных для бизнеса.
Для этого используем современный стек, LakeHouse архитектуру и не забываем об Observability.
Ищем талантливого инженера данных для усиления нашей команды. Будем вместе развивать дата-платформу, получать новый опыт и обмениваться знаниями. Присоединяйся, у нас интересно!
Основные задачи
- Разработка пайплайнов для загрузки и обработки данных
- Проектирование архитектуры и логики хранения данных
- Настройка проверок качества и информирование об аномалиях
- Развитие инфраструктуры платформы и мониторинг производительности
- Организация деплоя, тестирования и ревью кода
- Создание дата-продуктов для аналитических коман
Ожидания от кандидата
- Практический опыт в проектах по созданию DWH, DataLake, LakeHouse
- Работа с аналитической MPP базой, ClickHouse - отлично
- Оркестрация Airflow, моделирование DBT
- Разработка Python, SQL, PySpark
- Интеграция Kafka, REST API, реляционными/NoSQL DB, CDC
- Хранение S3, форматы Iceberg, Orc, Parquet
- Настройка GitLab CI, Docker, docker-compose
- Высшее техническое образование, широкий кругозор в data-технологиях
Будет плюсом
- Управления Kubernetes кластером
- DataOps с использованием Kubernetes
- Работы с ArgoCD, Terraform, Vault
- Практика внедрения Trino
- Разработки self-service инструментов и дата продуктов
Условия работы
- Оформление в официально аккредитованную IT-компанию
- Белая заработная плата
- Годовая премия по результатам работы до 15% от суммарного оклада за 12 месяцев
- 30 000 бонусных рублей на услуги компании ежегодно
- Релокационный бонус при переезде
- Бесплатные обеды и кофе-брейки
- Офис в Санкт-Петербурге, 10 минут пешком от м. Московские ворота, своя парковка (и для велосипедов тоже)