Data инженер
Требования
Местоположение и тип занятости
Компания
100% дочерняя компания ПАО «МТС», провайдер интеллектуальных решений для бизнеса
Описание вакансии
О компании и команде
Мы продвинутая и дружелюбная команда МТТ. Мы — создаём инновационную платформу коммуникаций.
Мы активно используем все самые современные технологии. Сотни микросервисов, десятки микрофронтендов, высоконагруженные базы данных и API. Совместно с МТС мы внедряем и разрабатываем ИИ.
У нас прозрачные процессы и мы активно используем гибкую разработку.
Ожидания от кандидата
Что ожидаем?
- Коммерческий опыт работы дата-инженером, разработчиком ETL от 1 года;
- Опыт работы c Spark, Kafka;
- Знание Python для работы с большими объемами данных;
- Отличное знание SQL(аналитические функции, оптимизации, Oracle, ClickHouse, PostgreSQL);
- Понимание и интерес к ML;
- Опыт построения ETL;
- Понимание или опыт в MLOps практиках;
- Желание учиться и развиваться.
Чем предстоит заниматься?
- Проектирование архитектуры ETL;
- Разработка архитектуры решений по загрузке данных в кластер;
- Интеграция систем обмена данными с различными источниками;
- Оптимизация вычислений и работа с узкими местами платформы;
- Реализация витрин данных на Spark;
- Разработка и оптимизация ETL пайплайнов;
- Refactoring, code review
- Интеграция с облачной платформой DataOPS
- При необходимости активно взаимодействовать с DevOPS’ами
Будет плюсом:
- Опыт разработки потоковой обработки данных (Spark Streaming / Flink);
- Опыт работы с NiFi и Airflow;
- Опыт работы с Trino, Superset, DataHub
- Опыт работы с YTsaurus
Условия работы
Что мы предлагаем?
- Удаленная работы и возможность посещать комфортный офис на м.Марксистская;
- Белая и достойная заработная плата;
- Синергия с МТС;
- ДМС;
- Энергичная, эффективная и дружественная команда;
- Возможность роста, возможность для экспериментов.