Data Engineer
Требования
Местоположение и тип занятости
Компания
Российский телеком-оператор с 50 миллионами клиентов и 30 тысячами сотрудников
Описание вакансии
О компании и команде
Наша команда каждый день работает над повышением качества связи и отвечает за стабильный сервис для тебя. Профессионалы билайн уверенно создают надежную связь по всей территории нашей страны: в небольших поселках и крупных городах, на вершинах гор и под землей.
Если ты готовы решать сложные и масштабные задачи в команде экспертов — мы ждем твое резюме!
Ожидания от кандидата
- Обязанности:
- Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
- Оценка пригодности, качества исходных данных;
- Разработка ETL процессов на Spark;
- Оркестрация ETL процессов в Airflow;
- Проектирование баз данных;
Требования: - Разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество);
- Использовать AirFlow или другие оркестраторы – Oozie, Luigi, ну или cron;
- Понимать принципы работы реляционных СУБД и HDFS;
- Понимать подходы к работе с качеством данных;
- Имеешь опыт потоковой разработки конвейеров данных в NiFi или Flink;
- Интересуешься Flink, пробовал применять его в проектах;
- Умеешь проектировать базы данных (знает Data Vault 2.0 например);
- Имеешь представление о колоночных и NoSQL СУБД;
- Применяешь системный подход к работе, думаешь о конечной бизнес-задаче, мыслишь логически, уделяешь внимание деталям.
Будет плюсом:
Условия работы
- Трудоустройство в аккредитованную ИТ-компанию
- Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться
- Обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.
- Конструктивную и открытую рабочую атмосферу
- Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках Корпоративные скидки на фитнес, обучение, путешествия и т.п.
- Служебную сотовую связь.