Data engineer (Big data)

Роль Data Engineer в Компании – заниматься разработкой в продуктовых командах:

• реализовывать конвейеры обработки данных - пакетные и потоковые;
• создавать домены данных для перехода к “data mesh”;
• разбираться в предметных областях (коммуникационные технологии, безопасность, маркетинг и продажи, финансы).

У нас есть 3 ключевых группы продуктов:

Клиентский сервис:

• универсальный идентификатор Клиентов Билайн для всех линий бизнеса Компании;
• противодействие фроду на стороне клиентских устройств сотовой связи;
• предсказание оттока и next-best-action для клиентов.

Управление оборудованием и качеством услуг связи:

• сбор метрик качества предоставления связи;
• интеллектуальное планирование постройки базовых станций;
• предиктивное обслуживание оборудования.

Для продуктовых команд:

• выполнение RnD по развитию компонент платформы;
• обновление Hadoop и миграция между кластерами.

Мы рассчитываем, что ты владеешь этим опытом и навыками:

• Работа с Linux;
• Базовые знания структур данных;
• SQL – средний уровень;
• Разработка под Spark на Scala или опыт работы на Pyspark в Python;
  
• Опыт использования одного из инструментов для работы с большими данными: Apache Spark, Apache Kafka, Apache Hadoop (HDFS, HBase, Hive), Apache NiFi, Apache Airflow, Apache Ozzie.

Наш технологический стек:

- потоковые конвейеры обработки данных NiFi;

- пакетные конвейеры обработки данных Spark;

- управление конвейеры данных - Oozie/ Airflow;

- запросы к данным HQL/SQL.

Мы предлагаем успешному кандидату корпоративные бонусы:

• Сообщество – поддержка, развитие и возможность учиться у профессионалов своего дела;
• Удобные инструменты разработки – компания предоставит тебе необходимое ПО и мощный ноутбук;
• Свобода - Beefree - гибкий рабочий график и возможность работать удаленно;
• Комфорт - личный полис добровольного медицинского страхования с комфортным пакетом опций и служебная сотовая связь.

Присоединяйся к лучшей команде в качестве Data Engineer!