Data Engineer / Инженер данных

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Реализуем проекты разработки, развития и сопровождения новых ИТ-решений и платформ в рамках СИБУРа

Описание вакансии

О компании и команде

СИБУР Диджитал - цифровой кластер крупнейшей нефтехимической компании России. Мы создаем продукты, которые меняют подход к производству. 
У нас будущее уже наступило.

Наши задачи

  • Развитие платформы данных, созданием инструментов обработки данных и фреймворков
  • Участие в проектах с реальной ценностью для бизнеса компании
  • Загрузкой данных из систем источников в узел данных и обеспечением их доступности
  • Автоматизацией аналитических задач
  • Разработкой и оптимизацией алгоритмов операционного анализа данных
  • Взаимодействием с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных

Ожидания от кандидата

  • Знание хотя бы 1 языка программирования (желательно Java, Python) на хорошем уровне: опыт разработки более полугода, есть примеры проектов или продуктов
  • Знание SQL, опыт работы с реляционными СУБД (Oracle, MySQL, PostgreSQL и пр.)
  • Навыки проектирования и реализации системы сбора и обработки данных
  • Опыт работы с *nix системами

    Будет плюсом
  • Опыт работы хотя бы с одной MPP СУБД, понимание архитектуры и оптимизацией запросов
  • Знание Vertica будет дополнительным плюсом
  • Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR)
  • Умение работы с Avro, Parquet форматом данных (типы, сжатие, выбор сортировок)
  • Умение работы с распределенным хранилищем HDFS
  • Знание и умение работы ETL/ELT инструментами, Apache NiFi будет дополнительным плюсом
  • Знание и умение работы с AMQP (Kafka, RabbitMQ)
  • Понимание и умение работы со стеком продуктов на платформе Hadoop. Желательно Spark, Spark Streaming, HBase, Impala, Hive; другие технологии тоже пойдут в зачёт
  • Умение разрабатывать UDF для различных сред анализа данных
  • Контейнеры и оркестрация контейнеров
  • Управление кластером Hadoop (развёртывание, мониторинг, оптимизация)
  • Знание интерфейсов, методов управления разработкой и конфигурациями

Условия работы

  • Работа в аккредитованной ИТ-компании
  • Гибридный формат работы (график обсуждается индивидуально в зависимости от роли)
  • Прозрачная система премирования и карьерного роста
  • ДМС со стоматологией и льготное страхование родственников
  • Забота о благополучии сотрудников: психолог, нутрициолог, health-коуч, юридическая поддержка
  • Обучение: лекции, курсы, ворк-шопы, школа анализа данных, дизайна презентаций и многое другое
  • Спортивные секции, командные/ корпоративные соревнования и скидки в фитнес-клубах
  • Доступ в бесплатную электронную библиотеку, скидки на обучение английскому языку
  • Наставничество и помощь в адаптации новых сотрудников от вашего личного Бадди
  • Оздоровительный комплекс для бесплатного отдыха сотрудников и их семей в Анапе
  • Участие в жизни ИТ-комьюнити, развитие навыков выступлений на конференциях и митапах, написания статей