Инженер данных / Data Engineer

СИБУР Диджитал - цифровое подразделение крупнейшей нефтехимической компании России. Мы создаем продукты, которые меняют подход к производству. У нас будущее уже наступило

Чем заниматься

• Развитие платформы данных, созданием инструментов обработки данных и фреймворков
• Участие в проектах с реальной ценностью для бизнеса компании
• Загрузкой данных из систем источников в узел данных и обеспечением их доступности
• Автоматизацией аналитических задач
• Разработкой и оптимизацией алгоритмов операционного анализа данных
• Взаимодействием с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных

• Знание хотя бы 1 языка программирования (желательно Java, Python) на хорошем уровне: опыт разработки более полугода, есть примеры проектов или продуктов
• Знание SQL, опыт работы с реляционными СУБД (Oracle, MySQL, PostgreSQL и пр.)
• Навыки проектирования и реализации системы сбора и обработки данных
• Опыт работы с *nix системами
  
  Будет плюсом
• Опыт работы хотя бы с одной MPP СУБД, понимание архитектуры и оптимизацией запросов
• Знание Vertica будет дополнительным плюсом
• Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR)
• Умение работы с Avro, Parquet форматом данных (типы, сжатие, выбор сортировок)
• Умение работы с распределенным хранилищем HDFS
• Знание и умение работы ETL/ELT инструментами, Apache NiFi будет дополнительным плюсом
• Знание и умение работы с AMQP (Kafka, RabbitMQ)
• Понимание и умение работы со стеком продуктов на платформе Hadoop. Желательно Spark, Spark Streaming, HBase, Impala, Hive; другие технологии тоже пойдут в зачёт
• Умение разрабатывать UDF для различных сред анализа данных
• Контейнеры и оркестрация контейнеров
• Управление кластером Hadoop (развёртывание, мониторинг, оптимизация)
• Знание интерфейсов, методов управления разработкой и конфигурациями

• Работа в аккредитованной ИТ-компании.
• Гибридный формат работы (график обсуждается индивидуально в зависимости от роли).
• Прозрачная система премирования и карьерного роста.
• ДМС со стоматологией и льготное страхование родственников.
• Заботу о благополучии сотрудников: психолог, нутрициолог, health-коуч, юридическая поддержка.
• Обучение: лекции, курсы, ворк-шопы, школа анализа данных, дизайна презентаций и многое другое.
• Спортивные секции,командные/ корпоративные соревнования и скидки в фитнес-клубах.
• Доступ в бесплатную электронную библиотеку, скидки на обучение английскому языку.
• Наставничество и помощь в адаптации новых сотрудников от вашего личного Бадди.
• Оздоровительный комплекс для бесплатного отдыха сотрудников и их семей в Анапе.
• Участие в жизни ИТ-коммьюнити, развитие навыков выступлений на конференциях и митапах, написания статей.