Data Engineer / Инженер данных
Требования
Местоположение и тип занятости
Компания
Реализуем проекты разработки, развития и сопровождения новых ИТ-решений и платформ в рамках СИБУРа
Описание вакансии
О компании и команде
СИБУР Диджитал - цифровой кластер крупнейшей нефтехимической компании России. Мы создаем продукты, которые меняют подход к производству.
У нас будущее уже наступило.
Наши задачи
- Развитие платформы данных, созданием инструментов обработки данных и фреймворков
- Участие в проектах с реальной ценностью для бизнеса компании
- Загрузкой данных из систем источников в узел данных и обеспечением их доступности
- Автоматизацией аналитических задач
- Разработкой и оптимизацией алгоритмов операционного анализа данных
- Взаимодействием с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных
Ожидания от кандидата
- Знание хотя бы 1 языка программирования (желательно Java, Python) на хорошем уровне: опыт разработки более полугода, есть примеры проектов или продуктов
- Знание SQL, опыт работы с реляционными СУБД (Oracle, MySQL, PostgreSQL и пр.)
- Навыки проектирования и реализации системы сбора и обработки данных
- Опыт работы с *nix системами
Будет плюсом - Опыт работы хотя бы с одной MPP СУБД, понимание архитектуры и оптимизацией запросов
- Знание Vertica будет дополнительным плюсом
- Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR)
- Умение работы с Avro, Parquet форматом данных (типы, сжатие, выбор сортировок)
- Умение работы с распределенным хранилищем HDFS
- Знание и умение работы ETL/ELT инструментами, Apache NiFi будет дополнительным плюсом
- Знание и умение работы с AMQP (Kafka, RabbitMQ)
- Понимание и умение работы со стеком продуктов на платформе Hadoop. Желательно Spark, Spark Streaming, HBase, Impala, Hive; другие технологии тоже пойдут в зачёт
- Умение разрабатывать UDF для различных сред анализа данных
- Контейнеры и оркестрация контейнеров
- Управление кластером Hadoop (развёртывание, мониторинг, оптимизация)
- Знание интерфейсов, методов управления разработкой и конфигурациями
Условия работы
- Работа в аккредитованной ИТ-компании
- Гибридный формат работы (график обсуждается индивидуально в зависимости от роли)
- Прозрачная система премирования и карьерного роста
- ДМС со стоматологией и льготное страхование родственников
- Забота о благополучии сотрудников: психолог, нутрициолог, health-коуч, юридическая поддержка
- Обучение: лекции, курсы, ворк-шопы, школа анализа данных, дизайна презентаций и многое другое
- Спортивные секции, командные/ корпоративные соревнования и скидки в фитнес-клубах
- Доступ в бесплатную электронную библиотеку, скидки на обучение английскому языку
- Наставничество и помощь в адаптации новых сотрудников от вашего личного Бадди
- Оздоровительный комплекс для бесплатного отдыха сотрудников и их семей в Анапе
- Участие в жизни ИТ-комьюнити, развитие навыков выступлений на конференциях и митапах, написания статей