Data engineer

Mail.ru Цифровые технологии — B2B-подразделение Mail.ru Group, которое занимается разработкой и внедрением передовых технологических решений для акселерации бизнеса партнеров.

В портфеле Mail.ru Цифровые технологии: облачная инфраструктура Mail.ru Cloud Solutions, платформа интеграции данных Tarantool, Iot и AI решения, коммуникационные и HR tech сервисы.

Команда разрабатывает и развивает цифровые платформы для крупнейших российских компаний и корпораций, в том числе: Росатом, Ростелеком, ВЭБ РФ, Россети, Мегафон, Аэрофлот, Сухой, Альфа-Банк и др.

Задачи:

• сбор, преобразование и предварительная обработка необработанных данных для их подготовки к анализу;
• участвовать в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
• участие в сложных интеграционных проектах в качестве разработчика или архитектора;
• разработка процессов преобразования данных (ETL) на основе технологий Apache NIFI\Airflow и для MS SQL, Oracle, PostgreSQL, Clickhouse;
• определение источников данных и способов подключения к ним;
• разработка моделей данных, отчетов и аналитических дэшбордов;
• написание и оптимизация сложных SQL-запросов;
• интеграция BI-решений с системами в ИТ-инфраструктуре совместно с архитекторами;
• подготовкой проектной и продуктовой документации.

Требования:

• опыт и уверенное понимание принципов работы с большими объемами данных;
• знание базовых алгоритмов и структур хранения данных;
• опыт работы с аналитическими базами данных.

Будет плюсом:

• опыт работы с очередями сообщений на базе Kafka;
• знания стека Hadoop (HDFS, YARN, Spark, Hive) со стороны инженера данных / разработчика;
• опыт работы с Arenadata DB/Greenplum;
• опыт моделирования данных на основе data vault, anchor или Inman, Kimball.