Data Engineer\Data Quality

Задачи:

• Контроль качества данных в DWH
• Продвинутые знания стека Hadoop (HDFS, YARN, Spark, Hive) со стороны инженера данных / разработчика/ контроля качества данных;
• Навыки разработки под Spark на одном из языков (Java, Scala, Python); Опыт коммерческого использования Airflow;
• Умение пользоваться Jira, Confluence, Gitlab;
• Навыки работы в Linux.
• Опыт работы с очередями сообщений (например, с Kafka);
• Опыт работы с Apache Nifi или Streamsets
• Мониторинг, контроль сбора, поставки, трансформации данных, реализация сервисов контроля качества на базе Hadoop-стека.

Мы предлагаем:

• Работа в крупнейшей страховой компании страны;
• Возможность быть у истоков сбора и обработки данных и задавать стандарты;
• Официальное оформление в штат компании;
• Конкурентная белая заработная плата (выплаты два раза в месяц на банковскую карту банка-партнера);
• График работы 5/2 (гибкое начало рабочего дня), график нормированный, возможность удаленной работы ;
• ДМС после испытательного срока (3 мес) включая стоматологию;
• Оплачиваемый отпуск 28 календарных дней;
• Оплачиваемый больничный;
• Скидки на страхование до 50%;
• Корпоративные программы от партнеров компании – банки, автосалоны, фитнес, изучение иностранных языков;
• Внутрикорпоративное обучение.

Критерии успеха:

• Контроль качества данных в DWH
• Продвинутые знания стека Hadoop (HDFS, YARN, Spark, Hive) со стороны инженера данных / разработчика/ контроля качества данных;
• Навыки разработки под Spark на одном из языков (Java, Scala, Python); Опыт коммерческого использования Airflow;
• Умение пользоваться Jira, Confluence, Gitlab;
• Навыки работы в Linux.
• Опыт работы с очередями сообщений (например, с Kafka);
• Опыт работы с Apache Nifi или Streamsets