Инженер данных в отдел управления ценностью данных

Обеспечить процесс и инструментарий загрузки и обработки данных из источников в аналитические системы, включая получение структурированных и неструктурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, контроль их качества и построение агрегатов, настройку алертов.

ОБЯЗАННОСТИ:

·      Создание и улучшение процессов обработки данных (NiFi, Airflow, , Flink, Spark, SQL);

·         Оптимизация запросов к данным (партицирование, индексы, дистрибьюция, ... );

·         Создание витрин данных (Greenplum, Clickhouse, ... );

·         Работа с различными типами БД (GreenPlum, MS SQL Server, Oracle, PostgreSQL, MongoDB, ... );

·         Участие в принятии архитектурных решениях DWH;

·         Разработка схем подключения новых источников в DWH;

·         Проведение Code Review;

·         Разработка процедур формирования детального слоя данных и слоя витрин DWH;

·         Настройка алертов по качеству данных;

·         Реализация процессов CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus);

·         Написание manual и automated DQ тестов;

·         Документирование своей работы в Confluence;

·         Работа в Jira;

·         Запрашивать и делиться развивающей обратной связью с коллегами для совместного развития;

·         Активное участвовать в различных коммьюнити компании.

ТРЕБОВАНИЯ:

·         Опыт работы на аналогичной позиции от трёх лет;

·         Техническое образование (желательно ИТ);

·         Знания принципов работы БД, построения DWH;

·         Опыты разработки ETL процессов (NiFi, Flink, Airflow, Spark);

·         Опыт работы с системами контроля версий (Git);

·         Опыт работы с высоконагруженными распределенными системами хранения и обработки данных;

·         Отличное знание SQL, опыт оптимизации запросов;

·         Опыт самостоятельного ведения проектов, прямого общения с бизнесом;

·         Желание обучаться и развиваться;

·         Умение читать техническую литературу на английском языке;

·         Опыт разработки на Python\Scala или Java будет плюсом

• Прозрачные условия для профессионального и карьерного роста, наши сотрудники имеют все возможности для горизонтального и вертикального перехода;
• ДМС со стоматологией от Ренессанс, телемедицина;
• Страхование от несчастных случаев;
• Ежемесячно выплачивается дотация на питание;
• Участие в конференциях и во внутренних, и внешних митапах;
• Гибкий график и возможность работать удалённо;
• Английский и французский язык для изучения по согласованию.