Инженер по качеству данных

Проект:

Миграция данных из различных источников на Hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости.

На проекте данные загружаются из различных источников – MS SQL Server, REST API, Kafka и т.д. Задача DQ-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. Данные проходят обработку, затем из них строятся витрины для бизнес-процессов. Для этого разрабатывается уникальный ID на основе персональных данных. Необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через SQL-запросы и регулярные выражения.

Стэк:

PostgreSQL; MS SQL Server: Airflow; Debezium; DataHub; JupiterHub; Python; HDFS; HUE; Hive; Impala; HBase; Kafka etc.

Чем ты будешь заниматься:

• Выстраивать методологию тестирования данных на проекте;
• Проводить анализ загруженных данных/ витрин на предмет качества;
• На основе проведенного анализа составлять тест кейсы для дальнейшего написания DQ;
• Составлять SQL-запросы различного уровня сложности;
• Тестировать загрузку данных посредством ETL- инструментов.

Ты наш идеальный кандидат, если у тебя есть:

• Уверенные знания SQL;
• Начальные знания Python;
• Опыт работы с различными СУБД;
• Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования.

Совсем круто, если:

• Ты знаешь технологии BigData и экосистемы Hadoop (HDFS, HUE, Hive, Impala, HBase, Kafka etc);
• Ты работал с ETL- инструментами;
• Ты знаком с основами бухгалтерского учета.

У нас ты сможешь найти:

• Прозрачную системы карьерного развития в компании;
• Персонального наставника с первого дня работы;
• Возможность развития личной экспертизы и экспертизы компании;
• Собственную платформу внутренних и внешних образовательных программ;
• Возможность пройти сертификацию;
• Возможность участия в обучении, конференциях, митапах;
• Неповторимую корпоративную культуру компании.

Мы ищем кандидата без привязки к локации.

Офисы компании находятся в городах: Москва, Санкт-Петербург, Нижний Новгород, Саратов, Воонеж, Пенза.