Инженер по качеству данных
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Проект:
Миграция данных из различных источников на Hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости.
На проекте данные загружаются из различных источников – MS SQL Server, REST API, Kafka и т.д. Задача DQ-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. Данные проходят обработку, затем из них строятся витрины для бизнес-процессов. Для этого разрабатывается уникальный ID на основе персональных данных. Необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через SQL-запросы и регулярные выражения.
Стэк:
PostgreSQL; MS SQL Server: Airflow; Debezium; DataHub; JupiterHub; Python; HDFS; HUE; Hive; Impala; HBase; Kafka etc.
Чем ты будешь заниматься:
- Выстраивать методологию тестирования данных на проекте;
- Проводить анализ загруженных данных/ витрин на предмет качества;
- На основе проведенного анализа составлять тест кейсы для дальнейшего написания DQ;
- Составлять SQL-запросы различного уровня сложности;
- Тестировать загрузку данных посредством ETL- инструментов.
Ты наш идеальный кандидат, если у тебя есть:
- Уверенные знания SQL;
- Начальные знания Python;
- Опыт работы с различными СУБД;
- Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования.
Совсем круто, если:
- Ты знаешь технологии BigData и экосистемы Hadoop (HDFS, HUE, Hive, Impala, HBase, Kafka etc);
- Ты работал с ETL- инструментами;
- Ты знаком с основами бухгалтерского учета.
У нас ты сможешь найти:
- Прозрачную системы карьерного развития в компании;
- Персонального наставника с первого дня работы;
- Возможность развития личной экспертизы и экспертизы компании;
- Собственную платформу внутренних и внешних образовательных программ;
- Возможность пройти сертификацию;
- Возможность участия в обучении, конференциях, митапах;
- Неповторимую корпоративную культуру компании.
Мы ищем кандидата без привязки к локации.
Офисы компании находятся в городах: Москва, Санкт-Петербург, Нижний Новгород, Саратов, Воонеж, Пенза.