Вообще все курсы Хекслета бесплатные! Но только до 15 декабря. Всё, что нужно → принять вызов

Инженер по качеству данных

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

IT-решения для бизнеса

Описание вакансии

Условия работы

Проект:

Миграция данных из различных источников на Hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости.

На проекте данные загружаются из различных источников – MS SQL Server, REST API, Kafka и т.д. Задача DQ-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. Данные проходят обработку, затем из них строятся витрины для бизнес-процессов. Для этого разрабатывается уникальный ID на основе персональных данных. Необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через SQL-запросы и регулярные выражения.

Стэк:

PostgreSQL; MS SQL Server: Airflow; Debezium; DataHub; JupiterHub; Python; HDFS; HUE; Hive; Impala; HBase; Kafka etc.

Чем ты будешь заниматься:

  • Выстраивать методологию тестирования данных на проекте;
  • Проводить анализ загруженных данных/ витрин на предмет качества;
  • На основе проведенного анализа составлять тест кейсы для дальнейшего написания DQ;
  • Составлять SQL-запросы различного уровня сложности;
  • Тестировать загрузку данных посредством ETL- инструментов.

Ты наш идеальный кандидат, если у тебя есть:

  • Уверенные знания SQL;
  • Начальные знания Python;
  • Опыт работы с различными СУБД;
  • Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования.

Совсем круто, если:

  • Ты знаешь технологии BigData и экосистемы Hadoop (HDFS, HUE, Hive, Impala, HBase, Kafka etc);
  • Ты работал с ETL- инструментами;
  • Ты знаком с основами бухгалтерского учета.

У нас ты сможешь найти:

  • Прозрачную системы карьерного развития в компании;
  • Персонального наставника с первого дня работы;
  • Возможность развития личной экспертизы и экспертизы компании;
  • Собственную платформу внутренних и внешних образовательных программ;
  • Возможность пройти сертификацию;
  • Возможность участия в обучении, конференциях, митапах;
  • Неповторимую корпоративную культуру компании.

Мы ищем кандидата без привязки к локации.

Офисы компании находятся в городах: Москва, Санкт-Петербург, Нижний Новгород, Саратов, Воонеж, Пенза.