Data QA Engineer
Зарплата
от 280 000 ₽
Требования
Местоположение и тип занятости
Компания
Создаем уникальный IT-продукт — единое корпоративное пространство для сотрудников Газпрома
Описание вакансии
Условия работы
Сейчас мы начинаем строить DWH и подбираем специалистов в новый отдел «платформа данных»
Data quality инженер
Проект: Построение дата-платформы компании, от выбора технологий, до реализации задач развёртывания компонентов для построения современного стека для принятия решений на данных.
Стек (примерный): SQL, Python, Java, Data lake (dremio), Postgres, Clickhouse, Kafka, Spark, Jupyter, BI, Kubernetes, VictoriaMetrics, Soda-SQL, Great expectations.
Что делать:
- Выстраивать методологию тестирования на проекте
- Выбирать, внедрять и поддерживать лучшие практики
- Тестировать и автоматизировать процесс для проверки датасетов, интеграций, ETL процедур, выгрузок, BI дашбордов
- Реализовывать визуализацию качества данных автоматизация сбора метрик и показателей, составление дашбордов
- Настройка алертов и уведомлений по проблемам в качестве данных
- Поддержка инструментов импорта, решение проблем с данными и их получением
От Вас:
- Уверенные знания SQL middle+
- Знание видов/ методов тестирования, умение применять их на практике
- Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования
- Понимание ETL процедур (Python, REST, SQL, Java) и способов интеграции
- Опыт общения со стриминговыми данными (kafka)
- Опыт автоматизации тестирования (например soda-sql, great expectations или подобные фреймворки)
Как плюс:
- Знание Java/Groovy или хотя бы понимание работы таких приложений
- Опыт оптимизации SQL запросов
- Опыт работы с ETL, DWH
- Опыт анализа данных (Jupyter lab)
Бонусы
- ТК РФ, ДМС (включая стоматологию и госпитализацию)
- Новый социально значимый проект в начальной стадии разработки с 500к пользователями
- Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство
- Скидки на спорт, кино, языковые курсы