Data Engineer

Мы находимся в поисках Data Engineer на проект крупного банка.

Локация - г. Москва  

Основные требования:

• Опыт работы 1–3 года
• Понимание принципов организации хранилищ данных. Опыт работы с DWH;
• Опыт работы в роли разработчика в проектах по разработке и/или модификации и/или внедрению ПО;
• Опыт работы с ETL инструментами;
• Уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
• Опыт работы с Hadoop, Linux;
• Опыт командной разработки с использованием программных продуктов Confluence и Jira (желательно);
• Опыт работы с Apache Airflow (желательно)

Ключевые навыки:

• DWH
• SQL
• ETL
• Hadoop
• Spark

Личностные качества

Умение работать в команде, ответственность, коммуникабельность, самостоятельность

Должностные обязанности:

• Работа с DWH, проектирование схем для хранения данных
• Загрузка данных в DWH из различных источников (как внутренние БД, так и внешние аналитические платформы и т.д.)
• Проектирование и разработка ETL процессов
• Поиск ошибок и аномалий в данных, автоматизация проверок качества данных
• Подготовка и поддержание в актуальном состоянии каталога метаданных

Описание проекта:

Создание интегрированного слоя детальных данных в гибридном DWH.