Архитектор (Remote)

О компании и команде

Подбор ведет подразделение Big Data.
Проект называется: «Замена многоцелевой системы массивной параллельной обработки (MPP)»

Ожидания от кандидата

Требования к специалисту следующие:

• Опыт работы с базами данных в качестве аналитика/разработчика от пяти лет
• Опыт участия в проектах по созданию и развитию DWH
• Опыт разработки OLAP-кубов
• Понимание принципов разработки с помощью ETL инструментария
• Опыт разработки высоконагруженных систем
• Опыт разработки логической и физической моделей данных
• Понимание предметной области Телеком
• Понимание нюансов работы платформ
• Teradata, SAS, Greenplum (особенности DDL,DML,PL/SQL)

Условия работы

Задачи, которые предстоит решать:

Аналитическая часть

• Cогласование и уточнение требований к системе копирования
• Cогласование и уточнение требований к системе трансформации OLAP кубов SAS

Разработка

• Разработка архитектуры системы копирования данных SAS
• Разработка архитектуры системы трансформации OLAP кубов SAS
• Настройка тестовой центральной ETL среды и тестовой MPP Greenplum
• Модуль копирования таблиц в staging по добавленным заданиям SAS (transport_worker_mpp.sas)
• Модуль управления (добавления) заданиями (add_copy_tasks.sas)
• Процесс перенос таблиц Staging в конечные таблицы хранилища (loopJob.sas)
• Процесс создания view на основе мета данных для интеграции c SAS EG (MPPGenerateViews.sas)
• Разработка модуля трансформации OLAP кубов SAS в плоские таблицы
• Реализация ETL-процесса c копированием таблиц SAS
• Оптимизация производительности
• Проведение нагрузочного тестирования
• Адаптация разработанного функционала для переноса на продуктивный стенд
• Адаптация и расширение модели данных

Документация

• Разработка приемо-сдаточной документации
• Согласование результатов на тестовом стенде
• Участие в приемо-сдаточных испытаниях