Архитектор (Remote)
Требования
Местоположение и тип занятости
Компания
Международная компания, специализирующаяся на консалтинге, технологических услугах и аутсорсинге
Описание вакансии
О компании и команде
Подбор ведет подразделение Big Data.
Проект называется: «Замена многоцелевой системы массивной параллельной обработки (MPP)»
Ожидания от кандидата
Требования к специалисту следующие:
- Опыт работы с базами данных в качестве аналитика/разработчика от пяти лет
- Опыт участия в проектах по созданию и развитию DWH
- Опыт разработки OLAP-кубов
- Понимание принципов разработки с помощью ETL инструментария
- Опыт разработки высоконагруженных систем
- Опыт разработки логической и физической моделей данных
- Понимание предметной области Телеком
- Понимание нюансов работы платформ
- Teradata, SAS, Greenplum (особенности DDL,DML,PL/SQL)
Условия работы
Задачи, которые предстоит решать:
Аналитическая часть
- Cогласование и уточнение требований к системе копирования
- Cогласование и уточнение требований к системе трансформации OLAP кубов SAS
Разработка
- Разработка архитектуры системы копирования данных SAS
- Разработка архитектуры системы трансформации OLAP кубов SAS
- Настройка тестовой центральной ETL среды и тестовой MPP Greenplum
- Модуль копирования таблиц в staging по добавленным заданиям SAS (transport_worker_mpp.sas)
- Модуль управления (добавления) заданиями (add_copy_tasks.sas)
- Процесс перенос таблиц Staging в конечные таблицы хранилища (loopJob.sas)
- Процесс создания view на основе мета данных для интеграции c SAS EG (MPPGenerateViews.sas)
- Разработка модуля трансформации OLAP кубов SAS в плоские таблицы
- Реализация ETL-процесса c копированием таблиц SAS
- Оптимизация производительности
- Проведение нагрузочного тестирования
- Адаптация разработанного функционала для переноса на продуктивный стенд
- Адаптация и расширение модели данных
Документация
- Разработка приемо-сдаточной документации
- Согласование результатов на тестовом стенде
- Участие в приемо-сдаточных испытаниях