Агамет Агаметов

Позиция была сокращена в связи с урезанием финансирования проекта со стороны заказчика.

В рамках миграции аналитической отчётности одного из подразделений ВТБ с QlikView на PixBI выполнял следующие функции:

• во взаимодействии с заказчиком готовил БТ на отчётность;
• проводил GAP-анализ источников;
• проводил оценку трудозатрат;
• ставил задачи на разработку интеграций, включая создание маппингов/S2T;
• готовил макеты/прототипы, дашбордов для передачи BI-разработчику на разработку/доработку;
• готовил модель данных DM слоёв для ClickHouse и Hadoop;
• готовил БТ на витрины, и для ускорения их реализации готовил прототипы витрин с DML скриптами, контролировал разработку витрин от постановки задачи, до тестирования и приёмки;
• готовил архитектурную документацию по подсистеме аналитического хранилища совместно с архитектором проекта;
• проводил демо MVP и Prod отчётов для заказчика.

Достижения:

• Снизил расходы заказчика на разработку витрин в смежной команде, сократив затрачиваемое ими время в два раза: разработка витрин для четырёх отчётов вместо регламентных двух месяцев заняла месяц благодаря подготовленным мною прототипам и моделям.
• Упростил работу команды с хранилищем на Hadoop, предложив при обращении к Spark из Jupyter использовать библиотеки, которые поддерживают подсветку синтаксиса и чтение метаданных.

Проект не завершён, получил более интересный оффер по задачам.

В рамках миграции аналитических витрин CRM системы из SAP/Oracle в Greenplum:

• проводил анализ и последующую корректировку бизнес требований;
• проводил обратный инжиниринг легаси отчётов, написанных на PL\SQL;
• проводил GAP-анализ источников;
• ставил задачи на разработку интеграций, включая подготовку маппингов/S2T и yaml конфигов для Airflow;
• готовил модели данных для всех слоёв, включая детальный слой по DataVault 2.0, согласовывал с архитекторами DWH;
• реализовывал витрины, включая написание ddl и dml объектов на всех
  слоях, и передавал разработчикам только для выката в прод.

Достижения:

• Ускорил с двух месяцев до недели процесс согласования моделей данных архитекторами DWH благодаря чёткому следованию методологии DataVault и требованиям архитекторов DWH.

Проект был инициирован с другим подрядчиком до реализации MVP внутренней командой. 

В рамках проекта по миграции Интегрированной фабрики данных для Столото с Oracle на Greenplum:

• проводил обратный инжиниринг легаси DML - PL\SQL;
• готовил MVP модели данных по DataVault 2.0

Проект был внутренней инициативой Синхро. Заказчик инициировал проект с другим подрядчиком, оставив на стороне Синхро поддержку легаси ИФД.

Подготовленные мной наработки были переданы заказчиком другому подрядчику, и стали основой для быстрого выката MVP.

Архитектура данных

с августа 2023 по июнь 2024

Проекты:

• автоматизация и визуализация отчётности по ЖД-логистике,
• рефакторинг витрин умной лидогенерации,
• разработка витрин умного ценообразования.

Задачи:

• Совместно с владельцем продукта собирал и анализировал требования к аналитическим продуктам, от переноса отчётов с экселей на дашборды в Tableau и FineBi, до внедрения решений на основе машинного обучения, и всё с интеграцией и обработкой данных с помощью Airflow и Nifi и хранением данных в Озере на Vertica.
• Проводил системный анализ источников данных, готовил для них маппинги на объекты в Озере и ставил задачи на интеграции инженерам данных.
• Проектировал модели данных продуктов в разработке в соответствии с требованиями к логической модели детального слоя данных.
• Готовил SQL (DDL+DML) составляющую скриптов обработки данных, начиная с исторического слоя и заканчивая витринами, с учётом ограничений держателей платформы данных на потребление ресурсов.
• Проактивно участвовал как во внутрикомандных коммуникациях, так и с заказчиком, особенно в части ориентации продукта на передачу на поддержку, с учётом предыдущего опыта поддержки продуктов.
• Писал документацию к разработанному продукту в архитектурной части для передачи на поддержку.

Основные достижения связаны со значительным сокращением трудозатрат, благодаря предложениям:

• по переиспользованию данных ранее разработанных продуктов;
• синхронизации с другими командами разработки;
• доработке аргументации для заказчика в защиту решений команды.

Поддержка аналитических продуктов

с декабря 2021 по июль 2023

Выполнял функции одновременно трёх линий поддержки по продуктам разработанным в "Управлении данными и аналитикой": дашборды (Tableau), витрины (Vertica), тракты данных и интеграции (ELT в Airflow и Nifi).

• Обрабатывал массовые запросы на консультацию по доступам.
• Давал расширенные консультации по разработке дашбордов и написанию запросов к аналитической базе для self-service.
• Решал жалобы пользователей на ошибки или поломки продуктов.
• Проводил обратный инжиниринг дашбордов, витрин, etl/elt-скриптов.
• Реализовывал запросы на минорные доработки.
• Мониторил, разбирал и давал предложения по устранению инцидентов трактов данных.
• Работал с инцидентами платформы данных, в части коммуникации с пользователями и сбора фактуры по инцидентам.
• Модерировал Tableau сервер.
• Поддерживал ролевую модель доступов к продуктам.
• Писал инструкции для сотрудников поддержки и пользователей.

Основные достижения:

• Подготовил фактуру для обоснования запуска проекта по ликвидации технического долга:
  • обратил внимание руководства на наиболее проблемные продукты на поддержке;
  • собрал статистику обращений по проблемным продуктам;
  • описал типовые проблемы, с которыми сталкиваются внутренние пользователи.
• Создал дашборд и витрину со статистикой работы команды поддержки и её сотрудников
  • с ключевыми метриками (SLA по своевременности обработки обращений и удовлетворённости пользователей)
  • и вспомогательными (загруженность сотрудника, временные затраты на обработку, поиск решения, коммуникацию, сложность обращений).
• Написал инструкции для новых сотрудников по обязанностям и инструментам, что позволило больше времени уделять обращениям третьей линии, вместо первых двух.

Министерство было упразднено, что стало основанием для увольнения.

• Выполнял задачи по сбору разрозненной отчётности с подведомственных регионов и организаций, смежных отделов и федеральных органов власти, сведению этой отчётности и подготовке на её основе аналитических материалов для текущей работы и заседаний руководства.
  
• Инициативно ввёл в практику анализ таможенной статистики в Excel по направлениям работы, продемонстрировал руководству Министерства результаты проведённого анализа и получил поддержку для включения подобной аналитики в регулярно подготавливаемые аналитические материалы.
  
• Дополнительно вёл отчётность и аналитику по демографии подведомственного федерального округа.
  
• Также участвовал в подготовке и сопровождении участия Министерства и его первых лиц в экономических, инвестиционных и отраслевых форумах.
  
• Параллельно был введён в состав Рабочей группы в области торгово-экономического, инвестиционного и регионального сотрудничества при Российско-Иракской комиссии по торговле, экономическому и научно-техническому сотрудничеству в качестве ответственного секретаря.
  
• Готовил крупный обмен бизнесс-миссиями, пока не было принято решение о расформировании Министерства.