Проект - Интегрированная Фабрика Данных
Участвовал в реализации MVP обновлённой модели данных, по итогам которого было принято решение двигаться в другом направлении.
Архитектура данных
с августа 2023 по июнь 2024
Совместно с владельцем продукта собирал и анализировал требования к аналитическим продуктам, от переноса отчётов с экселей на дашборды в Tableau и FineBi, до внедрения решений на основе машинного обучения, и всё с интеграцией и обработкой данных с помощью Airflow и Nifi и хранением данных в Озере на Vertica.
Проводил системный анализ источников данных, готовил для них маппинги на объекты в Озере и ставил задачи на интеграции инженерам данных.
Проектировал модели данных продуктов в разработке в соответствии с требованиями к логической модели детального слоя данных.
Готовил SQL (DDL+DML) составляющую скриптов обработки данных, начиная с исторического слоя и заканчивая витринами, с учётом ограничений держателей платформы данных на потребление ресурсов.
Проактивно участвовал как во внутрикомандных коммуникациях, так и с заказчиком, особенно в части ориентации продукта на передачу на поддержку, с учётом предыдущего опыта поддержки продуктов.
Писал документацию к разработанному продукту в архитектурной части для передачи на поддержку.
Основные достижения связаны со значительным сокращением трудозатрат, благодаря предложениям:
Поддержка аналитических продуктов
с декабря 2021 по июль 2023
Выполнял функции одновременно трёх линий поддержки по продуктам разработанным в "Управлении данными и аналитикой": дашборды (Tableau), витрины (Vertica), тракты данных и интеграции (ELT в Airflow и Nifi).
Основные достижения:
Министерство было упраздненно, что стало основанием для увольнения.
Выполнял задачи по сбору разрозненной отчётности с подведомственных регионов и организаций, смежных отделов и федеральных органов власти, сведению этой отчётности и подготовке на её основе аналитических материалов для текущей работы и заседаний руководства.
Дополнительно вёл отчётность и аналитику по демографии подведомственного федерального округа.
Также участвовал в подготовке и сопровождении участия Министерства и его первых лиц в экономических, инвестиционных и отраслевых форумах.
Параллельно был введён в состав Рабочей группы в области торгово-экономического, инвестиционного и регионального сотрудничества при Российско-Иракской комиссии по торговле, экономическому и научно-техническому сотрудничеству в качестве ответственного секретаря.
Готовил крупный обмен бизнесс-миссиями, пока не было принято решение о расформировании Министерства.
Магистр политических наук , технологии дестабилизации политических режимов, SPSS.
Бакалавр политических наук, "арабская весна".
В ходе повышения квалификации освежил и дополнил, систематизировал и отработал в практических заданиях знания по:
В рамках финального проекта разработал дизайн для системы глобального дейтингового сервиса.
За полгода погружения в аналитику данных с командой Практикума освоил стэк инструментов и приобрёл навыки позволившие реализовать более десятка различных проектов.
При работе над проектами использовал следующий стэк:
Выполнял задачи:
Реализованные проекты и навыки отработанные в них:
Все выполненные проекты в репозитории -https://github.com/Vipanzer/data_analysis_prof_at_yandex_practicum