Дмитрий Останков

- Построил корпоративную Data Platform с нуля: спроектировал многослойную архитектуру DWH (staging - core - datamart), консолидировал данные из 10+ источников и разработал поверх разработанного хранилища внутреннюю систему отчетности - 20+ дашбордов для разных подразделений.
- Построил data-контур для ML-продукта: хранилище обучающих данных и ответов AI-моделей на ClickHouse.
- Настроил асинхронный обмен с ML-сервисом через RabbitMQ - более 1000 запросов/час - с мониторингом отказов.
- Снизил Data Latency в 5 раз, проведя миграцию legacy-системы интеграции с Java и Apache NiFi на связку Airflow + PostgreSQL + ClickHouse; в процессе перенес 75+ таблиц в ClickHouse и 35+ ETL-пайплайнов в Airflow, упростив отладку и настройку.
- Внедрил мониторинг качества данных: фреймворк проверок с алертингом в email и корпоративных мессенджерах, сократил время реакции на аномалии с нескольких часов до 5-10 минут.
- Развернул Big Data-инфраструктуру: настроил кластер Apache Kafka для потоковой загрузки данных (50K+ событий/сек) и поднял Apache Spark для тяжелых batch-задач.
- Оптимизировал хранение и SQL-запросы в Greenplum: настраивал distribution keys, партицирование и типы сжатия, что сократило объем данных на 25% и ускорило тяжелые витрины.
- Настраивал MinIO (S3) как промежуточное хранилище в пайплайнах Airflow, а затем как основу для data lakehouse.
- Закрыл потребности бизнес-команд в аналитике: от ad-hoc запросов и funnel-анализов до дашбордов в Power BI и Metabase, автоматизировал генерацию и доставку отчетов (PDF, Excel, email, мессенджеры, облачные хранилища), сэкономив аналитикам 8+ часов ручного труда в неделю.
- Написал документацию на продукт (архитектура, потоки данных, витрины, сетевые связанности), которая стала основным источником знаний по продукту для команды.
- Вырастил трех стажеров за год, обучив их навыкам от основ SQL и BI до самостоятельной разработки ETL-процессов и отчетности.

- Автоматизировал процессы подготовки данных и формирования отчетности на Python, сократив время подготовки на 60%.
- Разрабатывал и поддерживал хранилище отчетности и BI-дашборды для продуктовых и бизнес-метрик.
- Разрабатывал dbt-модели для staging и mart-слоев, стандартизируя трансформации данных.
- Разработал и внедрил систему мониторинга качества данных, что снизило количество инцидентов, связанных с некорректными данными.
- Настраивал интеграцию с внешними источниками через API.
- Участвовал в разработке ML-решения для задач классификации в продуктовой аналитике и предсказания количества новых пользователей в системе.
- Собирал бизнес-требования и формировал функциональные требования к
информационным системам.

- Настроил регулярное извлечение данных из Excel и CSV в PostgreSQL, который стал единым источником для всей отчетности в компании.
- Автоматизировал подготовку аналитической отчетности на Python, сократив время обработки данных с 4 часов до 30 минут.
- Разработал и сопровождал Airflow-пайплайны для автоматической генерации еженедельной и ежемесячной отчетности и отправку ее через email-рассылки и мессенджеры.
- Оптимизировал тяжелые SQL-запросы к большим объемам данных.
- Проектировал и настраивал аналитические витрины по требованиям бизнес-заказчиков.
- Разрабатывал BI-дашборды и взаимодействовал с аналитиками и бизнес-заказчиками.