Дмитрий Ширшов

• Построение и поддержка стека AI-автоматизации инженерных процессов в Альфа-Банке (один из топ-3 банков России по активам).

Ключевые достижения:

• Сервис аномалий для data-пайплайнов: охват ~200 бизнес-таблиц из ~1 000 доступных; время ответа на инцидент сокращено с ~1 рабочего дня до ~4 часов (~75%).
• Агент автоматизации DWH-миграций: сокращение TTM задачи с 10 рабочих дней до 1 дня (~90%); 154 бизнес-сущности мигрированы за первый месяц.
• Агентский ассистент code-review: обрабатывает ~4 PR/день на репозиторий; 70% замечаний принимаются разработчиками.

Стек: Python · LLM · RAG · Agentic Workflows · Agentic Memory · OpenAI Agents SDK · Anthropic SDK · LangChain · LangGraph · Kubernetes

Разработка и поддержка data-пайплайнов и ETL/ELT-процессов для корпоративной инфраструктуры Альфа-Банка.

Ключевые задачи и достижения:

• Построение и поддержка батчевых пайплайнов с объёмом обработки до ~200 ГБ/запуск (Spark, Airflow, Oracle, Greenplum, ClickHouse, S3/Iceberg LakeHouse).
• Разработка Flink CDC стриминговых приложений для CDC; пропускная способность до ~1 ТБ сообщений/день.
• Деплой и эксплуатация пайплайнов на Kubernetes (K8S); REST и Swagger API интеграции.
• Работа с OLAP и транзакционными слоями: Oracle, Greenplum, ClickHouse, S3/Iceberg.
• Участие в разработке компонент маскирования данных и валидации бизнес-логики ETL.
• Техническое собеседование кандидатов; наставничество в рамках внутреннего центра компетенций.

Стек: Python · SQL · Spark · Flink · Kafka · Airflow · Oracle · Greenplum · ClickHouse · Bash · Swagger · OLAP · K8S · Git

Backend data engineering и разработка распределённых систем в Sberbank CIB (инвестиционное подразделение Сбербанка).

Ключевые задачи и достижения:

• Построение масштабируемых пайплайнов распределённой обработки данных: Scala, Spark, Kafka на enterprise-уровне.
• Разработка OCR-системы для автоматического извлечения текста из документов (~10 000 документов за batch-запуск; эмпирическая точность извлечения ~73%).
• Реализация REST и gRPC микросервисов; сборка через Maven.
• Участие в разработке пайплайнов загрузки графовых эмбеддингов.
• Внедрение логики расчёта транзитивных цепочек с адаптивной глубиной связи.
• Переработка и улучшение логики логирования в основном рабочем фреймворке.
• Самостоятельная сборка релизов.

Стек: Scala · Python · Spark · Kafka · Maven · Bash · REST · gRPC · Flink · SQL · Git · Linux

Прикладной Machine Learning и Data Science в Sberbank CIB, фокус — разработка production ML-моделей.

Ключевые задачи и достижения:

• Ответственность за разработку OCR-системы для автоматического извлечения текста из документов: ~10 000 документов за batch-запуск, эмпирическая точность извлечения ~73% (измерено на hold-out выборках).
• Применение алгоритмов ML (классификация, регрессия) к банковским наборам данных.
• Участие в пайплайне productionization моделей; code review и рабочие процессы оценки моделей.
• Проверка кода на соответствие дизайну для ML-моделей на основе документации.
• Участие в разработке валидационного фреймворка на Python.

Стек: Python · Machine Learning · OCR · Scikit-learn · Pandas · NumPy · SQL · Git · PostgreSQL · Kafka · Spark

Первая профессиональная роль в Data Science — применение ML-методов к реальным банковским данным, OCR-системы и автоматизация обработки документов.

Ключевые задачи:

• Распознавание информации из ~12 000 документов нотариальных доверенностей с использованием OCR.
• Доработка алгоритма для распознавания информации из страховых полисов «Сберстрахования».
• Настройка Apache Spark для работы с Greenplum на кластере.
• Разработка утилиты для перекладки архивированных CSV-файлов в требуемую файловую систему.

Стек: Python · Machine Learning · OCR · PostgreSQL · Apache Spark · Git · Docker