Разработка и оптимизация ML/CV-решений:
-классификация (ResNet, EfficientNet),
-детекция (YOLO, Faster R-CNN),
-сегментация (U-Net, SAM),
-трекинг (DeepSORT,Bot-SORT, ByteTrack), 3D-реконструкция.
-keypoint detection и pose estimation
Полный цикл ML:
-сбор (ftp, rtsp, png/jpg, avi)
-разметка данных (CVAT, Roboflow, LabelStudio),
-обучение моделей (PyTorch, оптимизаторы: Adam, RMSprop),
-конвертация в (ONNX/TensorRT/OpenVINO и др. форматы моделей);
-достижение необходимого качества по метрикам (mAP, F1-score, Precision/Recall, IoU) и скорости инференса моделей (квантование, pruning, TensorRT) согласно требованиям заказчика по ТЗ, дообучение моделей, работа с ошибками (FN/TP оптимизация);
-деплой на NVIDIA Jetson (Docker, Kubernetes), CV Savant DeepStream
MLOps: управление артефактами (MLflow, Sonatype Nexus), логирование, мониторинг (Kibana), CI/CD (Azure DevOps).
Настройка Linux-инфраструктуры для CV:
-Установка и обновление драйверов NVIDIA CUDA, оптимизация версионной совместимости (CUDA 11.x/12.x, cuDNN).
-Автоматизация обновлений драйверов NVIDIA через Ansible
-Управление пакетами для ML-стеков: компиляция библиотек (OpenCV with CUDA, PyTorch), настройка виртуальных окружений.
-Адаптация репозиториев (apt, Nexus) под требования проектов CV.
-Деплой CV-моделей на GPU-серверах и edge-устройствах (Nvidia Jetson) с поддержкой CUDA-ускорения.
Работа с данными: анализ (pandas, numpy), профилирование, визуализация (Matplotlib), SQL-запросы.
Управление задачами: оценка трудозатрат (+/-10%), устранение инцидентов в production, Agile (Scrum/Kanban).
Взаимодействие с заказчиками: сбор требований, внедрение ПО на производственных объектах, документирование.
- Python 3.9 для анализа данных и машинного обучения (Jupiter notebook/Jupiter Lab, PyCharm, Data Spell, RStudio, Google Colab)
- Алгоритмы машинного обучения (Linear Regression, Logistic Regression, K-Nearest Neighbors, Decision Trees and Random Forests, Support Vector Machines, K-Means Clustering, Principal Component Analysis, Linear discriminant analysis, Bayesian classifier, Learning vector quantization, Boosting and AdaBoost)
- Квантовое машинное обучение, исследовательская работа на практических данных (вариационный квантовый классификатор при сохрании квантовой схемы, работа с библиотекой Qiskit)
- Работа с базами данных SQL
- Работа с нейронными сетями и оптимизация архитектуры сетей для решаемых задач (ResNet, VGG, FCN, NAS, Sequence-to-sequence, U-net, ASPP, R-CNN, SSD/YOLO(up to 5), GAN, 2D GAN, DCGAN, RNN, LSTM, RL, DQN, HN, VAE, DN)
- Работа с поиском лучших функций потерь для обучения сетей
- Работа с TensorRT, для оптимизации нейросетей, поканальная сепарабельная свертка, прунинг
- Работа с исследованием новых подходов к unsupervised learning, для очистки шумных данных
- Работа с deep learning и обучение нейронных сетей
- Работа с алгоритмы ансамблирования нейронных сетей
- Metric learning признаков для распознавания
- Работа с баесовскими нейронными сетями для распознавания
- Работа со сверточными нейронными сетями
- Работа с обучением нейронных сетей для распознавания объектов, трассировка лица, распознавание лица, сегментация изображений, predict образов согласно данных и анализа данных, подготовка данных для обучения (фото, видео, картинки)
- Работа с разметкой изображений (Roboflow, LabelImg), подготовка датасетов
- Работа с оптимизацией алгоритмов под данные
- Работа с CSV, XML, XLS, IMG, video stream
- Работа с инструментами визуализации plotly, matplotlib, seaborn
- Язык R и основных библиотек визуализации (ggplot2 – Tidyverse), а также с разработкой интерактивных дашбордов и приложений на R
- Разработка готовых аналитических отчетов для принятия бизнес решения исходя из анализа данных деятельности компаний или исследований конкретной задачи
- Деплоймент нейросетевых моделей
- Исследовательская деятельность в области машинного обучения и анализа данных компаний и их деятельности
- Разработка собственного проекта компьютерного зрения для научных целей
- Руководство командой разработчиков ML проекта «AiTZSM» охранная система компании
- Контроль исполнения поручений команды разработчиков ML отдела
- Формулировка и постановка задач перед командой проекта
- Работа с обучением нейронных сетей для обработки видеопотока периметра компании
- Сбор, систематизация и анализ данных с использованием разработанных алгоритмов, а также их улучшение
- Проверка качества и скорости работы моделей ML
- Работа с арендаторами компании по предоставлению доступа к работе охранной системы
- Работа с сжатием, ускорением и оптимизацией сетей для аппаратной архитектуры
- Работа использованием новых метрик для детекции/сегментации, распознавание объектов
- Работа со сбором и обработкой данных для обучения моделей
- Работа по предоставлению обнаруженных аномалий компаниям арендаторам находящиеся на (несанкционированный доступ, неопознанные объекты, нарушение периметра допустимой области, обнаружение краж и других несанкционированных проникновений)
- Разработка документации по предоставлению и сбору персональных данных
- Работа по приобретению и подбору необходимой для работы техники
- Модернизация и улучшение бизнес-процессов компании на уровне руководителя
- Переговоры с ЛПР по работе охранной системы
- Разработка плана-карты развития проекта
- Поддержание позитивного и продуктивного настроя команды разработчиков
Результаты работы:
- Удалось снизить на 85% прецеденты связанные с кражами и несанкционированных доступов на территорию компании, без присутствия человека.
- Уменьшили количество противоправных действий в целом на территории, без присутствия человека
- Улучшили контроль за территорией, что позволило в режиме реального времени детектировать все нарушения, без присутствия оператора
- Улучшили систему идентификации личностей посещения компании, что позволило уменьшить количество недопущенных лиц, не имеющих разрешение на посещение, благодаря двухфакторной проверки лица и карт доступа СКУД
- Улучшили систему обнаружения допустимых транспортных средств находящиеся на территории, и идентифицировать не допущенных
- Улучшили контроль и обработку данных внутри компании
- Сократили издержи на содержание лиц выполняющих обязанности охранников на 90%, что в месячном выражении тратилось более 200 тыс. руб.