Computer Vision Engineer

Описание задачи: Доработка системы визуальной локализации БПЛА (VLOC)

О проекте:

MVP-версия дашборда для трекинга дрона в реальном времени. Система принимает видеопоток, сопоставляет его с эталонными видеозаписями (к которым привязаны координаты) и отображает положение дрона на карте Leaflet. Проект рассчитан на локальный запуск (1-2 потока одновременно).

Железо: Ноутбук с мобильной RTX 5050.

Стек: Python 3.10+, FastAPI, SQLite, Docker. Фронтенд: чистый JS + Leaflet.js.

Что уже РЕАЛИЗОВАНО :

Вся обвязка и инфраструктура готовы и работают:

• Захват потока (RTSP/WebSocket) с аппаратным декодированием (NVDEC).
• Zero-latency буфер (алгоритм всегда забирает только самый свежий кадр, пропуская очередь).
• API-эндпоинты (FastAPI) и передача данных на фронтенд по WebSockets.
• База данных (SQLite), где лежат эталонные кадры и их GPS-координаты.
• Модели SuperPoint и LightGlue уже заведены в проект и крутятся на CUDA.

В чем текущая проблема

Сейчас модуль локализации работает по принципу примитивного Image Retrieval. Он использует ResNet18: находит максимально похожий кадр в базе и копирует его координаты. Из-за этого нет Pose Estimation, если дрон летит параллельно эталонному маршруту, метка на карте не смещается, а прилипает к эталонному треку.

Что нужно сделать:

• Необходимо переписать математику, осуществив переход от Retrieval к честному Pose Estimation и добавив расчет геометрии для видео-слоя.
• Задача 1: Точная локализация (Метка дрона)
• Feature Matching: Использовать связку SuperPoint + LightGlue для нахождения соответствий между Live-кадром и ближайшим кадром из эталона.
• Metric Offset: На основе найденных матчей вычислять вектор смещения в метрах (через матрицу гомографии или PnP) с учетом перспективных искажений.
• GPS-коррекция: Прибавлять полученное метрическое смещение к координатам эталонного кадра для получения реальной точки .
• Фильтрация: Жесткий RANSAC для исключения выбросов (ложных матчей на лесах/полях), чтобы метка не прыгала. Выдача индикатора уверенности 0-100% .
  
• Задача 2: Real-time Video-to-Map Overlay (слой на карте)
• На бэкенде рассчитывать точные GPS-координаты 4-х углов текущего кадра ( проекция на плоскость земли). 
  
• Трансформация перспективного изображения в ортофотоплан (вид сверху) в real-time.
  
• Temporal Smoothing: Внедрить сглаживание координат углов (фильтр Калмана или экспоненциальное среднее). Видео аналоговое, матчи могут шуметь, углы не должны дрожать на фронтенде.
• Отдавать эти 4 точки по сокету на фронтенд (там они уже будут применяться к видео-контейнеру через CSS matrix3d).

Ограничения и нюансы:

• Телеметрии и данных IMU в базе нет (дрон летит в один конец). Всю геометрию, наклон камеры и смещение нужно вытаскивать исключительно из визуальных признаков (разложение гомографии) с учетом известной примерной высоты из эталона.
• Обязательна привязка расчетов к PTS видеопотока для исключения рассинхрона видео и метки.

Требования к исполнителю:

• Уровень Senior (от 5 лет в CV).
• Опыт работы с Visual SLAM, 6DoF Pose Estimation, Visual Odometry.
• Уверенное владение OpenCV , глубокое понимание матриц проекции, гомографии и перевода пикселей в метрическую систему координат.
• Опыт оптимизации пайплайнов под real-time (TensorRT/ONNX Runtime).
• Проект Mvp и рассчитывается для демонстрации возможностей. Указанные задачи реально выполнить за две недели.