Детектор дорожных ям

Система устанавливается на городской транспорт и автоматически выявляет дорожные ямы и дефекты покрытия.

Задачи

Обучить модель детектировать дефекты дорожного полотна (ямы, трещины, выбоины).
Реализовать обработку в реальном времени: обнаружение дефекта и сохранение его координат на ходу.
Интегрировать решение в компактное устройство на базе Jetson.
Снизить нагрузку на инспекторов и ускорить реакцию на проблемы на дорогах.

О проекте

Модель в реальном времени анализирует видеопоток с камеры, отмечая проблемные участки на карте с привязкой к GPS. Это позволяет ускорить диагностику дорог и снизить нагрузку на инспекторов.

Ранее дорожные службы полагались на плановые объезды и обращения граждан, чтобы выявить дефекты покрытия. Такой подход был медленным и не охватывал весь объём проблем.

Мы разработали модульную систему на базе NVIDIA Jetson, совмещающую камеру, GPS и LTE-модем, а также обучили модель компьютерного зрения для детекции ям и трещин. Модули устанавливаются на общественный транспорт и собирают данные в фоновом режиме — в процессе обычных рейсов.

Результаты

92%точность на тестовой выборке, высокая устойчивость к погоде и освещению

25кадров в секунду - скорость обработки видеопотока в реальном времени

YOLOv7База для разработаной модели детекци. Обучена на специализированном датасете дефектов дорог

Вызовы и решения

Ограниченные вычислительные ресурсы: Jetson требует оптимизации модели. Использовали аппроксимацию и сжатие весов, перевели модель в TensorRT.
Сложные погодные условия: Дождь, снег и тени мешали детекции. Добавили в обучение соответствующие аугментации и применили адаптивную нормализацию изображения.
Нестабильный интернет: Для офлайн-работы предусмотрена буферизация координат и выгрузка при восстановлении связи.