Редактор интерьера помещений на основе ИИ

Создан алгоритм, который позволяет быстро редактировать интерьер комнаты на основании одной фотографии: менять материалы пола и стен, добавлять или удалять мебель, сохраняя правильную геометрию сцены и тени от освещения.

Задачи

Разработать алгоритм сегментации ключевых поверхностей и предметов интерьера (пол, стены, потолок, мебель).
Восстановить планировку помещения и параметры камеры (позиция, угол обзора, точки схода).
Реализовать наложение новых материалов на выделенные поверхности с учётом перспективы.
Добавить возможность вставки и удаления 3D-моделей мебели.
Переносить исходные тени на новые материалы для сохранения реалистичности сцены.
Прототип веб-приложения, позволяющий редактировать интерьер комнаты по фотографии в реальном времени.
Интеграция и обучение модели сегментации (SWIN, FCN, HRNET, ANN) для точного выделения поверхностей.

Preview Редактор интерьера помещений на основе ИИ

О проекте

Цель проекта — предоставить пользователю веб-инструмент, с помощью которого он может загрузить снимок комнаты и мгновенно «примерить» новые отделочные материалы или расстановку мебели.

Для этого требовалось восстановить 3D-геометрию помещения из единственного изображения, определить положение камеры, отделить основные поверхности (пол, стены, потолок) и существующие объекты, а затем корректно наложить новые текстуры и тени.

Результаты

Поддержаноналожение новых материалов на пол, стены и потолок с сохранением оригинальных теней (OpenCV).

Реализованоопределение геометрии помещения по датасетам LSUN-Room и NonCuboidRoom, а также детекция точек схода (neurvps, lu-vp-detect).

Добавленыфункции удаления мебели (LaMa) и вставки 3D-объектов с автоматической калибровкой камеры (fSpy).

Вызовы и решения

Главная сложность заключалась в том, что из одной фотографии нужно восстановить максимально точную 3D-сцену. Комната может иметь нестандартную форму, разное освещение и частично закрытые поверхности. Для решения этой задачи:

Комбинация нескольких сегментационных сетей улучшила качество масок и позволила гибко выбирать лучшую модель в зависимости от сцены.
Гибридное восстановление планировки (LSUN-Room / NonCuboidRoom) совместно с детекцией точек схода позволило корректно вычислять углы и перспективу даже для неквадратных помещений.
Передача теней реализована с помощью OpenCV: исходные тени выделяются, адаптируются под новые материалы и накладываются поверх них, благодаря чему сцена выглядит фотореалистично.
Удаление объектов LaMa помогает пользователю «освобождать» пространство перед добавлением новой мебели, уменьшая артефакты.
Калибровка камеры через fSpy гарантирует правильное размещение 3D-моделей в сцене, совпадая с оригинальной перспективой фотографии.