Восстановление изображений с перекрытым объективом по предыдущим кадрам с ограничениями на источники данных для интеллектуальных транспортных средств
Ключевые слова:
интеллектуальные транспортные средства, автомобильные камеры, перекрытие объектива, восстановление по предыдущим кадрам, происхождение пикселей, компенсация движения, выборочное восстановление, системы помощи водителюАннотация
Предыдущие кадры камеры могут помочь восстановить часть изображения, закрытую загрязнением объектива. Однако подлинный пиксель из прошлого кадра может показывать устаревшее положение объекта. В статье предложено правило временного восстановления, которое принимает только недавние наблюдения из незакрытых участков, требует согласованности двух исторических образцов и исключает потенциально динамические области. Отклонённые пиксели остаются неизвестными, а восстановленные изображения не пополняют историю исходных наблюдений. В контролируемом эксперименте с созданными на компьютере дорожными сценами проверены три уровня движения, три размера перекрытия, три ошибки совмещения и четыре режима сохранения динамической маски. При точном совмещении фона и полном исключении динамических областей правило восстанавливает 9,72% закрытых пикселей с нулевой ошибкой на принятом подмножестве. Перенос незакрытых исходных пикселей восстанавливает 63,31% при средней абсолютной ошибке RGB 0,0596. При ошибке совмещения в два пикселя доля восстановления методом с ограничениями достигает 13,79%, но у 2,91% принятых пикселей ошибка превышает 0,10. Отмена исключения динамических областей также допускает устаревшие данные о пешеходе. Результаты показывают компромисс между долей восстановления и ошибкой. Одного отслеживания происхождения пикселя недостаточно, чтобы подтвердить соответствие повторно используемых данных текущей сцене. Необходима оценка на записях дорожного движения и в последующих задачах машинного восприятия
Библиографические ссылки
Yogamani, S., Hughes, C., Horgan, J., Sistu, G., Varley, P., O’Dea, D., Uricar, M., Milz, S., Simon, M., Amende, K., Witt, C., Rashed, H., Chennupati, S., Nayak, S., Mansoor, S., Perrotton, X., & Perez, P. (2019). WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 9308–9318). IEEE. DOI: 10.1109/ICCV.2019.00940
Uricar, M., Krizek, P., Sistu, G., & Yogamani, S. (2019). SoilingNet: Soiling detection on automotive surround-view cameras. In 2019 IEEE Intelligent Transportation Systems Conference (ITSC) (pp. 67–72). IEEE. DOI: 10.1109/ITSC.2019.8917178
Teed, Z., & Deng, J. (2020). RAFT: Recurrent all-pairs field transforms for optical flow. In Computer Vision – ECCV 2020 (pp. 402–419). Springer. DOI: 10.1007/978-3-030-58536-5_24.
Meister, S., Hur, J., & Roth, S. (2018). UnFlow: Unsupervised learning of optical flow with a bidirectional census loss. Proceedings of the AAAI Conference on Artificial Intelligence, 32(1). DOI: 10.1609/aaai.v32i1.12276.
Li, Z., Lu, C.-Z., Qin, J., Guo, C.-L., & Cheng, M.-M. (2022). Towards an end-to-end framework for flow-guided video inpainting. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 17541–17550. DOI: 10.1109/CVPR52688.2022.01704.
Zhou, S., Li, C., Chan, K. C. K., & Loy, C. C. (2023). ProPainter: Improving propagation and transformer for video inpainting. Proceedings of the IEEE/CVF International Conference on Computer Vision, 10443–10452. DOI: 10.1109/ICCV51070.2023.00961.
Geifman, Y., & El-Yaniv, R. (2019). SelectiveNet: A deep neural network with an integrated reject option. In K. Chaudhuri & R. Salakhutdinov (Eds.), Proceedings of the 36th International Conference on Machine Learning (Proceedings of Machine Learning Research, Vol. 97, pp. 2151–2159). PMLR. https://proceedings.mlr.press/v97/geifman19a.html
International Organization for Standardization. (2022). Road vehicles—Safety of the intended functionality (ISO Standard No. 21448:2022). https://www.iso.org/standard/77490.html
Geiger, A., Lenz, P., & Urtasun, R. (2012). Are we ready for autonomous driving? The KITTI vision benchmark suite. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 3354–3361. DOI: 10.1109/CVPR.2012.6248074.
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
