Методы и быстродействующие алгоритмы повышения качества изображений, полученных в реальных погодных условиях в различное время суток, при наличии тумана, мелкодисперсных частиц и локализованных источников освещения

Проект РФФИ 20-07-00441 А

Удаление тумана и мелкодисперсной пыли на изображениях, полученных в реальных погодных условиях, является актуальной задачей технического зрения. Во-первых, решение такой задачи само по себе играет существенную роль в системах улучшенного зрения, а во-вторых, большинство алгоритмов анализа изображений, независимо от того, осуществляют ли они низкоуровневую обработку, сегментацию изображений, детектирование и распознавание объектов и сцен на более высоком уровне, традиционно принимают на вход значения интенсивности светового излучения. Искаженное или слабоконтрастное входное изображение непосредственно влияет на точность и эффективность алгоритмов обработки и анализа изображений. Большинство современных алгоритмов устранения тумана и пыли на изображениях, имеют достаточно строгие априорные ограничения, не позволяющие работать в широком диапазоне погодных условий и условий освещения. Кроме того, восстановленные изображения могут содержать видимые артефакты, а фотометрическая информация может быть искажена. В то же время, существенное повышение разрешения камер, а также широкое использование мобильных платформ, предъявляют дополнительные требования к вычислительной эффективности и ресурсоемкости применяемых алгоритмов анализа изображений. Фундаментальной задачей данного проекта является разработка методов и алгоритмов улучшенного зрения для систем видеоанализа в реальных погодных условиях, способных работать как в дневное, так и в ночное время и ориентированных, в том числе, на мобильные платформы. Основными задачами проекта являются: Разработка улучшенного алгоритма для точного и вычислительно эффективного восстановления изображения, полученного в условиях тумана, наличия локализованных источников освещения и частиц пыли в атмосфере на основе универсального экстрактора атмосферного освещения и вероятностной нормальной-гамма модели данных. Создание алгоритма устранения тумана и мелкодисперсных частиц для изображений, полученных в темное время суток. Разработка комбинированного алгоритма, способного обеспечить корректные результаты восстановления в широком диапазоне погодных условий, включая темное и светлое время суток, наличие локализованных источников освещения и частиц пыли в атмосфере.

Результаты первого года выполнения проекта

Разработан новый метод совместной оценки карты рассеивания и атмосферной освещенности с использованием одноклассового цветового классификатора и вероятностной гамма-нормальной модели для задачи устранения тумана на изображении с учетом различного затухания отдельных цветовых компонент. Схема метода представлена на рисунке

 

Разработана новая постановка задачи одноклассовой классификации, позволяющая устранить геометрические несоответствия штрафов на выход объектов обучающей выборки за пределы описывающей гиперсферы и расстояние до её центра и тем самым обеспечить корректный учет влияния нетипичных объектов на итоговое решающее правило

Параметрическое представление в пространстве цветовых компонентФормирование обучающей совокупности

 

Основной идеей описания набора данных, представленных  числовыми признаками  методом SVDD является построение внешней границы вокруг данных в виде гиперсферы. Параметрами, задающими гиперсферу, являются ее центр  и радиус . Гиперсфера подбирается таким образом, чтобы ее радиус был минимален, но при этом большая часть объектов обучающей совокупности не выходила за ее пределы.

Классический критерий

Модифицированный критерий, устраняющий геометрические несоответствия штрафов

 

 - мера расстояния между двумя объектами в

 

Результаты экспериментов, показывающее большее смещение решающего правила у классического SVDD при различных значениях параметра C и меры Жаккара J приведены на следующем рисунке

 

Linear kernel

RBF

Модифицированный
 критерий

SVDD

Модифицированный
 критерий

SVDD

Сформирована база изображений, полученных в условиях плохой видимости

 

1000 синтезированных изображений SOTS indoor and outdoor sets
 [B. Li et al., “Benchmarking Single-Image Dehazing and beyond,” IEEE Trans. Image Process., vol. 28, no. 1, pp. 492–505, 2019]

75 реальных изображенийI-HAZE and O-HAZE sets
[C. O. Ancuti, C. Ancuti, R. Timofte, and C. De Vleeschouwer, “I-HAZE: A dehazing benchmark with real hazy and haze-free indoor images. arXiv 2018,” arXiv Prepr. arXiv1804.05091,
C. O. Ancuti, C. Ancuti, R. Timofte, and C. De Vleeschouwer, “O-haze: a dehazing benchmark with real hazy and haze-free outdoor images,” in Proceedings of the IEEE conference on computer vision and pattern recognition workshops, 2018, pp. 754–762.]

 

 

27 реальных изображений, отобранных из Foggy Driving set
http://people.ee.ethz.ch/~csakarid/SFSU_synthetic/

 

 

Проведены экспериментальные исследования созданных алгоритмов

Graphical user interface, website

Description automatically generated

a) Исходное изображение; b) Berman; c) FFA NET; d) He; e) Zhu; f) Предложенный метод

 

·         cc_aa_ncd - Dhara, S.K., Roy, M., Sen, D. and Biswas, P.K. 2020. Color Cast Dependent Image Dehazing via Adaptive Airlight Refinement and Non-linear Color Balancing. IEEE Transactions on Circuits and Systems for Video Technology. 8215, c (2020), 1–1.8DOI:https://doi.org/10.1109/tcsvt.2020.3007850.

·         Berman - Berman, D., Treibitz, T. and Avidan, S. 2016. Non-local Image Dehazing. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2016), 1674–1682.

·         FFA-Net- Qin, X., Wang, Z., Bai, Y., Xie, X. and Jia, H. 2019. FFA-Net: Feature Fusion Attention Network for Single Image Dehazing. (2019). DOI:https://doi.org/10.1609/aaai.v34i07.6865.

·         He - He, K., Sun, J. and Tang, X. 2011. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence. 33, 12 (2011), 2341–2353. DOI:https://doi.org/10.1109/TPAMI.2010.168.

·         Zhu - Zhu, Q., Mai, J. and Shao, L. 2015. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior. IEEE Transactions on Image Processing. 24, 11 (2015), 3522–3533. DOI:https://doi.org/10.1109/TIP.2015.2446191.

 

Публикации по проекту:

 

1.         Ларин А. О., Середин О. С., Копылов А.В. Модифицированный критерий для описания данных гиперсферой с учетом нетипичных объектов. Известия Тульского государственного университета. Технические науки. 2020. № 10. С. 231-239. https://tidings.tsu.tula.ru/tidings/pdf/web/preview_therest_ru.php?x=tsu_izv_technical_sciences_2020_10_d&year=2020

2.         Филин Андрей Игоревич, Грачева Инесса Александровна, Копылов Андрей Валериевич. Совместная оценка карты рассеивания и атмосферной освещенности с использованием вероятностной гамма-нормальной модели для задачи устранения тумана на изображении. Интеллектуализация обработки информации: Тезисы докладов 13-й Международной конференции, г. Москва 2020 г. М.: Российская академия наук, 2020. С. 332-335. http://www.machinelearning.ru/wiki/images/3/31/Idp20.pdf

3.         Ларин Александр Олегович, Середин Олег Сергеевич, Копылов Андрей Валериевич. Критерий одноклассовой классификации при наличии нетипичных объектов в обучающей выборке. Интеллектуализация обработки информации: Тезисы докладов 13-й Международной конференции, г. Москва 2020 г. М.: Российская академия наук, 2020. С. 29-30. http://www.machinelearning.ru/wiki/images/3/31/Idp20.pdf

4.         Andrei I. Filin, Inessa A. Gracheva, and Andrei V. Kopylov. 2020. Haze Removal Method Based on Joint Transmission Map Estimation and Atmospheric-Light Extraction. In The 4th International Conference on Future Networks and Distributed Systems (ICFNDS) (ICFNDS ’20), November 26, 27, 2020, St.Petersburg, Russian Federation. ACM, New York, NY, USA, 6 pages. https://doi.org/10.1145/3440749.3442663 (в печати)

5.         Aleksandr O. Larin, Oleg S. Seredin, Andrey V. Kopylov. 2020. Reducing the Impact of Outliers on the One-Class Classification Decision Rule. In The 4th International Conference on Future Networks and Distributed Systems (ICFNDS) (ICFNDS ’20), November 26, 27, 2020, St.Petersburg, Russian Federation. ACM, New York, NY, USA, 9 pages. https://doi.org/10.1145/3440749.3442662 (в печати).