Методы и быстродействующие алгоритмы повышения качества изображений, полученных в реальных погодных условиях в различное время суток, при наличии тумана, мелкодисперсных частиц и локализованных источников освещения

Проект РФФИ 20-07-00441 А

Удаление тумана и мелкодисперсной пыли на изображениях, полученных в реальных погодных условиях, является актуальной задачей технического зрения. Во-первых, решение такой задачи само по себе играет существенную роль в системах улучшенного зрения, а во-вторых, большинство алгоритмов анализа изображений, независимо от того, осуществляют ли они низкоуровневую обработку, сегментацию изображений, детектирование и распознавание объектов и сцен на более высоком уровне, традиционно принимают на вход значения интенсивности светового излучения. Искаженное или слабоконтрастное входное изображение непосредственно влияет на точность и эффективность алгоритмов обработки и анализа изображений. Большинство современных алгоритмов устранения тумана и пыли на изображениях, имеют достаточно строгие априорные ограничения, не позволяющие работать в широком диапазоне погодных условий и условий освещения. Кроме того, восстановленные изображения могут содержать видимые артефакты, а фотометрическая информация может быть искажена. В то же время, существенное повышение разрешения камер, а также широкое использование мобильных платформ, предъявляют дополнительные требования к вычислительной эффективности и ресурсоемкости применяемых алгоритмов анализа изображений. Фундаментальной задачей данного проекта является разработка методов и алгоритмов улучшенного зрения для систем видеоанализа в реальных погодных условиях, способных работать как в дневное, так и в ночное время и ориентированных, в том числе, на мобильные платформы. Основными задачами проекта являются: Разработка улучшенного алгоритма для точного и вычислительно эффективного восстановления изображения, полученного в условиях тумана, наличия локализованных источников освещения и частиц пыли в атмосфере на основе универсального экстрактора атмосферного освещения и вероятностной нормальной-гамма модели данных. Создание алгоритма устранения тумана и мелкодисперсных частиц для изображений, полученных в темное время суток. Разработка комбинированного алгоритма, способного обеспечить корректные результаты восстановления в широком диапазоне погодных условий, включая темное и светлое время суток, наличие локализованных источников освещения и частиц пыли в атмосфере.

Результаты выполнения проекта

Создана база данных пар изображений, снятых в условиях тумана и без него с разной степенью освещенности и присутствием локализованных источников света

Основной набор 32 снимка (4 степени насыщенности туманом, 4 уровня освещенности, 2 сцены)

Расширенный набор 64 снимка (8 степеней насыщенности туманом, 4 уровня освещенности, 2 сцены)

    


Помимо пар изображений, полученных без тумана и при разных степенях освещения и концентрации тумана, база содержит карты глубины и тепловизионные изображения сцены.

Получено свидетельство о государственной регистрации базы данных № 2022620627 Российская Федерация. База изображений, полученных в условиях тумана с разным уровнем освещенности: № 2021623361: заявл. 28.12.2021: опубл. 24.03.2022.

Ссылка на базу данных: https://data.mendeley.com/datasets/jjpcj7fy6t/1

Создан комбинированный алгоритм, способный обеспечить корректные результаты восстановления в широком диапазоне погодных условий, включая темное и светлое время суток, при наличии локализованных источников освещения и мелкодисперсных частиц в атмосфере и выполнена его алгоритмическая реализация.

Экспериментальные исследования показали, что в присутствии локализованных источников света карта рассеивания в засвеченных областях оценивалась недостаточно точно – не учитывалось влияние тумана на освещенность от точечных источников света. На основе разработанного метода устранения эффекта размытого свечения вокруг источников света в темное время суток с использованием согласованной оценки принадлежности элементов изображения к источнику освещения в соответствии с функцией атмосферного рассеивания точки создан комбинированный алгоритм, способный обеспечить корректные результаты восстановления в широком диапазоне погодных условий, включая темное и светлое время суток, при наличии локализованных источников освещения и мелкодисперсных частиц в атмосфере. В ходе выполнения проекта предложено использовать степень принадлежности элемента изображения к локализованному источнику света, определяемую на основе одноклассового классификатора, в качестве величины, характеризующей «доверие» соответствующему элементу оценки карты рассеивания при её ректификации на основе гамма-нормальной модели. В соответствии с этим подходом, в участках изображения, имеющих высокую оценку принадлежности к точечным источникам света, доверие к оценкам карты рассеивания, полученным на основе метода темнового канала, будет низким, и оценка будет опираться на оценки карты рассеивания в соседних элементах.

Программа восстановления изображений, полученных при наличии тумана в широком диапазонеусловий освещения, представляет собой реализацию разработанного в ходе выполнения проекта эффективного в вычислительном плане метода удаления туманана изображении, основанного на совместной оценке карты светопередачи и извлеченного атмосферного света с использованием вероятностной гамма-нормальноймодели. Усовершенствованная версия универсального метода извлечения атмосферного света на изображении позволяет уменьшить влияние локализованныхисточников света на результат обработки.

Получено свидетельство о государственной регистрации программы для ЭВМ № 2023612727 Российская Федерация. Программа восстановления изображений, полученных при наличии тумана в широком диапазоне условий освещения : № 2023611307 : заявл. 25.01.2023 : опубл. 07.02.2023.

Проведено экспериментальное исследование и уточнение созданных алгоритмов

Изменение среднего времени обработки в зависимости от размеров изображения

 

Методы принимавшие участие в исследованиях:

1. Dhara S. K. et al. Color cast dependent image dehazing via adaptive airlight refinement and non-linear color balancing //IEEE Transactions on Circuits and Systems for Video Technology. – 2020. – Т. 31. – №. 5. — С. 2076-2081.
2. Qin X. et al. FFA-Net: Feature fusion attention network for single image dehazing //Proceedings of the AAAI Conference on Artificial Intelligence. – 2020. – Т. 34. – №. 07. — С. 11908-11915.
3. Berman D. et al. Non-local image dehazing //Proceedings of the IEEE conference on computer vision and pattern recognition. – 2016. — С. 1674-1682.
4. He K., Sun J., Tang X. Single image haze removal using dark channel prior //IEEE transactions on pattern analysis and machine intelligence. – 2010. – Т. 33. – №. 12. — С. 2341-2353.
5. Zhu Q., Mai J., Shao L. A fast single image haze removal algorithm using color attenuation prior //IEEE
6. Разработанный ранее метод. Filin, A., Gracheva, I., Kopylov, A., Seredin, O. Fast Channel-Dependent Transmission Map Estimation for Haze Removal with Localized Light Sources. In: Dang, N.H.T., Zhang, YD., Tavares, J.M.R.S., Chen, BH. (eds) Artificial Intelligence in Data and Big Data Processing. ICABDE 2021. Lecture Notes on Data Engineering and Communications Technologies, vol 124. Springer, 2022, pp 461–471. https://doi.org/10.1007/978-3-030-97610-1_36
7. Уточненный алгоритм. Андрей Филин, Андрей Копылов, Инесса Грачева. Метод удаления тумана на изображениях, полученных в широком диапазоне условий освещения // Информационные технологии и нанотехнологии (ИТНТ-2023): Сборник трудов по материалам IX Международной конференции и молодежной школы. 2023 (принято в печать)

Публикации по проекту

1.         Ларин А. О., Середин О. С., Копылов А.В. Модифицированный критерий для описания данных гиперсферой с учетом нетипичных объектов. Известия Тульского государственного университета. Технические науки. 2020. № 10. С. 231-239. https://tidings.tsu.tula.ru/tidings/pdf/web/preview_therest_ru.php?x=tsu_izv_technical_sciences_2020_10_d&year=2020

2.         Филин Андрей Игоревич, Грачева Инесса Александровна, Копылов Андрей Валериевич. Совместная оценка карты рассеивания и атмосферной освещенности с использованием вероятностной гамма-нормальной модели для задачи устранения тумана на изображении. Интеллектуализация обработки информации: Тезисы докладов 13-й Международной конференции, г. Москва 2020 г. М.: Российская академия наук, 2020. С. 332-335. http://www.machinelearning.ru/wiki/images/3/31/Idp20.pdf

3.         Ларин Александр Олегович, Середин Олег Сергеевич, Копылов Андрей Валериевич. Критерий одноклассовой классификации при наличии нетипичных объектов в обучающей выборке. Интеллектуализация обработки информации: Тезисы докладов 13-й Международной конференции, г. Москва 2020 г. М.: Российская академия наук, 2020. С. 29-30. http://www.machinelearning.ru/wiki/images/3/31/Idp20.pdf

4.        Filin A., Gracheva I., Kopylov A. Haze removal method based on joint transmission map estimation and atmospheric-light extraction //The 4th International Conference on Future Networks and Distributed Systems (ICFNDS). New York, NY, USA: ACM, 2020. P. 1-6. https://doi.org/10.1145/3440749.3442663

5.        O. Larin A., Seredin O., Kopylov A. Reducing the Impact of Outliers on the One-Class Classification Decision Rule // The 4th International Conference on Future Networks and Distributed Systems (ICFNDS). New York, NY, USA: ACM, 2020. P. 1–5. https://doi.org/10.1145/3440749.3442662

6.      Larin A.O., Seredin O.S., Kopylov A.V. One-Class Classification Criterion Robust to Anomalies in Training Dataset //Pattern Recognition. ICPR International Workshops and Challenges: Virtual Event, January 10–15, 2021, Proceedings, Part V. – Springer International Publishing, 2021. – С. 155-165. https://doi.org/10.1007/978-3-030-68821-9_15

7.     Макарова, А. И., Копылов, А. В., Двоенко, С. Д., & Сулимова, В. В. (2021). Быстрое решение больших задач SVM-регрессии. //Информационные технологии и нанотехнологии (ИТНТ-2021). Сборник трудов по материалам VII Международной конференции и молодежной школы. Самара, 2021. С. 30422.

8.     Филин Андрей Игоревич, Копылов Андрей Валериевич, Середин Олег Сергеевич, Грачева Инесса Александровна, Сурков Егор Эдуардович, Спицын Данила Александрович, Давыдкин Дмитрий Русланович, Костинский Александр Николаевич. NIGHT-HAZE: набор данных для оценки алгоритмов удаления тумана с изображений, полученных в темное время суток. Математические методы распознавания образов: Тезисы докладов 20-й Всероссийской конференции с международным участием, г. Москва 2021 г. М.: Российская академия наук, 2021. С. 245-250. ISBN 978-5-907366-16-9.

9.     Filin, A., Gracheva, I., Kopylov, A., Seredin, O. Fast Channel-Dependent Transmission Map Estimation for Haze Removal with Localized Light Sources. In: Dang, N.H.T., Zhang, YD., Tavares, J.M.R.S., Chen, BH. (eds) Artificial Intelligence in Data and Big Data Processing. ICABDE 2021. Lecture Notes on Data Engineering and Communications Technologies, vol 124. Springer, 2022, pp 461–471. Cham. https://doi.org/10.1007/978-3-030-97610-1_36

10.   Dvoenko Sergey, Kurbakov Mikhail, Tran X. Manh. On Ranking of Image Quality Metrics. Lecture notes on data engineering and communications technologies., 2022, 124, 421-433

11.   Распределенная реализация метода средних решающих правил с умными выборками для больших задач SVM / М. Ю. Курбаков, С. Д. Двоенко, А. В. Копылов, В. В. Сулимова // Информационные технологии и нанотехнологии (ИТНТ-2022) : Сборник трудов по материалам VIII Международной конференции и молодежной школы. В 5-ти томах, Самара, 23–27 мая 2022 года / Под редакцией А.В. Куприянова. Том 5. – Самара: Самарский национальный исследовательский университет имени академика С.П. Королева, 2022. – С. 51842.

12.   Filin, A., Kopylov, A., Seredin, O., & Gracheva, I. Hazy images dataset with localized light sources for experimental evaluation of dehazing methods //The 6th International Workshop on Deep Learning in Computational Physics. – 2022. – С. 19. DOI: https://doi.org/10.22323/1.429.0019.

13.   Двоенко С.Д., Копылов А.В. Восстановление пропусков парных сравнений. Интеллектуализация обработки информации: Тезисы докладов 14-й Международной конференции, г. Москва 2022 г. - М.: Российская академия наук, 2022. C. 21-24. http://www.machinelearning.ru/wiki/images/f/ff/Idp22.pdf

14.   Филин А.И., Копылов А.В., Холичева А.А., Сурков Е.Э., Курбаков М.Ю., Спицын Д.А., Грачева И.А. NIGHT-HAZE-EXT: расширенный набор данных для оценки алгоритмов удаления тумана с изображений, полученных в темное время суток. Интеллектуализация обработки информации: Тезисы докладов 14-й Международной конференции, г. Москва 2022 г. - М.: Российская академия наук, 2022. C. 247-252. http://www.machinelearning.ru/wiki/images/f/ff/Idp22.pdf