Emergency Event Detection and Recognition in Video Monitoring of Elderly Individuals for a Wireless Alert System

Russian-Taiwanese Joint Research Project


Russian Foundation for Basic Research 16-57-52042 MHT-a  Ministry of Science and Technology, Taiwan MOST 105-2923-Е-027-001-MY3 


Map


Intsitutions

Tula State University National Taipei University of Technology

FEDERAL STATE UNITARY ENTERPRISE «STATE RESEARCH INSTITUTE OF AVIATION SYSTEMS»

National Taiwan University
Lomonosov Moscow State University Yuan Ze University

Abstract

There has been an increasing issue across the globe for aging populations in the last decade, mainly aiming at developed countries. Many countries will suffer from a growing old-age dependence ratio over the next 30 years. Russia and Taiwan, as the developed countries, are also facing this challenge indicated above. 

Population Trends

Fall detection system is a key technique used in every emergency alert system to reliably send either social; services or health centers an alarm signal for emergency care. Most previous state-of-the-art fall detection systems can work well in video streams which have fixed bit-rates, stable motion, and uniform movements. In such an ideal environment, fall events are easily distinguished by these systems.


However, because real-world house conditions rarely offer an ideal, stable environment, effective detection of fall events in alert system can be a problem for these systems. In response, this project aims to develop an effective and reliable fall detection system for home and recreational safety in both Russia and Taiwan. Specifically, we present a new type of Regions of Interest (ROI) detection method based on the proposed video stabilization technique and the proposed motion detection technique that segment ROI reliably in indoor environments for the first year of this project.

System overwiev


In the second year, a new type of feature extraction based on edgelet feature, histogram of oriented gradients, morphological pattern spectrum and thickness map, and skeleton description is developed to facilitate accuracy of fall-event detection. A two-stage detection procedure is designed for the proposed fall detection system to detect fall events based on two novel one-class classifiers in last year. The first procedure uses a one-class classifier to determine whether or not the detected skeleton is belonging to the human body. Hence, fall events are able to be accurately distinguished through utilization of the second one-class classifier based on current elderly-people activities. As the last step of the proposed system, the output of the second one-class classifier from internet protocol camera of each room is used to make the decision as the detection result.

Sceleton description

(a) source image; (b) skeleton; (c) pruned skeleton; (d) approximated skeleton

Both Taiwan and Russia teams will conduct a series of experiment in Taipei, Tula, and Moscow cities for evaluation and hardware implementation of the fall detection system. Therefore, we can expect this system will significantly improve the quality of emergency alert systems in both Russia and Taiwan by detecting effectively fall events in which an appropriate assistance can be provided timely during emergency calls. Consequently, we expect all citizens of Taipei, Tula, and Moscow cities could gain advantage from our system.

Presentation on RFBR-MOST 20th Anniversary of Partnership


Joint Publications

Chen, B. H., Kopylov, A., Huang, S. C., Seredin, O., Karpov, R., Kuo, S. Y., ... & Gong, C. S. (2016). Improved global motion estimation via motion vector clustering for video stabilization. Engineering Applications of Artificial Intelligence, 54, 39-48. Impact Factor: 2.819

Shi, L. F., Chen, B. H., Huang, S. C., Larin, A., Seredin, O., Kopylov, A., & Kuo, S. Y. (2018). Removing Haze Particles from Single Image via Exponential Inference with Support Vector Data Description. IEEE Transactions on Multimedia, vol. 20, no. 9, pp. 2503-2512, Sept. 2018. Impact Factor: 3.509 

Gochoo, M., Tan, T. H., Batjargal, T., Seredin, O., & Huang, S. C. Device-Free Non-Privacy Invasive Indoor Human Posture Recognition Using Low-Resolution Infrared Sensor-Based Wireless Sensor Networks and DCNN. In 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2018, October, pp. 2311-2316.  SJR Impact Factor: 0.17 

O.S. Seredin, A.V. Kopylov, S.-C. Huang, Rodionov. A skeleton features-based fall detection using Мicrosoft kinect v2 with one class-classifier outlier removal. Int. Arch. Photogramm. Remote Sensing. 2019 in printing. SJR Impact Factor: 0.32 


Publications

First year

  1. B.H. Chen, A. Kopylov, S.C. Huang, O. Seredin, R. Karpov, S.Y. Kuo, K.R. Lai, et al. Improved global motion estimation via motion vector clustering for video stabilization. //Engineering Applications of Artificial Intelligence. – 2016. – Т. 54. – С. 39-48.
  2. Kushnir O., Fedotova S., Seredin O., Karkishchenko A. Reflection Symmetry of Shapes Based on Skeleton Primitive Chains // Fifth International Conference, AIST 2016, Yekaterinburg, Russia, April 7–9, 2016, Revised Selected Papers, CCIS, Vol. 661, pp. 281–292, Springer International Publishing Switzerland (2016).
  3.  Sidyakin, S. V., Vishnyakov, B. V., Vizilter, Y. V., and Roslov, N. I.: Mutual comparative filtering for change detection in videos with unstable illumination conditions, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLI-B3, 535-541, doi: 10.5194/isprs-archives-XLI-B3-535-2016, 2016.
  4. А.В. Копылов, О.С. Середин, О.А. Кушнир, И.А. Грачева, А.О. Ларин. Устойчивое детектирование ладони на изображениях на основе комбинирования информации о цвете и форме // Известия Тульского государственного университета. Технические науки. Вып.11. Ч.1. Тула: Изд-во ТулГУ, 2016. С.24–40.
  5. С.А. Федотова, О.С. Середин, О.А. Кушнир. Алгоритмы уточнения оси зеркальной симметрии, найденной методом сравнения подцепочек скелетных примитивов // Известия Тульского государственного университета. Технические науки. Вып.11. Ч.1. Тула: Изд-во ТулГУ, 2016. С.99–111.
  6. Белобородов Д., Местецкий Л. Выделение переднего плана на картах глубины с помощью скелетного представления силуэтов объектов // GraphiCon2016 Труды Международной научной конференции. — ННГАСУ, 2016. — С. 378–383.
  7. Сидякин С. В., Вишняков Б. В., Рослов Н. И., Визильтер Ю. В. Поиск отличий на последовательностях изображений в сложных сценах // Вестник компьютерных и информационных технологий, 2017, №2 (принято в печать)
  8. Ломов Н. А., Сидякин С. В., Визильтер Ю. В. Классификация двумерных фигур с использованием скелетно-геодезических гистограмм толщин-расстояний // Компьютерная оптика, Самара, 2017, (принято в печать)
  9. Визильтер Ю.В., Горбацевич В.С., Вишняков Б.В., Сидякин С.В. Поиск объектов на изображении с использованием морфлетных описаний // Компьютерная оптика, Самара, 2017, (отправлено в журнал)
  10. Inessa Gracheva and Andrey Kopylov. Image Processing Algorithms with Structure Transferring Properties on the Basis of Gamma-normal Model. 5th International Conference, AIST 2016, Yekaterinburg, Russia, April 7-9, 2016, Revised Selected Papers. Communications in Computer and Information Science, Vol. 661, Springer, 111-122.
  11. Pham Cong Thang, Andrey V. Kopylov. Parametric procedures for image denoising with flexible prior model// Proceedings of the Seventh International Symposium on Information and Communication Technology, Ho Chi Minh City, Vietnam, December 8-9, 2016. ACM International Conference Proceeding Series, ISBN 978-1-4503-4815-7, P. 294-301.
  12. Грачева И.А., Копылов А.В., Середин О.С., Кушнир О.А., Ларин А.О. Метод детектирования кисти руки на основе одноклассового классификатора и скелетных графов // Интеллектуализация обработки информации: Тезисы докладов 11-й Международной конференции (Москва, Россия – Барселона, Испания). –  М.: Торус Пресс, 2016. С.102–103.

Second year

  1. V. V. Molchanov, B. V. Vishnyakov, Y. V. Vizilter, O. V. Vishnyakova, V. A. Knyaz Pedestrian detection in video surveillance using fully convolutional YOLO neural network //Proceedings Volume 10334, Automated Visual Inspection and Machine Vision II; 103340Q (2017); doi: 10.1117/12.2270326S. 
  2. S. Fedotova, O. Seredin, and O. Kushnir. The Parallel Implementation of Algorithms for Finding the Reflection Symmetry of The Binary Images // Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2-W4, 179-184. doi:10.5194/isprs-archives-XLII-2-W4-179-2017, 2017
  3. Thang, P. C., Kopylov, A. V., and Dvoenko, S. D.: Edge–Preserving Denoising Based on Dynamic Programming on The Full Set of Adjacency Graphs, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W4, 55-60, doi:10.5194/isprs-archives-XLII-2-W4-55-2017, 2017.
  4. V. Sidyakin, B. V. Vishnyakov, Real-time detection of abandoned bags using CNN //Proceedings Volume 10334, Automated Visual Inspection and Machine Vision II; 103340J (2017); doi: 10.1117/12.2270078 
  5. Кушнир О.А., Середин О.С. Параллельные реализации алгоритма сравнения бинарных изображений на основе описания скелетов цепочками примитивов // Вестник компьютерных и информационных технологий, № 1, 2018. С. 24 – 33.
  6. Inessa Gracheva and Andrey Kopylov. Image Processing Algorithms with Structure Transferring Properties on the Basis of Gamma-normal Model. 5th International Conference, AIST 2016, Yekaterinburg, Russia, April 7-9, 2016, Revised Selected Papers. Communications in Computer and Information Science, Vol. 661, Springer International Publishing AG, 2017 г., pp 257-268.
  7. Ломов Н.А., Сидякин С.В., Визильтер Ю.В. Классификация двумерных фигур с использованием скелетно-геодезических гистограмм толщин-расстояний //Компьютерная оптика. 2017; 41(2):227-236. DOI:10.18287/2412-6179-2017-41-2-227-236
  8. Lomov, N. and Sidyakin, S.: Morphological moments of binary images, Int. Arch. Photogramm. //Remote Sens. Spatial Inf. Sci., XLII-2/W4, 19-25, https://doi.org/10.5194/isprs-archives-XLII-2-W4-19-2017, 2017.
  9. Визильтер Ю.В., Горбацевич В.С., Вишняков Б.В., Сидякин С.В. Поиск объектов на изображении с использованием морфлетных описаний // Компьютерная оптика, Самара, 2017;41(3):406-411, DOI: 10.18287/2412-6179-2017-41-3-406-411
  10. Сидякин С. В., Вишняков Б. В., Рослов Н. И., Визильтер Ю. В. Поиск отличий на последовательностях изображений в сложных сценах // Вестник компьютерных и информационных технологий, 2017, №3, стр. 34-41, DOI: 10.14489/vkit.2017.03.pp.034-041
  11. Федотова С.А., Середин О.С., Кушнир О.А., Сулимова В.В. Параллельные реализации алгоритмов нахождения зеркальной симметрии бинарных растровых изображений // Сборник трудов III международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2017), 25–27 апреля. – Самара: Новая техника, 2017. С.693–701.
  12. Грачева И.А., Копылов А.В. Алгоритм обработки изображений на основе диагональной аппроксимации графа смежности элементов изображения. Математические методы распознавания образов: 18-я Всероссийская конференция, г. Таганрог, 9–13 октября 2017г.: Тезисы докладов. — М.: Торус Пресс, стр. 80-81, 2017.
  13. Кушнир О.А., Середин О.С. Распараллеливание алгоритма сравнения бинарных изображений, представленных цепочками скелетных примитивов // Математические методы распознавания образов: Тезисы докладов 18-й Всероссийской конференции с международным участием, г. Таганрог, 2017 г. М.: Торус Пресс, 2017. С.114–115.
  14. Федотова С.А., Середин О.С., Кушнир О.А., Сулимова В.В. Параллельная реализация точного алгоритма нахождения зеркальной симметрии бинарных растровых изображений на основе полного перебора // Научно-техническая конференция «Техническое зрение в системах управления-2017». Тезисы. М.: Институт космических исследований РАН, 2017. С. 87-88.
  15. Кушнир О.А., Середин О.С. Программа сравнения бинарных растровых изображений на основе скелетного описания формы, представленного цепочками примитивов //Свидетельство о государственной регистрации программы для ЭВМ №2018611213, 25.01.2018.

Third year

  1. Kopylov, A., Seredin, O., Kushnir, O., Gracheva, I. and Larin, A. Background-Invariant Robust Hand Detection based on Probabilistic One-Class Color Segmentation and Skeleton Matching // Proceedings of the 7th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2018). P. 503-510.
  2. Князев Д. В., Копылов А. В. Алгоритм формирования кадра полного размера в процессе видеостабилизации в реальном масштабе времени //ТЕХНИЧЕСКОЕ ЗРЕНИЕ В СИСТЕМАХ УПРАВЛЕНИЯ–2018. – С. 65.
  3. Родионов Д. С., Середин О. С., Копылов А. В. Детектирование падения человека на основе данных Microsoft Kinect v2 //ТЕХНИЧЕСКОЕ ЗРЕНИЕ В СИСТЕМАХ УПРАВЛЕНИЯ–2018. – С. 85.
  4. Семенов П. В., Копылов А. В. Алгоритм стабилизации видео в реальном времени с выбором ведущей группы движений //ТЕХНИЧЕСКОЕ ЗРЕНИЕ В СИСТЕМАХ УПРАВЛЕНИЯ–2018. – С. 91.
  5. Shi, L. F., Chen, B. H., Huang, S. C., Larin, A., Seredin, O., Kopylov, A., & Kuo, S. Y. (2018). Removing Haze Particles from Single Image via Exponential Inference with Support Vector Data Description. IEEE Transactions on Multimedia, vol. 20, no. 9, pp. 2503-2512, Sept. 2018.
  6. Грачева И.А., Копылов А.В. Алгоритм сжатия динамического диапазона hdr изображений на основе фильтрации с сохранением структуры. Интеллектуализация обработки информации Тезисы докладов 12-й Международной конференции. 2018. С. 110-111.
  7. Середин О. С., Копылов А. В., Родионов Д. С. Использование Microsoft Kinect V2 для детектирования падений человека //Интеллектуализация обработки информации. – 2018. – С. 140-141.
  8. Яковлев С. С., Середин О. С. ИСПОЛЬЗОВАНИЕ ДЕРЕВЬЕВ РЕШЕНИЙ ПРИ ВИЗУАЛИЗАЦИИ МНОГОМЕРНЫХ ДАННЫХ //Известия ТулГУ. Технические науки. Вып. 10, стр. 137-144, 2018
  9. Грачева И.А., Копылов А.В. Алгоритм сжатия динамического диапазона HDR на основе фильтрации с сохранением структуры. Известия ТулГУ. Технические науки. Вып. 10, стр. 83-93, 2018
  10. Федотова С. А., Середин О. С., Кушнир О. А. Об использовании инвариантов отражения в практическом решении задачи определения зеркальной симметрии //Известия ТулГУ. Технические науки. Вып. 10, стр. 125-136, 2018
  11. Mottl V., Seredin O., Krasotkina O. Compactness hypothesis, potential functions, and rectifying linear space in machine learning //Braverman Readings in Machine Learning. Key Ideas from Inception to Current State. – Springer, Cham, 2018. – С. 52-102.
  12. O.S. Seredin, A.V. Kopylov, S.-C. Huang, Rodionov. A skeleton features-based fall detection using Мicrosoft kinect v2 with one class-classifier outlier removal Int. Arch. Photogramm. Remote Sensing. 2019 in printing
  13. I.A.Gracheva, A.V.Kopylov. Tone compression algorithm for high dynamic range medical images, Int. Arch. Photogramm. Remote Sensing. 2019 in printing
  14. V. Mottl, O. Krasotkina, V. Sulimova, A. Morozov, I. Pugach, A. Tatarchuk. Linear complexity algorithms for high dimensional SVM and regression problems with smart sparse regularization. Machine Learning and Data Mining in Pattern Recognition. Proceedings of the 14th International Conference, MLDM 2019, New York, NY, USA, July 20-25, 2019 in printing