Emergency Event Detection and Recognition in Video Monitoring of Elderly Individuals for a Wireless Alert System

Russian-Taiwanese Joint Research Project


Russian Foundation for Basic Research16-57-52042 MHT-a Ministry of Science and Technology, TaiwanMOST 105-2923-Е-027-001-MY3 


Map


Abstract

There has been an increasing issue across the globe for aging populations in the last decade, mainly aiming at developed countries. Many countries will suffer from a growing old-age dependence ratio over the next 30 years. Russia and Taiwan, as the developed countries, are also facing this challenge indicated above. 

Population Trends

Fall detection system is a key technique used in every emergency alert system to reliably send either social; services or health centers an alarm signal for emergency care. Most previous state-of-the-art fall detection systems can work well in video streams which have fixed bit-rates, stable motion, and uniform movements. In such an ideal environment, fall events are easily distinguished by these systems.

System framework for emergency alert system

However, because real-world house conditions rarely offer an ideal, stable environment, effective detection of fall events in alert system can be a problem for these systems. In response, this project aims to develop an effective and reliable fall detection system for home and recreational safety in both Russia and Taiwan. Specifically, we present a new type of Regions of Interest (ROI) detection method based on the proposed video stabilization technique and the proposed motion detection technique that segment ROI reliably in indoor environments for the first year of this project.

System overwiev


In the second year, a new type of feature extraction based on edgelet feature, histogram of oriented gradients, morphological pattern spectrum and thickness map, and skeleton description is developed to facilitate accuracy of fall-event detection. A two-stage detection procedure is designed for the proposed fall detection system to detect fall events based on two novel one-class classifiers in last year. The first procedure uses a one-class classifier to determine whether or not the detected skeleton is belonging to the human body. Hence, fall events are able to be accurately distinguished through utilization of the second one-class classifier based on current elderly-people activities. As the last step of the proposed system, the output of the second one-class classifier from internet protocol camera of each room is used to make the decision as the detection result.

Sceleton description

(a) source image; (b) skeleton; (c) pruned skeleton; (d) approximated skeleton

Both Taiwan and Russia teams will conduct a series of experiment in Taipei, Tula, and Moscow cities for evaluation and hardware implementation of the fall detection system. Therefore, we can expect this system will significantly improve the quality of emergency alert systems in both Russia and Taiwan by detecting effectively fall events in which an appropriate assistance can be provided timely during emergency calls. Consequently, we expect all citizens of Taipei, Tula, and Moscow cities could gain advantage from our system.


Intsitutions

Tula State UniversityNational Taipei University of Technology

FEDERAL STATE UNITARY ENTERPRISE «STATE RESEARCH INSTITUTE OF AVIATION SYSTEMS»

National Taiwan University
Lomonosov Moscow State UniversityYuan Ze University

Publications

First year

  1. B.H. Chen, A. Kopylov, S.C. Huang, O. Seredin, R. Karpov, S.Y. Kuo, K.R. Lai, et al. Improved global motion estimation via motion vector clustering for video stabilization. //Engineering Applications of Artificial Intelligence. – 2016. – Т. 54. – С. 39-48.
  2. Kushnir O., Fedotova S., Seredin O., Karkishchenko A. Reflection Symmetry of Shapes Based on Skeleton Primitive Chains // Fifth International Conference, AIST 2016, Yekaterinburg, Russia, April 7–9, 2016, Revised Selected Papers, CCIS, Vol. 661, pp. 281–292, Springer International Publishing Switzerland (2016).
  3.  Sidyakin, S. V., Vishnyakov, B. V., Vizilter, Y. V., and Roslov, N. I.: Mutual comparative filtering for change detection in videos with unstable illumination conditions, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLI-B3, 535-541, doi: 10.5194/isprs-archives-XLI-B3-535-2016, 2016.
  4. А.В. Копылов, О.С. Середин, О.А. Кушнир, И.А. Грачева, А.О. Ларин. Устойчивое детектирование ладони на изображениях на основе комбинирования информации о цвете и форме // Известия Тульского государственного университета. Технические науки. Вып.11. Ч.1. Тула: Изд-во ТулГУ, 2016. С.24–40.
  5. С.А. Федотова, О.С. Середин, О.А. Кушнир. Алгоритмы уточнения оси зеркальной симметрии, найденной методом сравнения подцепочек скелетных примитивов // Известия Тульского государственного университета. Технические науки. Вып.11. Ч.1. Тула: Изд-во ТулГУ, 2016. С.99–111.
  6. Белобородов Д., Местецкий Л. Выделение переднего плана на картах глубины с помощью скелетного представления силуэтов объектов // GraphiCon2016 Труды Международной научной конференции. — ННГАСУ, 2016. — С. 378–383.
  7. Сидякин С. В., Вишняков Б. В., Рослов Н. И., Визильтер Ю. В. Поиск отличий на последовательностях изображений в сложных сценах // Вестник компьютерных и информационных технологий, 2017, №2 (принято в печать)
  8. Ломов Н. А., Сидякин С. В., Визильтер Ю. В. Классификация двумерных фигур с использованием скелетно-геодезических гистограмм толщин-расстояний // Компьютерная оптика, Самара, 2017, (принято в печать)
  9. Визильтер Ю.В., Горбацевич В.С., Вишняков Б.В., Сидякин С.В. Поиск объектов на изображении с использованием морфлетных описаний // Компьютерная оптика, Самара, 2017, (отправлено в журнал)
  10. Inessa Gracheva and Andrey Kopylov. Image Processing Algorithms with Structure Transferring Properties on the Basis of Gamma-normal Model. 5th International Conference, AIST 2016, Yekaterinburg, Russia, April 7-9, 2016, Revised Selected Papers. Communications in Computer and Information Science, Vol. 661, Springer, 111-122.
  11. Pham Cong Thang, Andrey V. Kopylov. Parametric procedures for image denoising with flexible prior model// Proceedings of the Seventh International Symposium on Information and Communication Technology, Ho Chi Minh City, Vietnam, December 8-9, 2016. ACM International Conference Proceeding Series, ISBN 978-1-4503-4815-7, P. 294-301.
  12. Грачева И.А., Копылов А.В., Середин О.С., Кушнир О.А., Ларин А.О. Метод детектирования кисти руки на основе одноклассового классификатора и скелетных графов // Интеллектуализация обработки информации: Тезисы докладов 11-й Международной конференции (Москва, Россия – Барселона, Испания). –  М.: Торус Пресс, 2016. С.102–103.

Second year

  1. V. V. Molchanov, B. V. Vishnyakov, Y. V. Vizilter, O. V. Vishnyakova, V. A. Knyaz Pedestrian detection in video surveillance using fully convolutional YOLO neural network //Proceedings Volume 10334, Automated Visual Inspection and Machine Vision II; 103340Q (2017); doi: 10.1117/12.2270326S. 
  2. S. Fedotova, O. Seredin, and O. Kushnir. The Parallel Implementation of Algorithms for Finding the Reflection Symmetry of The Binary Images // Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2-W4, 179-184. doi:10.5194/isprs-archives-XLII-2-W4-179-2017, 2017
  3. Thang, P. C., Kopylov, A. V., and Dvoenko, S. D.: Edge–Preserving Denoising Based on Dynamic Programming on The Full Set of Adjacency Graphs, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W4, 55-60, doi:10.5194/isprs-archives-XLII-2-W4-55-2017, 2017.
  4. V. Sidyakin, B. V. Vishnyakov, Real-time detection of abandoned bags using CNN //Proceedings Volume 10334, Automated Visual Inspection and Machine Vision II; 103340J (2017); doi: 10.1117/12.2270078 
  5. Kopylov, A., Seredin, O., Kushnir, O., Gracheva, I. and Larin, A. Background-Invariant Robust Hand Detection based on Probabilistic One-Class Color Segmentation and Skeleton Matching // Proceedings of the 7th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2018). P. 503-510. ISBN: 978-989-758-276-9 DOI: 10.5220/0006649805030510
  6. Кушнир О.А., Середин О.С. Параллельные реализации алгоритма сравнения бинарных изображений на основе описания скелетов цепочками примитивов // Вестник компьютерных и информационных технологий, № 1, 2018. С. 24 – 33.
  7. Inessa Gracheva and Andrey Kopylov. Image Processing Algorithms with Structure Transferring Properties on the Basis of Gamma-normal Model. 5th International Conference, AIST 2016, Yekaterinburg, Russia, April 7-9, 2016, Revised Selected Papers. Communications in Computer and Information Science, Vol. 661, Springer International Publishing AG, 2017 г., pp 257-268.
  8. Ломов Н.А., Сидякин С.В., Визильтер Ю.В. Классификация двумерных фигур с использованием скелетно-геодезических гистограмм толщин-расстояний //Компьютерная оптика. 2017; 41(2):227-236. DOI:10.18287/2412-6179-2017-41-2-227-236
  9. Lomov, N. and Sidyakin, S.: Morphological moments of binary images, Int. Arch. Photogramm. //Remote Sens. Spatial Inf. Sci., XLII-2/W4, 19-25, https://doi.org/10.5194/isprs-archives-XLII-2-W4-19-2017, 2017.
  10. Визильтер Ю.В., Горбацевич В.С., Вишняков Б.В., Сидякин С.В. Поиск объектов на изображении с использованием морфлетных описаний // Компьютерная оптика, Самара, 2017;41(3):406-411, DOI: 10.18287/2412-6179-2017-41-3-406-411
  11. Сидякин С. В., Вишняков Б. В., Рослов Н. И., Визильтер Ю. В. Поиск отличий на последовательностях изображений в сложных сценах // Вестник компьютерных и информационных технологий, 2017, №3, стр. 34-41, DOI: 10.14489/vkit.2017.03.pp.034-041
  12. Федотова С.А., Середин О.С., Кушнир О.А., Сулимова В.В. Параллельные реализации алгоритмов нахождения зеркальной симметрии бинарных растровых изображений // Сборник трудов III международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2017), 25–27 апреля. – Самара: Новая техника, 2017. С.693–701.
  13. Грачева И.А., Копылов А.В. Алгоритм обработки изображений на основе диагональной аппроксимации графа смежности элементов изображения. Математические методы распознавания образов: 18-я Всероссийская конференция, г. Таганрог, 9–13 октября 2017г.: Тезисы докладов. — М.: Торус Пресс, стр. 80-81, 2017.
  14. Кушнир О.А., Середин О.С. Распараллеливание алгоритма сравнения бинарных изображений, представленных цепочками скелетных примитивов // Математические методы распознавания образов: Тезисы докладов 18-й Всероссийской конференции с международным участием, г. Таганрог, 2017 г. М.: Торус Пресс, 2017. С.114–115.
  15. Федотова С.А., Середин О.С., Кушнир О.А., Сулимова В.В. Параллельная реализация точного алгоритма нахождения зеркальной симметрии бинарных растровых изображений на основе полного перебора // Научно-техническая конференция «Техническое зрение в системах управления-2017». Тезисы. М.: Институт космических исследований РАН, 2017. С. 87-88.
  16. Кушнир О.А., Середин О.С. Программа сравнения бинарных растровых изображений на основе скелетного описания формы, представленного цепочками примитивов //Свидетельство о государственной регистрации программы для ЭВМ №2018611213, 25.01.2018.