Классификация движений антропоморфного объекта на видеоизображении с использованием методов машинного обучения

Цель. Сегодня захват движения является неотъемлемой задачей для реализации медицинских реабилитационных систем, систем мониторинга физической активности человека и в других системах прикладного назначения. Для их решений часто используется аппаратные комплексы – сенсоры, которые имеют набор ограничений и понижают общую доступность системы, повышая её стоимость. Отсюда вытекает следующая цель: повышение доступности прикладных разрабатываемых систем с возможностью распознавания движений без увеличения количества ограничений.
Метод. Для достижения данной цели в статье предлагается подход, основанный на обработке видеопотока с камеры, фиксирующей спектр видимого излучения. В процессе исследования был собран набор экспериментальных данных.
Результат. Разработан метод классификации видеоизображения видимого спектра, отличающийся от известных, использованием существующих моделей для детектирования ключевых точек антропоморфного тела на изображении.
Вывод. Данный метод позволяет отказаться от использования специального оборудования и сенсоров (например, инфракрасной камеры Kinect) для реализации систем прикладного назначения, повышая доступность таких систем и исключая их специальные ограничения.

1. Chang F, Tatsumi N, Hiranuma Y, Bannard C. Visual Heuristics for Verb Production: Testing a Deep‐Learning Model With Experiments in Japanese. Cognitive Science. Cognitive Science. 2023; 47 (8): e 13324. DOI: https://doi.org/10.48550/arXiv.2012.13392.

2. Fang H, Li J, Tang H, Xu C, Zhu H, Xiu Y, et al. AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2023;45(6):7157-7173. Available from: doi:10.1109/tpami.2022.3222784.

3. Cao Z, Hidalgo G, Simon T, Wei S, Sheikh Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2021;43(1):172-186. Available from: doi:10.1109/tpami.2019.2929257.

4. Zheng, C., Wu, W., Chen, C., Yang, T., Zhu, S., Shen, J., Kehtarnavaz, N., & Shah, M. (2022). Deep learning-based human pose estimation: A survey. arXiv. https://doi.org/10.48550/arXiv.2012.13392.

5. Розалиев В.Л., Орлова Ю.А. Определение движений и поз для идентификации эмоциональных реакций человека // 11-ая Международная конференция по распознованию образов и анализу изображений: новые информационные технологии (PRIA-11-2013). Самара. 2013 г. №2, С. 713-716.

6. Ульев А.Д., Орлова Ю.А., Розалиев В.Л., Донская А.Р. Методы и средства слежения за перемещением и взаимодействием сотрудников и покупателей по видеоизображению/ Известия ЮФУ. Технические науки. – 2023. – № 2(232). – С. 263-273.DOI 10.18522/2311-3103-2023-2-263-273.

7. Ульев А.Д., Донская А.Р., Зубков А.В. Автоматизированное распознавание и контроль взаимодействия людей по видеоизображению// Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. - 2023. - Т. 13, № 2. - C. 45-64. DOI: https://doi.org/10.21869/2223-1536-2023-13-2-45-64.

8. Хафизов, Р.Р. Разработка технологий анализа движений спортсменов на основе нейросетевого анализа данных: дис. канд. техн. наук: 05.13.18. - Долгопрудный, 2020. - 89 с.

9. Carreira J, Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017 Mar 21-26; Honolulu, HI, USA.

10. Gaglio S, Re GL, Morana M. Human Activity Recognition Process Using 3-D Posture Data. IEEE Transactions on Human-Machine Systems [Internet]. 2015;45(5):586-597. Available from: doi:10.1109/thms.2014.2377111.

11. Arunnehru J, Nandhana AD, Sharan RR, Nambiar PG. Human Pose Estimation and Activity Classification Using Machine Learning Approach. Advances in Intelligent Systems and Computing [Internet]. 2020;1118:113-123. DOI:10.1007/978-981-15-2475-2_11.

12. Rahayu ES, Yuniarno EM, Purnama IE, Purnomo MH. Human activity classification using deep learning based on 3D motion feature. Machine Learning with Applications [Internet]. 2023;12:100461. Available from: doi:10.1016/j.mlwa.2023.100461.

13. Azure Kinect DK. [Электронный ресурс]:сайт.– Режим доступа: https://azure.microsoft.com/ruru/products/kinect-dk, свободный (дата обращения: 11.09.2023).

14. Singh A, Bevilacqua A, Nguyen TL, Hu F, McGuinness K, O’Reilly M, et al. Fast and robust video-based exercise classification via body pose tracking and scalable multivariate time series classifiers. Data Mining and Knowledge Discovery [Internet]. 2022;37(2):873-912. Available from: doi:10.1007/s10618-022-00895-4.

15. Pose landmark detection guide. [Электронный ресурс]:сайт.– Режим доступа: https://developers.google.com/mediapipe/solutions/vision/pose_landmarker, свободный (дата обращения: 01.09.2023).

16. Bazarevsky V., Grishchenko I., Raveendran K., Zhu T., Zhang F., Grundmann M. (2020). BlazePose: On-device Real-time Body Pose tracking. arXiv. https://doi.org/10.48550/arXiv.2006.10204.

17. Kim J-W, Choi J-Y, Ha E-J, Choi J-H. Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model. Applied Sciences. 2023; 13(4):2700. https://doi.org/10.3390/app13042700

18. Bazarevsky, V.; Grishchenko, I. On-Device, Real-Time Body Pose Tracking with MediaPipe BlazePose, Google Research. https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html.

19. Глебов В. В. , Марьенков А. Н. Сравнительный анализ алгоритмов обнаружения человека на изображении // Прикаспийский журнал: управление и высокие технологии. - 2023. - №2 (62). - С. 97–106.