vdgtuВестник Дагестанского государственного технического университета. Технические наукиHerald of Dagestan State Technical University. Technical Sciences2073-61852542-095XDaghestan State Technical University10.21822/2073-6185-2024-51-2-154-163vdgtu-1530Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИINFORMATION TECHNOLOGY AND TELECOMMUNICATIONSКлассификация движений антропоморфного объекта на видеоизображении с использованием методов машинного обученияDevelopment of models for classifying the movements of an anthropomorphic body from a video streamТерещукМ. В.TereshchukM. V.

Терещук Максим Валерьевич, студент магистратуры кафедры программного обеспечения автоматизированных систем, руководитель образовательных проектов Управления информационного развития

400005, Волгоград, пр. им. В.И. Ленина 28;

400131, г. Волгоград, пл. Павших Борцов, д. 1

Maxim V. Tereshchuk, Master's Student, Department of Software for Automated Systems, Head of educational projects of the Information Development Department

28 V.I. Lenin Ave., Volgograd 400005;

1 Pavshikh Bortsov Sq., Volgograd 400131

https://orcid.org/0000-0003-0425-5695ЗубковА. В.ZubkovA. V.

Александр Владимирович Зубков, кандидат технических наук, начальник управления информационного развития, старший преподаватель кафедры программного обеспечения автоматизированных систем, преподаватель кафедры биотехнических систем и технологий с курсом программной инженерии

400005, Волгоград, пр. им. В.И. Ленина 28;

400131, г. Волгоград, пл. Павших Борцов, д. 1

Alexander V. Zubkov, Cand. Sci. (Eng), Head of the Information Development Department, Senior Lecturer at the Department of Software for Automated Systems, Lecturer, Department of Biotechnical Systems and Technologies with a course in Software Engineering

28 V.I. Lenin Ave., Volgograd 400005;

1 Pavshikh Bortsov Sq., Volgograd 400131

zubkov.alexander.v@gmail.comhttps://orcid.org/0000-0003-4854-7462ОрловаЮ. А.OrlovaYu. A.

Орлова Юлия Александровна, доктор технических наук, доцент, заведующая кафедрой программного обеспечения автоматизированных систем

400005, Волгоград, пр. им. В.И. Ленина 28

Yulia A. Orlova, Dr. Sci. (Eng), Assoc. Prof, Head of the Department of Automated Systems Software

28 V.I. Lenin Ave., Volgograd 400005

yulia.orlova@gmail.comМолчановД. Р.MolchanovD. R.

Молчанов Дмитрий Романович, студент кафедры программного обеспечения автоматизированных систем

400005, Волгоград, пр. им. В.И. Ленина 28

Dmitry R. Molchanov, Student, Department of Software for Automated Systems

28 V.I. Lenin Ave., Volgograd 400005

samedit66@yandex.ruhttps://orcid.org/0000-0003-1717-603XЛитвиненкоВ. А.LitvinenkoV. A.

Литвиненко Владимир Алексеевич, студент магистратуры кафедры программного обеспечения автоматизированных систем

400005, Волгоград, пр. им. В.И. Ленина 28

Vladimir A. Litvinenko, Master's Student, Department of Software for Automated Systems

28 V.I. Lenin Ave., Volgograd 400005

vladimirlit00.00@mail.ruhttps://orcid.org/0000-0001-7421-3517ЧеркашинД. Р.CherkashinD. R.

Черкашин Дмитрий Романович, студент магистратуры кафедры программного обеспечения автоматизированных систем

400005, Волгоград, пр. им. В.И. Ленина 28

Dmitry R. Cherkashin, Master's Student,Department of Software for Automated Systems

28 V.I. Lenin Ave., Volgograd 400005

dima.ch.460@gmail.comВолгоградский государственный технический университет; Волгоградский государственный медицинский университетРоссияVolgograd State Technical University; Volgograd State Medical UniversityRussian FederationВолгоградский государственный технический университетРоссияVolgograd State Technical UniversityRussian Federation202426072024512154163Copyright © Терещук М.В., Зубков А.В., Орлова Ю.А., Молчанов Д.Р., Литвиненко В.А., Черкашин Д.Р., 20242024Терещук М.В., Зубков А.В., Орлова Ю.А., Молчанов Д.Р., Литвиненко В.А., Черкашин Д.Р.Tereshchuk M.V., Zubkov A.V., Orlova Y.A., Molchanov D.R., Litvinenko V.A., Cherkashin D.R.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.dgtu.ru/jour/article/view/1530

Цель. Сегодня захват движения является неотъемлемой задачей для реализации медицинских реабилитационных систем, систем мониторинга физической активности человека и в других системах прикладного назначения. Для их решений часто используется аппаратные комплексы – сенсоры, которые имеют набор ограничений и понижают общую доступность системы, повышая её стоимость. Отсюда вытекает следующая цель: повышение доступности прикладных разрабатываемых систем с возможностью распознавания движений без увеличения количества ограничений.Метод. Для достижения данной цели в статье предлагается подход, основанный на обработке видеопотока с камеры, фиксирующей спектр видимого излучения. В процессе исследования был собран набор экспериментальных данных.Результат. Разработан метод классификации видеоизображения видимого спектра, отличающийся от известных, использованием существующих моделей для детектирования ключевых точек антропоморфного тела на изображении.Вывод. Данный метод позволяет отказаться от использования специального оборудования и сенсоров (например, инфракрасной камеры Kinect) для реализации систем прикладного назначения, повышая доступность таких систем и исключая их специальные ограничения.

Objective. Today, capture is a chain for the implementation of medical rehabilitation systems, systems for measuring human physical activity and other medical applications. Their solutions often use hardware systems - sensors, which have a set of limitations and reduce the efficiency of access systems, increasing their cost. The following goal is required: Increasing the availability of application systems being developed, achieving steps without increasing the number of restrictions.Method. To achieve the goals given in the article, the following approach is used, based on processing a video stream from a camera that records the spectrum of visible radiation. During the research, a set of experimental data was collected.Result. As a result, a method for classifying video images of a visible phenomenon was developed, which differs from the use of existing models to detect key points of an anthropomorphic body in an image.Conclusion. This method avoids the use of special equipment and sensors (for example, the Kinect infrared camera) to implement application systems, increasing the availability of such systems and recording their special limitations.

оценка позы человекаклассификация движенийполносвязная нейронная сетьhuman pose estimationmovement classificationfully-connected neural networkReferencesChang F, Tatsumi N, Hiranuma Y, Bannard C. Visual Heuristics for Verb Production: Testing a Deep‐Learning Model With Experiments in Japanese. Cognitive Science. Cognitive Science. 2023; 47 (8): e 13324. DOI: https://doi.org/10.48550/arXiv.2012.13392.Chang F, Tatsumi N, Hiranuma Y, Bannard C. Visual Heuristics for Verb Production: Testing a Deep-Learning Model With Experiments in Japanese. Cognitive Science. Cognitive Science. 2023; 47 (8): e 13324. DOI: https://doi.org/10.48550/arXiv.2012.13392.Fang H, Li J, Tang H, Xu C, Zhu H, Xiu Y, et al. AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2023;45(6):7157-7173. Available from: doi:10.1109/tpami.2022.3222784.Fang H, Li J, Tang H, Xu C, Zhu H, Xiu Y, et al. AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2023;45(6):7157-7173. Available from: doi:10.1109/tpami.2022.3222784.Cao Z, Hidalgo G, Simon T, Wei S, Sheikh Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2021;43(1):172-186. Available from: doi:10.1109/tpami.2019.2929257.Cao Z, Hidalgo G, Simon T, Wei S, Sheikh Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence [Internet]. 2021;43(1):172-186. Available from: doi:10.1109/tpami.2019.2929257.Zheng, C., Wu, W., Chen, C., Yang, T., Zhu, S., Shen, J., Kehtarnavaz, N., & Shah, M. (2022). Deep learning-based human pose estimation: A survey. arXiv. https://doi.org/10.48550/arXiv.2012.13392.Zheng, C., Wu, W., Chen, C., Yang, T., Zhu, S., Shen, J., Kehtarnavaz, N., & Shah, M. (2022). Deep learning-based human pose estimation: A survey. arXiv. https://doi.org/10.48550/arXiv.2012.13392.Розалиев В.Л., Орлова Ю.А. Определение движений и поз для идентификации эмоциональных реакций человека // 11-ая Международная конференция по распознованию образов и анализу изображений: новые информационные технологии (PRIA-11-2013). Самара. 2013 г. №2, С. 713-716.Rozaliev V.L., Orlova Yu.A. Determination of movements and poses to identify the emotional impact of a person. 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013). Samara. 2013 No. 2, pp. 713-716 (In Russ).Ульев А.Д., Орлова Ю.А., Розалиев В.Л., Донская А.Р. Методы и средства слежения за перемещением и взаимодействием сотрудников и покупателей по видеоизображению/ Известия ЮФУ. Технические науки. – 2023. – № 2(232). – С. 263-273.DOI 10.18522/2311-3103-2023-2-263-273.Ulyev A.D., Orlova Yu.A., Rozaliev V.L., Donskaya A.R. Methods and means of tracking the movement and interaction of employees and customers using video images. Izvestia of the Southern Federal University. Technical Science. 2023;2(232): 263-273. DOI 10.18522/2311-3103-2023-2-263-273 (In Russ).Ульев А.Д., Донская А.Р., Зубков А.В. Автоматизированное распознавание и контроль взаимодействия людей по видеоизображению// Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. - 2023. - Т. 13, № 2. - C. 45-64. DOI: https://doi.org/10.21869/2223-1536-2023-13-2-45-64.Uliev A.D., Donskaya A.R., Zubkov A.V. Automated recognition and control of human interaction from video images. News of the South-West State University. Series: Management, computer technology, computer science. Medical instrumentation. 2023;13(2):45-64. – DOI: https://doi.org/10.21869/2223-1536-2023-13-2-45-64 (In Russ).Хафизов, Р.Р. Разработка технологий анализа движений спортсменов на основе нейросетевого анализа данных: дис. канд. техн. наук: 05.13.18. - Долгопрудный, 2020. - 89 с.Khafizov, R.R. Development of technologies for analyzing the movements of athletes based on neural network data analysis: dis. Ph.D. tech. Sciences: 05.13.18. - Dolgoprudny, 2020; 89 . (In Russ).Carreira J, Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017 Mar 21-26; Honolulu, HI, USA.Carreira J, Zisserman A.Quo vadis, action recognition? a new model and the kinetics dataset. In:2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2017 Mar 21-26; Honolulu, HI, USA.Gaglio S, Re GL, Morana M. Human Activity Recognition Process Using 3-D Posture Data. IEEE Transactions on Human-Machine Systems [Internet]. 2015;45(5):586-597. Available from: doi:10.1109/thms.2014.2377111.Gaglio S, Re GL, Morana M. Human Activity Recognition Process Using 3-D Posture Data. IEEE Transactions on Human-Machine Systems [Internet]. 2015;45(5):586-597. Available from: doi:10.1109/thms.2014.2377111.Arunnehru J, Nandhana AD, Sharan RR, Nambiar PG. Human Pose Estimation and Activity Classification Using Machine Learning Approach. Advances in Intelligent Systems and Computing [Internet]. 2020;1118:113-123. DOI:10.1007/978-981-15-2475-2_11.Arunnehru J, Nandhana AD, Sharan RR, Nambiar PG. Human Pose Estimation and Activity Classification Using Machine Learning Approach. Advances in Intelligent Systems and Computing [Internet]. 2020;1118:113-123. DOI:10.1007/978-981-15-2475-2_11.Rahayu ES, Yuniarno EM, Purnama IE, Purnomo MH. Human activity classification using deep learning based on 3D motion feature. Machine Learning with Applications [Internet]. 2023;12:100461. Available from: doi:10.1016/j.mlwa.2023.100461.Rahayu ES, Yuniarno EM, Purnama IE, Purnomo MH. Human activity classification using deep learning based on 3D motion feature. Machine Learning with Applications [Internet]. 2023;12:100461. Available from: doi:10.1016/j.mlwa.2023.100461.Azure Kinect DK. [Электронный ресурс]:сайт.– Режим доступа: https://azure.microsoft.com/ruru/products/kinect-dk, свободный (дата обращения: 11.09.2023).Azure Kinect DK. [Electronic resource]: website. – Access mode: https://azure.microsoft.com/ruru/products/kinect-dk, free (accesed: 09/11/2023).Singh A, Bevilacqua A, Nguyen TL, Hu F, McGuinness K, O’Reilly M, et al. Fast and robust video-based exercise classification via body pose tracking and scalable multivariate time series classifiers. Data Mining and Knowledge Discovery [Internet]. 2022;37(2):873-912. Available from: doi:10.1007/s10618-022-00895-4.Singh A, Bevilacqua A, Nguyen TL, Hu F, McGuinness K, O’Reilly M, et al. Fast and robust video-based exercise classification via body pose tracking and scalable multivariate time series classifiers. Data Mining and Knowledge Discovery [Inter].2022;37(2):873-912. Available from: doi:10.1007/s10618-022-00895-4.Pose landmark detection guide. [Электронный ресурс]:сайт.– Режим доступа: https://developers.google.com/mediapipe/solutions/vision/pose_landmarker, свободный (дата обращения: 01.09.2023).Pose landmark detection guide. [Electronic resource]: website. – Access mode: https://developers.google.com/mediapipe/solutions/vision/pose_landmarker, free (accessed: 09/01/2023).Bazarevsky V., Grishchenko I., Raveendran K., Zhu T., Zhang F., Grundmann M. (2020). BlazePose: On-device Real-time Body Pose tracking. arXiv. https://doi.org/10.48550/arXiv.2006.10204.Bazarevsky V., Grishchenko I., Raveendran K., Zhu T., Zhang F., Grundmann M. (2020). BlazePose: On-device Real-time Body Pose tracking. arXiv. https://doi.org/10.48550/arXiv.2006.10204.Kim J-W, Choi J-Y, Ha E-J, Choi J-H. Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model. Applied Sciences. 2023; 13(4):2700. https://doi.org/10.3390/app13042700Kim J-W, Choi J-Y, Ha E-J, Choi J-H. Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model. Applied Sciences. 2023; 13(4):2700. https://doi.org/10.3390/app13042700.Bazarevsky, V.; Grishchenko, I. On-Device, Real-Time Body Pose Tracking with MediaPipe BlazePose, Google Research. https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html.Bazarevsky, V.; Grishchenko, I. On-Device, Real-Time Body Pose Tracking with MediaPipe BlazePose, Google Research. https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html.Глебов В. В. , Марьенков А. Н. Сравнительный анализ алгоритмов обнаружения человека на изображении // Прикаспийский журнал: управление и высокие технологии. - 2023. - №2 (62). - С. 97–106.Glebov V.V., Maryenkov A.N. Comparative analysis of algorithms for detecting a person in an image. Caspian Journal: Management and High Technologies. 2023; 2 (62): 97–106 (In Russ).

The authors declare that there are no conflicts of interest present.