О способах установки координат указателя мыши в случае альтернативных вариантов построения человеко-компьютерного взаимодействия

Цель. Целью исследования является сравнение и обобщение разных способов бесконтактной установки координат указателя мыши компьютера. Метод. Для создания бесконтактного интерфейса человек-машина используются технологии компьютерного зрения для выделения управляющей точки на кадре видеокамеры, с помощью которых перемешается курсор компьютера на мониторе пользователя. Использованы общелогические методы научного исследования, а именно – обобщение. Проведен анализ рассмотренных систем управления координатами курсора с выделением общих частей для дальнейшего обобщения и описания формул установки координат курсора мыши компьютера. Для анализа были взяты научные работы с абсолютным позиционированием курсора компьютера и работы с контролем сдвига положения курсора относительно его координат на предыдущем кадре. Результат. В результате анализа были указаны сильные и слабые стороны каждого из рассматриваемых подходов. В абсолютном позиционировании требуется меньше времени для установки курсора в нужную позицию. Определено, что контроль сдвига курсора не такой требовательный к точности расчета координат управляющей точки. Приведены формулы, с помощью которых обобщаются способы перемещения курсора компьютера. Вывод. Предложенный подход к расчету новых координат указателя мыши позволяет реализовать в программной системе оба представленных подхода позиционирования курсора компьютера, так как каждый из них имеет преимущества в зависимости от конкретной ситуации.

1. Пересунько П.В. Обзор методов построения взаимодействия человек - компьютер в задаче управления курсором компьютера // Труды "НПЦАП". Системы и приборы управления. 2022. № 4(62). С. 26–39.

2. Будко Н.А., Медведев М.Ю., Будко А.Ю. Разработка и исследование метода векторного анализа ЭМГ предплечья для построения человеко-машинных интерфейсов // Известия Южного федерального университета. Технические науки. 2021. № 2. C. 18–31.

3. Khan M.M., Sherazi H.I., Quain R. Tongue-Supported Human-Computer Interaction systems: a review. 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, USA, Chicago, 2014, pp. 1410–1415.

4. IntegraMouse Plus – the mouth controlled mouse. IntegraMouse Plus [сайт]. URL: https://www.integramouse.com/en/home/ (дата обращения: 21.06.2024).

5. IntegraMouse Plus – the mouth controlled mouse. IntegraMouse Plus [сайт]. URL: https://www.integramouse.com/en/home/ (дата обращения: 21.06.2024).

6. Rawlani S., Biyani P., Juneja S. Eye Tracking- An Extensive Evaluation of a Contemporary and Ingenious Technology. International Journal of Computer Applications, 2018, vol. 179, no. 54. pp. 5–11.

7. Zuniga R., Magee J. Camera Mouse: Dwell vs. Computer Vision-Based Intentional Click Activation // Universal Access in Human–Computer Interaction. Designing Novel Interactions. UAHCI 2017. Lecture Notes in Computer Science / Antona, M., Stephanidis, C. (eds). 2017. Vol. 10278. https://doi.org/10.1007/978-3-319-58703-5_34

8. Peresunko P., Pleshkova E., Semizorova A., Kovalev I. MLI. Mouse: a new computer vision-based cursor control software // V International Workshop on Modeling, Information Processing and Computing (MIP: Computing-V-2022) : Conference Proceedings, Krasnoyarsk, 25 January 2022. Krasnoyarsk : CEUR-WS, 2022. Vol. 3091. P. 60–65. DOI: 10.47813/dnit-mip5/2022-3091-60-65.

9. Betke M., Gips J., Fleming P. The camera mouse: visual tracking of body features to provide computer access for people with severe disabilities // IEEE Trans Neural Syst Rehabil Eng. 2002. Vol. 10 (1). P. 1-10. DOI: 10.1109/TNSRE.2002.1021581.

10. Varun K.S., Puneeth I., Jacob T. P. Virtual Mouse Implementation using Open CV // 2019 3rd International Conference on Trends in Electronics and Informatics (ICOEI). Tirunelveli. India. 2019. P. 435- 438. DOI: 10.1109/ICOEI.2019.8862764.

11. Niyazi K., Kumar V., Mahe S., Vyawahare S. Mouse Simulation Using Two Coloured Tapes. International Journal of Information Sciences and Techniques, vol. 2, no. 2, pp. 57–63.

12. Park Hojoon. A Method for Controlling Mouse Movement using a Real-Time Camera. 2009. URL: https://api.semanticscholar.org/CorpusID:18232695 (дата обращения: 21.06.2024).

13. Nabati M., Behrad A. 3D Head pose estimation and camera mouse implementation using a monocular video camera. Signal, Image and Video Processing, 2015, vol. 9, pp. 39–44.

14. Song Y., Luo Y., Lin J. Detection of Movements of Head and Mouth to Provide Computer Access for Disabled // 2011 International Conference on Technologies and Applications of Artificial Intelligence. Taiwan. 2011. P. 223–226.

15. Khan F., Halim B., Rahman A. Computer Vision Based Mouse Control Using Object Detection and Marker Motion Tracking. International Journal of Computer Science and Mobile Computing, 2020, vol. 9, iss. 5, pp. 35–45.

16. Salvi M., Kegade Sh., Shinde A., Tekwani B. Cursor manipulation with hand recognition using computer vision. IT in Industry, 2021, vol. 9, no. 1, pp. 1455–1456.

17. Fu Y., Huang T. S. hMouse: Head Tracking Driven Virtual Computer Mouse // 2007 IEEE Workshop on Applications of Computer Vision (WACV '07. Austin. TX. USA. 2007. P. 30-30. DOI: 10.1109/WACV.2007.29.

18. Reyes López, D. Design of an electromyographic mouse / D. Reyes López, C. Cifuentes López // 20th Symposium on Signal Processing, Images and Computer Vision (STSIVA) : сборник научных трудов. – Colombia, Bogota, 2015.

19. Kim, J. Tongue-operated assistive technology with access to common smartphone applications via Bluetooth link / J. Kim, H. Park, M. Ghovanloo // Annual International Conference of the IEEE Engineering in Medicine and Biology Society: сборник научных трудов. – USA, San Diego, 2012.

20. The Vocal Joystick: Evaluation of voice-based cursor control techniques for assistive technology / S. Harada [и др.] // Disability and Rehabilitation: Assistive Technology. – 2008. – Т. 3, № 1. – C. 22–34.