ISSN 0798 1015

Vol. 39 (Nº 45) Año 2018. Pág. 9

Dispositivo inalámbrico para el control de avatares en video juegos, utilizando el movimiento de la mano humana

Wireless device for the control of avatars in video games, using the movement of the human hand

Javier VARGAS 1; German POVEDA 2; Victor MARTINEZ 3

Recibido: 16/05/2018 • Aprobado: 02/07/2018

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas

1. Introducción

Con el creciente avance de la tecnología. La industria de los videojuegos ha tenido un crecimiento acelerado, esto debido al desarrollo de objetos 3D a partir de imágenes binarias (Jacobson & Lewis, 2005)(Pan, 2016)(Ventures & Capital, 2015). Esta industria ha ofrecido nuevos productos que hacen más cómoda y realista la experiencia del usuario como jugador (Marchand & Hennig-Thurau, 2013)(Tiedekunta, 2017). No obstante esta tecnología debe seguir evolucionando en los gráficos y en el hardware. El usuario de videojuegos actual desea mandos totalmente  inalámbricos e interactivos para controlar los avatares del juego (Santos, Devincenzi, Bothelo, & Bichet, 2018). Además que este control pueda ser  con los movimientos del  cuerpo, pensamiento e imaginación (Jesse Schell, 2008)(Caroux et al., 2015). El objetivo de este proyecto fue el diseño y la implementación de un guante que permite capturar los movimientos de las manos del jugador  y controlar el avatar de un videojuego. (Solano-Albajes, Contreras-Espinosa, & Eguia Gómez, 2013)(Monroy et al., 2007)

El desarrollo tecnológico implementado es un mando inalámbrico para el control de avatares en videojuegos utilizando los movimientos de la mano. Está implementación presenta innovación en el área de la tecnología educativa, donde se controló el video juego  educativo Kokori, fundamentado en la célula humana, siendo este el objetivo planteado para la investigación. (OVALLOS, VILLALOBOS, DE LA HOZ, & MALDONADO, 2016)

Para la implementación de este tipo de controladores se encuentran desarrollos electromecánicos realizados en el diseño de prótesis Inteligentes (Dorador & Rios, 2004). También el diseño de un prototipo de dedo robótico con un grado de libertad como modulo para una mano antropomórfica. La experimentación presentó fiabilidad en el uso de un prototipo de mano hasta de tres dedos.(Ceccarelli, Nava, Juan, Parada, & Carbone, 2004)

Los aportes a la bioingeniería se evidencian en el desarrollo de una mano robótica con capacidad de manipular objetos (Godfrey et al., 2017) (W. D. Herrera & Vargas, 2017). Se logró imitar el movimiento de la mano humana tocando piezas musicales en un piano digital (Pérez & Mendoza, 2008). Además se observa la incorporación de tecnología  de un guante de datos con retorno vibro-táctil basado en el microcontrolador open source Arduino(Martínez, García, Martínez, & González, 2009).

En 2010 se realizó la construcción de la prótesis de mano diestra UC-1, con estructura arborescente, de tres dedos y tres grados de libertad. El propósito fue obtener un prototipo inicial funcional para utilizar en personas amputadas de mano y que pueda proveer diversos agarres como pinza, cilíndrico, esférico, lateral y gancho.(Muñoz-añasco, Vivas-albán, & Gaviria-lópez, 2010)

El desarrollo tecnológico en esta área de conocimiento sigue aumentando con el desarrollo de sistemas con fines lúdicos capaz de desempeñar el juego de “Tres en raya” contra un oponente humano(GALÁN, ROBLES, & MORENO, 2011), también se han desarrollado tecnologías robóticas, entregando un análisis y diseño de una mano robótica que sirva como base para futuras investigaciones en este campo(Hower, Correa, & Pareja, 2012). Con la incorporación de la tecnología kinect inicia nuevos desarrollos como el control de un brazo robótico usando el hardware kinect de microsoft. para la detección de las articulaciones se utilizó  la librería del SDK de Microsoft Kinect y garantizar la posición capturada de la mano fue  la posición que presenta el brazo robótico.(Posada, Villanueva, Castillo, & Molina, 2013). En esta área se presenta el diseño de un guante háptico para controlar  el efector final de un brazo robótico, utilizando sensores de  flexión ubicados en partes específicas de la mano, para  la realimentación háptica utilizaron sensaciones vibro-táctiles (Moreno, Cely, & Arenas, 2013).

Esta tecnología se incorpora a la educación con la aplicación y desarrollos de entornos virtuales comercial (Martín Doñate, n.d.). Además, en el campo de la seguridad se presenta implementación de un guante para el control tele operado de un prototipo de brazo robótico para aplicaciones de manejo de materiales peligrosos.(E. Herrera, Zambrano, & Silva, n.d.)

El campo de la tele operación también se han realizado aportes con el control de  Videojuego utilizando  los gestos y movimientos de la mano para realizar interacción entre el jugador y la máquina  utilizando técnicas de reconocimiento de patrones y procesamiento de imágenes.(Ana, 2014)

Para el desarrollo e implementación de este proyecto se utilizó una metodología basada en prototipos (Isaza, Vargas, & Velásquez, 2015)(Guapacho, Vargas, & Isaza, 2017) (Vargas-Guativa, Rojas, & Toledo, 2015). Su estructura esta dividida en 3 fases. La Fase 1, Selección y caracterización de los sensores. La  Fase 2, Electrónica de procesamiento y diseño de tarjetas de circuito impreso. La Fase 3 Interfaz gráfica de interacción. La figura 1, Presenta el diagrama funcional del sistema desarrollado.

Fig. 1
Diagrama funcional de sistema

En la primera fase denominada  selección y caracterización de sensores, se seleccionó un sensor tipo galga extensiométrica flexible (sensor flex) y un acelerómetro mpu6050, útiles para medir el movimiento de flexión y giro de la mano de la persona. La tabla I, presenta la caracterización del sensor flex, los datos obtenidos presentan una variación espacial decreciente.

Tabla 1
Caracterización de los sensores flex

Con los datos obtenidos de los sensores flex se realizó una regresión lineal (Ecuacion 1), obteniendo una función que relaciona el ángulo de posición con base en el cambio de resistencia. Se presentan las ecuaciones en la tabla2.

Rd= mФ+b   (1)

Donde,

Ф : Angulo
Rd: Resistencia electrica en cada dedo
m:pendiente de la recta
b: punto de interseccion

Tabla 2
Característica de los sensores de cada dedo  de la mano

El acelerómetro seleccionado fue el mpu65050, este cuenta con comunicación I2C , los ejes son tres X,Y,Z, el rango esta comprendido entre 250 a 2000° por segundo, contiene un filtro pasa bajos programable, deteccion de orientación, interrupciones programables, deteccion de caida libre, deteccion de golpe. La tabla 3. Presenta las caracteristicas tecnicas del dispositivo.

Tabla 3
Características técnicas del sensor acelerómetro

La tabla 4. preseta los datos obtenidos en la caracterizacion del acelerometro enfrentando las variables voltaje contra velocidad angular, se aprecia un comportamiento lineal de la funcion.

Tabla 4
Caracterización del giroscopio

Para el desarrollo de la fase 2, denominada electrónica de procesamiento y diseño de tarjetas de circuito impreso, se seleccionó el microcontrolador msp4302553 de Texas Instruments el cual recibe los voltajes entregados por el sistema de acondicionamiento de los sensores flex, el envío de datos se realizó del módulo USART hacia el modulo bluetooth el cual utiliza  protocolo de comunicación I2C, los valores de aceleración y velocidad se les  aplico el algoritmo filtro complementario que se basa en combinar la información de velocidad de giro y aceleración para obtener medidas de mayor exactitud. La figura 2, presenta el diagrama de flujo del algoritmo implementado en el microcontrolador.

Fig. 2
Algoritmo de control

Para el desarrollo de la fase 3, denominada Interfaz gráfica de interacción, se diseñaron dos aplicaciones, una para visualizar las variables del hardware implementado y otra para el control del avatar del ordenador. Estas aplicaciones se implementaron compatibles con Windows 7 y 8. La primera interfaz se desarrolló en PROCESSING, esta  muestra los valores que cada sensor flex envía una animación que representa el Angulo roll y pitch del movimiento de la mano. La aplicación usada  para el control del mando del computador se desarrolló en el lenguaje python. Esta aplicación se encarga de interpretar la información recibida para emular un mouse y algunos comandos del teclado. El puntero se controló utilizando diodos infrarrojos ubicados en la parte lateral del dispositivo para que fueran detectados por una cámara infrarroja, la aplicación se encarga de procesar estas imágenes y triangular la posición de la mano en el espacio.

La interfaz gráfica de usuario se desarrolló en el software PROCESSING. Esta permite visualizar las variables entregada por cada uno de los dedos mano. Tanto el ángulo x, como el ángulo y, la animación que representa el giro y la posición de la mano en la que está puesto el guante. La figura 3, presenta la interfaz desarrollada donde se observa en la mitad izquierda la visualización de variables y en la mitad derecha el cuadro a manipular.

Fig. 3
Interfaz gráfica de usuario

La figura 4, presenta el diseño electrónico del dispositivo implementado. Se presenta la conexión de los sensores flex y el acelerómetro al microprocesador junto con la conexión del  módulo bluetooth.

Fig. 4
Esquema electrónico del hardware del dispositivo

Para el desarrollo del prototipo se diseñó la tarjeta de circuito impreso, la cual se presenta en la figura 5.

Fig. 5
Tarjeta de circuito impreso del dispositivo

El dispositivo de juego reconoce los comandos básicos en el computador, mover el puntero del mouse, la acción de clic  y la posibilidad de escribir  las teclas básicas  requeridas  para los videojuegos. En la figura 6, se presenta el guante implementado y puesto en funcionamiento en la mano izquierda de una persona. El diseño se realizó para la mano izquierda no obstante se puede implementar un guate con sensores flexo resistivos para la mano derecha y utilizar el mismo diseño electrónico.

Fig. 6
Interfaz gráfica de usuario

Las pruebas del dispositivo se realizaron en video juegos educativos. La figura 7, presenta acciones de control sobre el avatar de un videojuego realizado en Kodu Game, el tiempo de respuesta del avatar fue de 200ms, permitiendo al usuario accede al juego, cargar el mundo a jugar y controlar el avatar (Stolee & Fristoe, 2011).

Los usuarios manifestaron agrado por la interactividad presentada del dispositivo,  la sensación de no tener un control en la mano para agarre les solicitaba un mayor esfuerzo el cual consideraron de mayor estimulación para el jugador.

Fig. 7
Puesta en funcionamiento en videojuego educativo realizado en kodugame lab

La figura 8. Presenta el videojuego  académico Kokori  en el cual se utilizó el dispositivo, este video juego trata de la manipulación de nanobots que protegen la célula de virus y bacterias. La evaluación cualitativa de los usuarios que manipularon el nanobot mediante el dispositivo implementado realizaron los mandos en tiempo real y resaltaron el grado de interactividad que el dispositivo presenta, por la manipulación del avatar con los  movimientos de la mano. (Mauricio Báez ； Javiera Roa ； Virginia Garretón, 2014)

Fig. 8
Puesta en funcionamiento en videojuego educativo kokori

Se realizó una evaluación basada en la norma IEC CDV TR 61997 (Bevan, 2006). La muestra fue de 30 personas. El instrumento de recolección de información fue la encuesta. Las variables a medir fueron usabilidad, interactividad, control en tiempo real, consistencia y ergonomía. Se obtuvieron los resultados referentes a la interactividad del sistema del 95%. La usabilidad fue calificada con un valor del 92%. El control en tiempo real fue calificada con un valor del 94%. La consistencia obtuvo el 96% y la ergonomía 94%, estas apreciaciones muestran valores superiores al 90%. Respecto a las características del dispositivo frente al uso y apropiación por parte de los usuarios, los resultados se resumen en la figura 9. (Apple Computer inc, 1992) (IEC CDV TR 61997, 2000)

Fig. 9
Apreciación de los usuarios del dispositivo de control

Se implementó un guante para el control de avatares en video juegos utilizando el protocolo de comunicación inalámbrica bluetooth, para esto se realizaron las caracterizaciones de las galgas extensiometricas utilizadas como sensores de los movimientos de los dedos de la mano. La comunicación con el usuario se realizó mediante una interfaz gráfica que permitió leer los movimientos de la mano y controlar un avatar para prueba del guante implementado, el tiempo de comunicación fue de 200 milisegundos.

El desarrollo tecnológico implementado aporta al uso tecnologías basadas en interfaz hombre máquina, con principios en la biomimetica y biofísica, particularmente en los movimientos de la mano basado en sensores flexo resistivos y acelerómetros para tele operación de videojuegos educativos, fortaleciendo el área de la tecnología educativa.

La plataforma de programación processin y el lenguaje de programación phyton permiten el desarrollo de interfaces graficas de interacción, con tecnologías libres y flexibles que permitan el control total de avatares de videojuegos y funciones básicas del ordenador.

Las evaluaciones realizadas indican que el dispositivo de telecontrol  y la interfaz gráfica de usuario implementado permiten controlar el videojuego con una interactividad del 95%, la usabilidad del 92%, el control en tiempo real del 94%, la consistencia del 96% y la ergonomía del 94%.

Las apreciaciones de los usuarios indican que la sensación de control sobre el avatar fue en tiempo real, resaltaron el grado de interactividad y estimulación sicomotriz que el dispositivo presenta, por la manipulación del avatar con los  movimientos de la mano.

Se propone como trabajos futuros desarrollar prototipos que permita estimulación fisiológica al usuario mediante técnicas de electroestimulación y termoestimulación, desarrollando videojuegos enfocados en diferentes áreas del conocimiento, que permitan desarrollar tecnología que aporte a los proceso de enseñanza y aprendizaje.

Ana, P. (2014). VIDEOJUEGO CONTROLADO POR LOS GESTOS Y MOVIMIENTOS DE LA MANO DERECHA. UNIVERSIDAD CENTRAL DEL ECUADOR, 1–136. https://doi.org/10.1017/CBO9781107415324.004

Apple Computer inc. (1992). Human interface guidelines: the Apple desktop interface. Addison-Wesley Publishing Company Reading, xxiii, 384 . Retrieved from http://portal.acm.org/citation.cfm?id=573097&dl=GUIDE&coll=GUIDE&CFID=46714400&CFTOKEN=29970297

Bevan, N. (2006). International Standards for HCI and Usability. International Journal of Human Computer Studies, 55(4), 533–552. https://doi.org/10.1006/ijhc.2001.0483

Caroux, L., Isbister, K., Bigot, L. Le, Vibert, N., Caroux, L., Isbister, K., … Vibert, N. (2015). Player – video game interaction : A systematic review of current concepts To cite this version : HAL Id : hal-01108083. HAL.

Ceccarelli, M., Nava, N., Juan, J., Parada, J., & Carbone, G. (2004). Diseño Y Experimentacion De Un Dedo Articulado Antropomorfo Con Un Grado De Libertad Para Una Mano Robotica. Revista Iberoamerica de Ingenieria Mecanica, 8(2), 15_24.

Dorador, J., & Rios, P. (2004). Robótica Y Prótesis Inteligentes. Revista Digital Universitaria, 6(1), 1–15.

GALÁN, J., ROBLES, E. L., & MORENO, H. (2011). La robótica aplicada a la lúdica. Tecnura, 15(30), 52–63.

Godfrey, S. B., Bianchi, M., Zhao, K., Catalano, M., Breighner, R., Theuer, A., … Bicchi, A. (2017). Converging Clinical and Engineering Research on Neurorehabilitation II. Biological and Health Systems Engineering, School of (BHSE), 15, 469–473. https://doi.org/10.1007/978-3-319-46669-9

Guapacho, J., Vargas, J., & Isaza, L. (2017). Robótica móvil : una estrategia innovadora en el proceso de enseñanza y aprendizaje. Revista Virtual Universidad Católica Del Norte, 52, 100–118.

Herrera, E., Zambrano, W., & Silva, F. (n.d.). Diseño e implementación de un guante sensorizado para el control teleoperado de un prototipo de brazo robótico para aplicaciones de manejo de materiales peligrosos.

Herrera, W. D., & Vargas, J. A. (2017). Implementation of a Control and Biometric Safety of the Vascular Network of the Dorsal Side of the Hand Through Digital Processing of Images. In Automatic Control (CCAC),.

Hower, J. E., Correa, C. A., & Pareja, C. U. (2012). Análisis Y Diseño De Un Prototipo De Una Mano Robótica Con Catorce Grados De Libertad, Capaz De Ser Dirigida a Través De Internet En Tiempo Real. Pereira. Retrieved from http://repositorio.utp.edu.co/dspace/bitstream/11059/2690/1/629892H859.pdf

IEC CDV TR 61997. (2000). Guidelines for the user interfaces in multimedia equipment for general purpose use (2000). Retrieved from http://www.usabilitynet.org/tools/r_international.htm

Isaza, L., Vargas, J., & Velásquez, F. (2015). Diseño de una interfaz gráfica de usuario para el control de un prototipo de banda seleccionadora de piezas industriales. Ingenium, 17(34).

Jacobson, J., & Lewis, M. (2005). Reality with CaveUT. Computer, (April), 79–82. https://doi.org/10.1109/MC.2005.126

Jesse Schell. (2008). The art of game design. The effects of brief mindfulness intervention on acute pain experience: An examination of individual difference (Vol. 1). https://doi.org/10.1017/CBO9781107415324.004

Marchand, A., & Hennig-Thurau, T. (2013). Value creation in the video game industry: Industry economics, consumer benefits, and research opportunities. Journal of Interactive Marketing, 27(3), 141–157. https://doi.org/10.1016/j.intmar.2013.05.001

Martín Doñate, C. (n.d.). Interfaces Hápticos. Aplicacion En Entornos Virtuales. In XVI CONGRESO INTERNACIONAL DE INGENIERÍA GRÁFICA (pp. 1–9). Retrieved from http://blearning.itmina.edu.mx/dep/sada/carreras/Ingenieria en Sistemas Computacionales/6to Semestre/Interfaces/interfaces/Comunicacion17018.pdf

Martínez, J., García,  a. S., Martínez, D., & González, P. (2009). Desarrollo de un Guante de Datos con Retorno Háptico Vibro-táctil Basado en Arduino. Interacción 2009 - Jornadas de Realidad Virtual, 1–10.

Mauricio Báez ； Javiera Roa ； Virginia Garretón. (2014). Software Tool Development to Spur Motivation in Science Learning Tekit Center at Santo Tomas University of Chile. Airiti Library, 53–82.

Monroy, M., Oyarzabal, M., Ferre, M., Cobos, S., Barrio, J., & Ortego, J. (2007). Dispositivos hápticos: Una forma de realizar la interacción hombre máquina. In II Congreso Internacional sobre Domótica, Robótica y Teleasistencia para Todos DRT4all 2007 (pp. 29–37). Retrieved from http://www.discapnet.es/Castellano/areastematicas/tecnologia/DRT4ALL/ES/DRT4ALL2007/Documents/DRT4ALL2007_
Un_escaparate_de_futuro_abierto_al_presente.pdf

Moreno, R. J., Cely, C. A. P., & Arenas, J. O. P. (2013). Diseño de un guante háptico de control para manipulador robótico teleoperado. Ingenium, 7(17), 19–28. Retrieved from http://revistas.usc.edu.co/index.php/Ingenium/article/view/313

Muñoz-añasco, M., Vivas-albán, Ó. A., & Gaviria-lópez, C. A. (2010). Diseño y construcción de la prótesis robótica de mano UC-1. Ingenieria Y Universidad, 14(2), 223–237.

OVALLOS, D., VILLALOBOS, B., DE LA HOZ, S., & MALDONADO, D. (2016). Gamificación para la gestión de la innovación a nivel organizacional. Una revisión del estado del arte. Revista Es, 37(8), 2.

Pan, Y. (2016). Heading toward Artificial Intelligence 2.0. Engineering, 2(4), 409–413. https://doi.org/10.1016/J.ENG.2016.04.018

Pérez, I., & Mendoza, H. (2008). Desarrollo de una mano robótica con capacidad de manipulación. Télématique: Revista Electrónica de Estudios Telemáticos, 7, 180–207.

Posada, J., Villanueva, J., Castillo, M., & Molina, S. De. (2013). Control de un brazo robótico usando el hardware kinect® de microsoft., 88–93.

Santos, R., Devincenzi, S., Bothelo, S., & Bichet, M. (2018). A model for implementation of educational cyber physical systems. Revista ESPACIOS, 39(10), 36.

Solano-Albajes, L., Contreras-Espinosa, R. S., & Eguia Gómez, J. L. (2013). Videojuegos: Conceptos, historia y su potencial como herramienta para la educación. 3ciencias Tic, (2), 14 pp. Retrieved from http://www.3ciencias.com/articulos/articulo/videojuegos-conceptoshistoria-y-su-potencial-como-herramienta-para-la-educacion/

Stolee, K., & Fristoe, T. (2011). Expressing computer science concepts through Kodu game lab. Sigcse’11. https://doi.org/10.1145/1953163.1953197

Tiedekunta, I. (2017). Improving the Game With User Generated Content : an Overview of Skyrim Mod Users. JYVÄSKYLÄN YLIOPISTO INFORMAATIOTEKNOLOGIAN TIEDEKUNTA.

Vargas-Guativa, J., Rojas, L., & Toledo, Ri. (2015). Sistema de control y supervisión de un compresor de aire utilizando dispositivos móviles con sistema operativo Android y protocolo de comunicación Bluetooth. Ingenium, , 9(24), 23–31. Retrieved from http://revistas.usc.edu.co/index.php/Ingenium/article/viewFile/518/437

Ventures, L., & Capital, I. (2015). Followed by Success in Games Industry , Umbra Evolves the Future of 3D Technology after Securing Millions in New Equity.

1. Profesor Investigador del grupo Macrypt. Meta. Universidad de los Llanos. Ingeniero Electrónico, Magister en administración y planificación educativa y Doctor en Ciencias de la Educación (Facultad de Ciencias Básicas e Ingeniería). javier.andres.vargas@unillanos.edu.co

2. Ingeniero Electrónico. Egresado de la Universidad de los Llanos