...........................................................................................................................................
Corredor,-Camargo Peña-Cortés y Pardo-García / INGE CUC, vol. 15 no. 1, pp. 9-16, Enero - Junio, 2019
Evaluación de las emociones de usuarios en tareas con realimentación háptica utilizado el dispositivo Emotiv Insight
Assessment of the users emotions in haptic feedback tasks using the Emotiv Insight device
DOI: http://dx.doi.org/10.17981/ingecuc.15.1.2019.01
Artículo de Investigación Científica. Fecha de Recepción:11/10/2018. Fecha de Aceptación:15/02/2019.
Javier Adolfo Corredor-Camargo 
Universidad de Pamplona. Pamplona, (Colombia)
javier.corredor@unipamplona.edu.co
César Augusto Peña-Cortés
Universidad de Pamplona. Pamplona, (Colombia)
Aldo Pardo-García
Universidad de Pamplona. Pamplona, (Colombia)
.
Para citar este artículo:
Javier Corredor-Camargo; César Peña-Cortés, Aldo Pardo-García “Evaluación de las emociones de usuarios en tareas con realimentación háptica utilizado el dispositivo Emotiv Insight”, INGE CUC, vol. 15, no. 1, pp. 9-16, 2019. DOI: http://doi.org/10.17981/ingecuc.15.1.2019.01
.
Resumen
Introducción− Este estudio evalúa las cinco métricas de desempeño, disponibles en el dispositivo Emotiv Insight en una tarea virtual de seguimiento de trayectorias por medio de un robot móvil.
Objetivo− Caracterizar y/o determinar si algunas métricas EEG se relacionan con primitivas de una tarea de teleoperación, donde se realimentan señales hápticas, en pro de verificar si puede ser útil incorporar la información disponible del dispositivo Emotiv en una estrategia de control compartido.
Metodología− Se formuló un diseño experimental, que incluye el registro y análisis de neuroseñales en cinco usuarios con una Interfaz Cerebro Computador (ICC), ejecutando tareas de teleoperación de un robot móvil en el entorno de VREP (Virtual Robot Experimentation Platform).
Resultados− Los resultados muestran que el compromiso y la relajación son emociones que podrían ser de utilidad para identificar situaciones demandantes en tareas de seguimiento y evasión de obstáculos. Por otro lado, se observa que algunas métricas como estrés, excitación, interés y enfoque, en promedio, se mantienen en niveles similares durante la ejecución de la tarea.
Conclusiones− Incluir interfaces cerebro computador de bajo costo, como el Emotiv en tareas con realimentación háptica, ofrece nuevas posibilidades para la evaluación del desempeño del usuario y potencialmente para control.
Palabras clave− Telerobótica; Interfaz Cerebro Computador; Robots Móviles; Control Compartido; Háptica; EEG.
.
Abstract
Introduction− This study assesses the five-performance metrics, available on the Emotive Insight device in a virtual toolpath tracking task through a mobile robot.
Objective− Characterize and/or determine if some EEG metrics are related to primitives of a teleoperation task, where haptic feedback is provided, in order to verify if it can be useful to incorporate the information available from the Emotiv device in a shared control strategy.
Methodology− An experimental design was formulated, which includes the recording and analysis of neurosigns in five users with a Brain Computer Interface (BCI), executing tasks of teleoperation of a mobile robot in the Environment of VREP (Virtual Robot Experimentation Platform).
Results− The results show that engagement and relaxation are emotions that could be useful to identify demanding situations in tracking path and evasion of obstacles such as the experimental setup proposed in this article. On the other hand, it is observed that some metrics such as stress, excitement, interest and focus, on average, remain at similar levels during the task execution.
Conclusions− Including brain computer interfaces of low-cost, such as the Emotiv in tasks with haptic feedback, offers new possibilities for assessment user performance and potential for control applications.
Keywords− Telerobotics; Brain Computer Interface; Mobile Robots; Shared Control; Haptics; EEG.
I. Introducción
El ser humano ha evolucionado para interactuar con su entorno a través de cinco sentidos visión, audición, gusto, olfato y tacto. El término háptica hace referencia a la ciencia relacionada con el sentido del tacto.
Desde la perspectiva de la robótica, la háptica hace referencia a los diferentes sistemas y/o algoritmos que hacen posible dotar al robot de la capacidad de interactuar con su entorno, reproduciendo estrategias adoptadas por el sentido del tacto humano. El término realimentación háptica se refiere a la estimulación del sentido del tacto del usuario, a través de un automatismo que ejerce fuerzas u otro tipo de dispositivo electromecánico que genera señales vibro-táctiles al usuario.
El desempeño humano-robot incluye los diferentes canales sensoriales, lo cual agrega complejidad al diseño y evaluación del sistema. Dado que el usuario está en el lazo de control de forma continua, debería percibir la interacción de forma natural para que la tarea se realice de forma fluida. Para este fin, el automatismo debe adaptarse al usuario y no al contrario.
Con esta perspectiva, el automatismo debe ser adaptativo y esta adaptación debe partir de la lectura de los diferentes estados del usuario, para así reaccionar de forma adecuada y hacer que el usuario perciba una interacción intuitiva.
Uno de los retos más importantes es estimar los estados del usuario. Este proceso incluye desde la estimación de la intención del usuario hasta la determinación del estado de atención en la tarea, como factores clave, los cuales juegan un papel importante para diseñar automatismos que se adapten al usuario y permitan realizar tareas de forma colaborativa entre humano y robot.
El hecho que el usuario deba realizar la tarea en conjunto con un robot puede traer estrés, ansiedad y/o perdida de la atención en la tarea. Otro reto al que se enfrenta el diseñador de estos sistemas es la evaluación del sistema. Aunque existen diferentes métricas cuantitativas [1], es común realizar encuestas cualitativas diseñadas para entender o correlacionar las métricas cuantitativas con la percepción que tiene el usuario sobre el automatismo y el desarrollo de la tarea.
La disponibilidad de interfaces cerebro computador (ICC), permite cuestionarse sobre su uso en tareas de interacción humano-robot, e.g. teleoperación, control compartido y/o asistencias a la movilidad, en dos aplicaciones fundamentales: 1) la evaluación del desempeño del usuario y 2) el desarrollo de estrategias de control que incluyan este tipo de información, con la idea de mejorar o regular ciertas métricas de desempeño tales como reducir el estrés o la carga de trabajo y aumentar el compromiso y la atención en la tarea.
El aporte de este artículo, se relaciona principalmente con la primera área, orientada a validar una ICC de bajo costo en el desempeño de usuarios, expuestos a una tarea típica con realimentación háptica. Este enfoque proporciona información adicional a la disponible mediante encuestas para conocer la percepción del usuario con relación al desarrollo del experimento.
Este manuscrito se ha organizado de la siguiente manera, primero se presenta una breve relación sobre los trabajos que abordan en conjunto la evaluación por medio de interfaces EEG que involucran el canal háptico. En segunda instancia, se formulan los aspectos metodológicos del estudio, incluyendo la configuración experimental y a continuación se presentan los resultados y discusión. Finalmente se genera un espacio para la discusión, conclusiones y futuras investigaciones.
II. Antecedentes
Una interfaz cerebro computador (ICC) se define como un sistema de comunicación o control que se basa en ondas cerebrales (electroencefalograma - EEG) generadas conscientemente para controlar un mecanismo real o virtual [2]. Aunque esta interfaz puede ser invasiva, (i.e. requiere de cirugía para implantar los sensores en el cerebro), gracias al desarrollo contemporáneo de biomateriales, la miniaturización de sensores y al avance en de los algoritmos computacionales de estimación de patrones, actualmente se dispone de dispositivos de bajo costo no invasivos, como el Emotiv Insight, EPOC y Neurosky MindWave, entre otros, los cuales se incorporan con el uso de un casco (ver Fig. 1). A pesar de ser dispositivos de relativo bajo costo, los dispositivos Emotiv registran la actividad cerebral para la detección de diversas acciones mentales con éxito [3], [4].
Fig. 1. Configuración experimental.
Nota: Se muestra el usuario realizando una tarea virtual usando la Interfaz Cerebro Computador (ICC) y el dispositivo háptico.
Fuente: Autores.
El dispositivo Emotiv provee, además de las señales cerebrales medidas directamente de los sensores, seis medidas básicas de desempeño mental estimadas directamente a partir de la actividad cerebral: Compromiso (Engagement), Interés (Interest), Excitación (Excitement), Enfoque (Focus), Estrés (Stress) y Relajación (Relaxation).
Existen diferentes técnicas y enfoques propuestos en la literatura para el procesamiento de datos y estimación del estado emocional a partir de las señales adquiridas mediante la ICC. Los métodos computacionales para extraer y clasificar los rasgos distintivos de las emociones constituyen actualmente un amplio campo de estudio. Dentro de estos métodos computacionales se resaltan los siguientes: extracción de rasgos en el dominio de la frecuencia (e.g. power spectral density), del tiempo (e.g. Fractal dimension), análisis estadístico (Kurtosis symmetry). De otra parte, para la clasificación hay estudios donde se utilizan Máquinas de soporte vectorial, K-Nearest Neighbor, Linear Discriminant Analysis o Redes Neuronales Artificiales.
Uno de los problemas relacionados con el uso de ICC es que el éxito de las medidas depende de las características particulares de cada usuario, en las ICC entre 20 % y 30 % de usuarios presentan un bajo desempeño, esto se conoce como Analfabetismo ICC (BCI-illiteracy) [5]. Si el usuario no puede generar patrones EEG estables y distintos, los algoritmos de reconocimiento no podrían operar. Se requiere entonces que el experimento sea configurado de forma cuidadosa en cuanto a los usuarios y el entorno en el que se realiza el experimento.
Una de las aplicaciones más difundidas para los sistemas de ICC, se orienta a hacer posible que las personas que sufren de trastornos neurológicos graves puedan comunicarse e interactuar con su entorno [2].
Cuando se realimentan señales hápticas al usuario, su desempeño conductual (comportamiento) mejora [6]. Se ha demostrado que existe una asociación entre la realimentación háptica y el aprendizaje motor, mediante la descripción de cambios espectrales en diferentes procesos cerebrales y las interacciones entre estos procesos [7]. Con la idea de evaluar la habilidad aprendida en una tarea con realimentación háptica [8], se analizaron los datos EEG encontrando como resultado que las tareas hápticas se pueden detectar mediante el monitoreo de las cortezas motora y sensorial del cerebro. Estos hallazgos, permiten hipotetizar que es posible utilizar las señales EEG para evaluar el grado de habilidad desarrollado en la tarea háptica. Así mismo, se ha demostrado que algunas tareas con control de fuerza adaptativo mejoran la atención sostenida del usuario, en una tarea realizada con los dedos de la mano, la atención ha sido estimada mediante señales EEG [9].
En lo referente a las aplicaciones relacionadas con el control de mecanismos que incluyan el canal háptico, se pueden encontrar propuestas para mejorar la etapa de entrenamiento de la ICC incluyendo háptica [10], incluir en el control de prótesis la bio-realimentación por el canal háptico [11] y ajustar una asistencia háptica en función de la carga mental de trabajo o la atención [12], [13].
Se ha explorado en la literatura, la eficiencia de incluir realimentación de señales hápticas vibro-táctiles durante el entrenamiento de tareas para controlar una silla de ruedas (virtual) por medio de ICC [10]. Aunque no se encuentran diferencias en el desempeño del proceso de entrenamiento cuando se realimentan señales hápticas o visuales, se ha reportado que la realimentación háptica durante el entrenamiento de la tarea resulta más natural y confortable para el usuario que la realimentación visual. Esto puede indicar que se podría utilizar el canal visual para otro tipo de estímulos, o tal como sucede en el caso de personas con problemas de visión, se podrían utilizar estímulos hápticos en la etapa de entrenamiento.
Por otro lado, algunas aplicaciones de prótesis utilizan estrategias basadas en control mioeléctrico o sistemas accionados por cables. Una alternativa comprende el uso de las ICC, donde el concepto de bio-realimentación (biofeedback) se usa para describir el lazo de realimentación que se cierra con el usuario, generalmente por medio de interfaces visuales o auditivas humano-computador. Sin embargo, para tareas de manipulación no es suficiente con la realimentación visual o auditiva, por lo tanto, se ha propuesto usar señales vibro-táctiles [11] y de fuerza.
Específicamente, en el área de interés del presente artículo, se ha propuesto el uso de una ICC para activar una asistencia háptica cuando la actividad cerebral del usuario refleja una carga de trabajo mental alta o se distrae de la tarea [12], [13]. En este caso, no se encontraron diferencias significativas en el desempeño de la ejecución de la tarea entre la asistencia háptica basada en ICC y una asistencia háptica constante. Sin embargo, en la condición de asistencia háptica basada en ICC la activación de la asistencia se realizaba solo cuando la carga mental sobrepasaba cierto umbral [12]. Por otro lado, se ha demostrado que el usuario mejora su desempeño en escenarios donde se inducen distracciones y pierde la atención en una tarea primaria por atender una segunda tarea; la asistencia háptica guía al usuario en completar la tarea primaria, de esta forma el usuario percibe una mejora en el confort, seguridad, control y reducción de la carga de trabajo [13].
A partir de los planteamientos anteriores, se considera relevante y pertinente estudiar en primera instancia, si un dispositivo EEG de bajo costo permite identificar diferentes estados emocionales del usuario, cuando realiza una tarea con realimentación háptica.
III. Metodología
A. Configuración experimental
Se pretende evaluar el desempeño de los usuarios mediante las medidas disponibles en la ICC mientras realizan una tarea de seguimiento de trayectoria de un robot móvil el cual se controla mediante un dispositivo háptico (ver Fig. 1 y 2).
Fig. 2. Entono virtual (vista superior) y al lado (derecha) el robot móvil diferencial Pioneer.
Nota: Se observa en línea continua la trayectoria que debe seguir el usuario y la flecha indica el inicio y sentido del recorrido de la trayectoria, los círculos indican obstáculos. Los dos modelos están disponibles en los ejemplos del simulador VREP [14].
Fuente: Autores.
El usuario debe seguir la trayectoria dibujada en el piso del entorno virtual, en el sentido propuesto (ver flecha Fig. 2). El usuario por medio del dispositivo háptico controla la posición y el avance de un robot móvil. El usuario debe realizar la tarea sin importar el tiempo empleado y buscando minimizar el error entre la posición del móvil y la trayectoria dibujada.
B. Equipos
El robot móvil está disponible en VREP, el cual es un simulador de sistemas robóticos que permite controlar los modelos de los robots por medio de diferentes estrategias, e.g. scripts desarrollados en el lenguaje LUA; plugins desarrollados en otro lenguaje i.e C++, Python, Matlab, entre otros; por medio de la creación de un nodo ROS; o creando una aplicación externa que se comunica por sockets, puerto serial, etc.
Para el control del robot disponible en VREP, se utilizó un plugin que hace uso del framework Chai3d [15], el cual permite controlar dispositivos hápticos, enviar datos de posición al robot y realimentar al usuario fuerzas de la interacción del robot con el entorno. Para la tarea aquí propuesta, la fuerza se calcula de forma proporcional a la distancia medida por los sensores de proximidad del robot a los objetos que se encuentran en el entorno virtual (obstáculos). Se dibuja en el piso del entorno la trayectoria que debe seguir el robot (ver Fig. 2).
C. Dispositivo háptico
Como dispositivo háptico se utiliza el Falcon de Novint [16], el cual es un robot paralelo configuración delta, Fig. 1. Es un dispositivo háptico de tipo impedancia, baja inercia y no requiere de sensor de fuerza, se controla por medio de la programación de una impedancia que refleja la dinámica de interacción del avatar en el mundo virtual basado en la posición.
D. Interfaz Cerebro Computador (ICC)
Como ICC, se dispone del Emotiv Insight, este dispositivo provee el software para adquirir seis medidas del estado mental:
Interés: Es el grado de atracción o aversión a la actividad actual que realiza el usuario. Valores bajos de interés indican una fuerte aversión a la tarea, valores altos de interés indican una fuerte afinidad con la tarea, mientras que, las puntuaciones de rango medio indican que no le gusta ni le disgusta la actividad. El interés está relacionado con el disfrute de la tarea actual.
Excitación: Captura el nivel de entusiasmo emocional, el cual es un estado de mayor actividad, tanto mental como física, lo cual incrementa el nivel de alerta.
Compromiso: Mide que tan inmerso se encuentra el usuario en las tareas que se encuentra experimentando. El compromiso requiere conjuntamente los procesos de atención y concentración.
Enfoque: Es una medida de la atención fija a una tarea específica. Mide la profundidad de la atención, así como la frecuencia que su atención cambia entre tareas. Un alto nivel de conmutación de tareas es una indicación de bajo enfoque y distracción.
Estrés: Es una medida del nivel de comodidad con el reto actual. Los altos niveles de estrés pueden derivarse de una incapacidad para completar tareas difíciles; lo cual hace que la persona se sienta abrumada y genere temor ante las posibles consecuencias negativas, por no satisfacer los requisitos de la tarea. Generalmente, un nivel de estrés bajo a moderado puede mejorar la productividad, mientras que un nivel más alto, tiende a ser destructivo y puede tener consecuencias a largo plazo para la salud y el bienestar.
Relajación: Es la capacidad de alcanzar un estado mental tranquilo. Es una medida de la habilidad para reducir los niveles de activación, permitirse descansar y recuperarse de una concentración intensa.
E. Métodos
A cinco usuarios en condiciones óptimas de salud, se les solicitó que realizaran la tarea háptica de guiar a un robot móvil virtual. Cabe resaltar que ninguno de los usuarios tenía experiencia en el desarrollo de la tarea, ni con el uso de dispositivos hápticos.
Previamente al desarrollo del experimento, se le informó a cada usuario sobre el objetivo de la tarea y se le permitió que interactuara con el dispositivo háptico, para que se pudiera familiarizar con el robot móvil y su control a través del dispositivo háptico.
Procedimentalmente, al inicio del experimento se realiza la etapa de entrenamiento, donde se adelanta la calibración de la interfaz ICC con los ojos abiertos y cerrados, mientras tanto se establece una pequeña conversación con el usuario para propiciar un estado normal a nivel emocional. Cabe anotar que, algunos usuarios no fueron considerados aptos para participar en el experimento, dado que no se obtenían lecturas adecuadas de señales EEG (producto de falta de contacto de los electrodos por abundancia o exceso de cabello, adicionalmente algunos usuarios no tenían un ajuste craneal óptimo para el uso de la ICC).
De otra parte, para cada uno de los casos en los cuales los usuarios si resultaron aptos, se les informó sobre la importancia de mantener el enfoque durante toda la etapa de entrenamiento, manteniendo la cabeza y músculos de la cara relajados durante todo el experimento. Posteriormente, se le daba la instrucción al usuario para iniciar con la tarea. El tiempo estimado de muestreo fue de (0,1 seg.). Durante el experimento se recolectaron los datos correspondientes a las emociones y la trayectoria seguida por el usuario, para su posterior análisis.
IV. Resultados
Se observa que, en promedio, los usuarios presentan un grado de compromiso por encima de la mitad de la escala (≈ 60 %), la Fig. 3, representa mediante rombos la media. Así mismo, se observa en promedio, un nivel medio de interés en la tarea (≈ 0.56 %). El estrés se ubica por debajo de la mitad de la escala (≈ 40 %), así como el enfoque (≈ 34 %), siendo el promedio más bajo el registrado por la excitación (≈ 10 %). Por último, se observa un promedio bajo de relajación (≈ 25 %).
En promedio, se observa un adecuado nivel de compromiso e interés, con margen de mejora. Las medidas que se ubican por debajo de la mitad de la escala (0.5) en promedio, corresponden al estrés, el enfoque, la excitación y la relajación.
Fig. 3. Media y desviación estándar para los datos de desempeño EEG correspondientes para los (5) usuarios realizando la tarea háptica.
Nota: Medidas tomadas mediante el dispositivo Emotiv Insight.
Fuente: Autores.
Aunque la media proporciona una idea del estado general de los usuarios, otras características descriptivas proporcionan información útil para la evaluación del dispositivo EEG en tareas hápticas, tales como la dispersión de los datos (ver barras en Fig. 3) que se representan con la desviación estándar o el análisis de las series de tiempo EEG con relación a la tarea háptica.
A. Análisis de series de tiempo
Considerando las series de tiempo de las señales EEG se observa variabilidad con relación a la ejecución de la tarea (ver Fig. 4). Aunque cabe anotar que existen diferencias existentes entre los usuarios en cuanto a los patrones de las señales EEG, a continuación, se presenta una descripción de la respuesta de un usuario como ejemplo típico de su desempeño.
La Fig. 4, ilustra la trayectoria realizada por un usuario, donde el color representa el nivel de emoción que alcanza en cada trayecto, de esta forma se puede observar algunos patrones donde el usuario experimenta mayor grado de cada emoción registrada.
El usuario en promedio mantiene un alto nivel de compromiso en la tarea (40 % - 80 %). El grado de compromiso se ajusta durante la ejecución de la tarea, en algunos tramos de la trayectoria el usuario reduce el nivel de compromiso, i.e. color azul asociado a líneas rectas. En otros tramos donde el usuario puede percibir la tarea más demandante, se incrementa su nivel de compromiso (ver colores: verde, amarillo y/o beige en la Fig. 4).
En lo referente al análisis del estrés, por otro lado, la variabilidad no es tan marcada; considerando como punto de referencia la escala de la Fig. 4, donde la variabilidad se ubica en el orden de las centésimas y en promedio se puede considerar que el usuario mantiene un nivel constante de estrés (≈37 % - 39 %).
El estrés para esta tarea háptica se mantiene en promedio, por debajo del 50 %, se debe considerar que la tarea podría inducir al estrés, si se penalizan ciertas circunstancias (por ejemplo: el tiempo de ejecución o el choque con el entorno). El estrés medio puede ser “bueno”, dado que indica un adecuado nivel de alerta, mientras que para el caso de los valores altos el estrés puede degradar el desempeño.
En el inicio de la trayectoria, se observa variabilidad en el nivel de excitación; sin embargo, parece que luego el usuario mantiene un bajo nivel de excitación experimentado.
La novedad del escenario de experimentación y la realimentación háptica, podrían incidir en los mayores grados de excitación observados al inicio del experimento, mientras que en los tramos finales de la trayectoria puede resultar familiar y reducir el nivel de excitación.
En promedio, el nivel de relajación del usuario es baja con valores estimados entre el (20 % y 40 %); en la Fig. 4, se observa una variabilidad o adaptación en los niveles de relajación. El usuario presentó cambios en sus niveles de relajación durante el seguimiento de la trayectoria; parece que, al percibir tramos más difíciles de seguir, el usuario reduce el nivel de relajación (ver color azul en la Fig. 4).
De forma similar que sucede con los niveles de estrés, el interés presenta baja variabilidad (ver escala de la Fig. 4), con valores estimados entre (49 % y 52 %). Los valores mínimo y máximo registrados tienen una diferencia de 3 %. A pesar de esto, se observa que el interés al inicio de la tarea registra valores bajos de la escala, luego aumenta para ubicarse en la mitad de la escala y finalmente se obtiene los valores máximos al finalizar la trayectoria.
Se podría inferir que, el usuario inicia con un bajo interés, luego se aumenta el interés hasta alcanzar los valores mayores registrados. Sin embargo, en promedio el usuario tiende a mantener el interés en un nivel medio (sobre los valores de referencia de la escala).
El enfoque se mantiene, en promedio de forma constante durante la ejecución de la tarea. Sin embargo, en algunos tramos de la trayectoria, el enfoque oscila de forma leve con valores estimados entre (25 % y 32 %). En la Fig. 4, se ilustra como el usuario puede estar recibiendo información visual o háptica que debe atender para realizar la tarea.
El usuario debe mantener su enfoque en el manejo del dispositivo háptico y adicionalmente en el seguimiento de la trayectoria, por lo tanto, el usuario recibe realimentación háptica. Considerando que, el enfoque mide la capacidad de mantener la concentración en una tarea, es necesario que el usuario atienda la información de los estímulos para realizar la tarea de forma exitosa.
Fig. 4. Señales EEG tomadas en el experimento para las cinco emociones.
Nota: La figura muestra el desempeño de un usuario sobre la trayectoria deseada. La flecha en la figura de compromiso (ver detalle en Fig. 2) indica el inicio y la dirección de seguimiento de la trayectoria.
Fuente: Autores.
B. Desempeño de la tarea en error de posición y EEG basado en tipo de realimentación
El análisis anterior, permite identificar la regulación de las diferentes emociones en diferentes niveles y potencialmente dependientes de condiciones de la tarea, tal como se ha reportado en la literatura [10]. Con el objetivo de analizar esta dependencia en la tarea, se propone analizar los datos en dos condiciones, cuando el usuario recibe realimentación visual y háptica, y cuando solo recibe realimentación visual sin ningún tipo de realimentación de fuerza.
El desempeño del usuario al ejecutar la tarea se mide por medio de las medias del error de posición y de las cinco métricas de desempeño EEG de cada usuario, para las dos condiciones cuando el usuario recibe realimentación háptica y visual (identificada como H en las Figs. 5 y 6 cuando solo recibe la realimentación visual V).
La realimentación háptica se presenta cuando el usuario se acerca a los obstáculos (círculos en Fig. 4) o cuando se acerca a los muros que delimitan el espacio de trabajo del robot (bordes en Fig. 4). La realimentación tiene como propósito que el usuario perciba el entorno virtual, esta percepción podría dificultar la ejecución de la tarea y así disparar diferentes emociones. El problema de interacción humano y robot vía señales hápticas para mejorar el desempeño en la tarea se aborda en el área de guiado háptico el cual no se aborda en este trabajo.
El desempeño de los usuarios con relación al error entre la trayectoria deseada y la trayectoria real, se calcula mediante la media del error de posición de los usuarios en las dos condiciones (H y V), para estimar la variabilidad de las medias se ha calculado el error estándar de la media (SE), los cuales se observan en la Fig. 5.
Fig. 5. Desempeño EEG agrupado por tipo de realimentación. Visual y háptico (H) y solo visual (V).
Nota: Se muestra la media del error de posición de los usuarios en las dos condiciones, las líneas representan el error estándar de la media (SE).
Fuente: Autores.
La métrica de desempeño en la tarea, media del error de posición, muestra una tendencia de diferencia entre las dos condiciones de realimentación (ver Fig. 5).
La realimentación háptica (H) se presenta cuando el usuario se acerca a los obstáculos o cuando se aproxima a los muros, estas maniobras pueden ser consideradas como las más demandantes en cuanto a la dificultad de la tarea. Así mismo, la realimentación háptica genera una fuerza que puede hacer que el usuario pierda el control, por otro lado, ayuda a mantenerse sobre la trayectoria. Considerando detalladamente un tramo de trayectoria donde el robot debe pasar entre dos obstáculos, se evidencia que la fuerza total ejercida sobre el robot hace que no se choque con ninguno de los obstáculos.
Debido a que la realimentación se ha diseñado para percibir el entorno y no para guiarlo sobre la trayectoria deseada, el usuario degrada en promedio, el desempeño en la condición H (ver Fig. 5). Se busca que ante este estimulo háptico, las métricas EEG muestren ciertas tendencias particulares que permitan su uso posterior, para estimar la intención del usuario, identificar los posibles tramos de la tarea que pueden parecer más difíciles y adaptar los parámetros de control en un esquema de control compartido.
Las métricas EEG divididas en las condiciones (H y V), en promedio son similares (ver Fig. 6). Se calculan las medias y el error estándar (SE). A partir del análisis de los niveles de compromiso y relajación, cabe anotar que se presenta una tendencia de mayor compromiso y menor relajación, cuando hay realimentación visual y háptica (H). Por otro lado, cuando solamente se presenta realimentación visual, el compromiso tiende a reducirse, mientras que la relajación tiende a incrementarse.
Fig. 6. Desempeño EEG agrupado por tipo de realimentación. Visual y háptico (H) y solo visual (V).
Nota: Se muestra la media de las métricas EEG de los usuarios en las dos condiciones, las líneas representan el error estándar de la media (SE).
Fuente: Autores.
V. Conclusiones
Los resultados muestran que el compromiso y la relajación son emociones que podrían ser de utilidad para identificar situaciones demandantes en tareas de seguimiento y evasión de obstáculos en la tarea aquí propuesta. Por otro lado, se observa que algunas métricas relacionadas con la medición del estrés, excitación, interés y enfoque, en promedio se mantienen con niveles constantes durante la ejecución de la tarea, considerando las dos condiciones (H y V).
Los resultados muestran que, incluir interfaces cerebro computador (ICC) de bajo costo, tal como es el caso del Emotiv en tareas con realimentación háptica, ofrece nuevas posibilidades para la evaluación del desempeño del usuario y potencialmente para efectos de control.
El principal reto que se plantea como un trabajo futuro, considerando el potencial en control, consiste en diseñar estrategias de control compartido por la vía del canal háptico, para aprovechar el nivel de compromiso en situaciones demandantes, y que a su vez no se degrade o mantenga un nivel aceptable de relajación; para este efecto, se propone diseñar una estrategia de guiado háptico que incluya información sobre las métricas de las emociones, para ajustar el nivel de asistencia háptica.
VI. Financiamiento
Artículo de investigación científica derivado del proyecto de investigación “Estudio de la interacción háptica humano-robot en el control compartido incluyendo neuroseñales”, financiado por “Universidad de Pamplona”. Convocatoria Permanente de Investigaciones 2017.
Referencias
[1] C. Passenberg, A. Glaser, and A. Peer, “Exploring the Design Space of Haptic Assistants: The Assistance Policy Module”, IEEE Transactions on Haptics, vol. 6, no. 4, pp. 440-452, Oct. 2013. [Online]. https://doi.org/10.1109/TOH.2013.34
[2] K. Holewa and A. Nawrocka, “Emotiv EPOC neuroheadset in brain-computer interface”, Proceedings of the 2014 15th International Carpathian Control Conference (ICCC). pp. 149–152, May. 2014. https://doi.org/10.1109/CarpathianCC.2014.6843587
[3] G. S. Taylor and C. Schmidt, “Empirical Evaluation of the Emotiv EPOC BCI Headset for the Detection of Mental Actions”, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, vol. 56, no. 1, pp. 193–197, Sep. 2012. https://doi.org/10.1177/1071181312561017
[4] R. Lievesley, M. Wozencroft and D. Ewins, “The Emotiv EPOC neuroheadset: an inexpensive method of controlling assistive technologies using facial expressions and thoughts?”, Journal of Assistive Technologies, vol. 5, no. 2, pp. 67–82, Jun. 2011. https://doi.org/10.1108/17549451111149278
[5] R. Maskeliunas, R. Damasevicius, Martisius and M. Vasiljevas, “Consumer-grade EEG devices: are they usable for control tasks?”, PeerJ 4, e1746, Mar. 2016. https://doi.org/10.7717/peerj.1746
[6] C.-L. Lin, F.-Z. Shaw, K.-Y. Young, C.-T. Lin and T.-P. Jung, “EEG correlates of haptic feedback in a visuomotor tracking task”, NeuroImage, vol. 60, no. 4, pp. 2258–2273, May. 2012. https://doi.org/10.1016/j.neuroimage.2012.02.008
[7] M. Grunwald, T. Weiss, W. Krause, L. Beyer, R. Rost, I. Gutberlet and H.-J. Gertz, “Power of theta waves in the EEG of human subjects increases during recall of haptic information”, Neuroscience Letters, vol. 260, no. 3, pp. 189–192, Feb. 1999. https://doi.org/10.1016/S0304-3940(98)00990-2
[8] H. Miura, J. Kimura, N. Matsuda, M. Soga and H, Taki, “Classification of Haptic Tasks based on Electroencephalogram Frequency Analysis”, Procedia Computer Science, vol. 35, Supplement (C), pp. 1270–1277, Jan. 2014. https://doi.org/10.1016/j.procs.2014.08.226
[9] W. Jia, Y. Luo, Y. Hu and J. Zhang, “Adaptive Force Control Tasks Have Far-Transfer Effect on Sustained Attention”, 9th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), vol. 2, pp. 212–217. Aug. 2017. https://doi.org/10.1109/IHMSC.2017.162
[10] T. Palomaki, “EEG-based brain-computer interface with visual and haptic feedback”, Master’s thesis, Helsinki University of Technology, 2007. Available: http://lib.tkk.fi/Dipl/2007/urn007655.pdf
[11] A. Chatterjee, V. Aggarwal, A. Ramos, S. Acharya, N. V. Thakor, “Operation of a Brain-Computer Interface Using Vibrotactile Biofeedback”, 3rd International IEEE/EMBS Conference on Neural Engineering. pp. 171–174, May. 2007. https://doi.org/10.1109/CNE.2007.369639
[12] L. George, M. Marchal, L. Glondu and A. Lecuyer, “Combining Brain-Computer Interfaces and Haptics: Detecting Mental Workload to Adapt Haptic Assistance”, Haptics: Perception, Devices, Mobility, and Communication. Springer, Berlin, Heidelberg, pp. 124–135, Jun. 2012. https://doi.org/10.1007/978-3-642-31401-8_12
[13] M. A. Benloucif, C. Sentouh, J. Floris, P. Simon and J. C. Popieul, “Online adaptation of the Level of Haptic Authority in a lane keeping system considering the driver’s state”, Transportation Research Part F: Traffic Psychology and Behaviour, In press, Sep. 2017. https://doi.org/10.1016/j.trf.2017.08.013
[14] E. Rohmer, S. P. N. Singh and M. Freese, “V-REP: A versatile and scalable robot simulation framework”, IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1321–1326, Nov. 2013. https://doi.org/10.1109/IROS.2013.6696520
[15] F. Conti, F. Barbagli, R. Balaniuk, M. Halg, C. Lu, D. Morris, L. Sentis, J. Warren, O. Khatib and K. Salisbury, “The CHAI libraries”, Proceedings of Eurohaptics 2003, Dublin, Ireland, pp. 496–500, 2003.
[16] D. J. Block, M. B. Michelotti and R. S. Sreenivas, “Application of the Novint Falcon haptic device as an actuator in real-time control”, Paladyn, Journal of Behavioral Robotics, vol. 4, no. 3, 182–193, Dec. 2013. https://doi.org/10.2478/pjbr-2013-0017
Javier Adolfo Corredor Camargo is currently a professor in the Department of Mechanical, Mechatronics and Industrial Engineering at the University of Pamplona (from 2016), He is part of the research group Automation and Control. He holds a Ph.D. in Systems and Computing Engineer in 2017 and his master’s degree in Industrial Automation Engineering in 2008 from the National University of Colombia. He obtained his professional degree as Engineering of Design and Electronic Automation in Salle University in 2003. His research is focused on haptic, control, teleoperation and robotics. https://orcid.org/0000-0002-0106-8790
César Augusto Peña Cortés is currently a full professor in the Department of Mechanical, Mechatronics and Industrial Engineering at the University of Pamplona (from 2004), He is part of the research group Automation and Control. He holds a Ph.D. in Automation and Robotics from the Universidad Politécnica de Madrid in 2006 (Spain). His master’s degree in Electronics and Computer Engineering at the Universidad de Los Andes (Colombia) in 2003 and his professional degree as an Electromechanical Engineer in Pedagogical and Technological University of Colombia in 2001. His research is focused on service robots, artificial vision, and neuro signals, where he has several publications in journals and congresses. https://orcid.org/0000-0003-4148-2168
Aldo Pardo García received the degree in Electrical Engineer and the Ph.D. degree in Control Drives of Motors from Belarusian State Agrarian Technical University, Russia, in 1983 and 1987, respectively. He has a postdoctoral research in Automatic Control at Cinvestav and postdoctoral research in Engineering and Computing, Intelligent control at Florida International University. He is currently a full professor in the Department of Mechanical, Mechatronics and Industrial Engineering at the University of Pamplona. He is the head of the Automatic and Control research group. https://orcid.org/0000-0003-2040-9420