Propuesta de interacción multimodal: caso de estudio navegación en mapas

Abstract

Este trabajo presenta una propuesta del componente de interacción de usuario multimodal para ser integrado principalmente con aplicaciones de computación visual 2D/3D. El componente considera múltiples canales de entrada de información funcionando simultáneamente. Sobre cada canal de entrada se define un proceso de tratamiento de información que corresponde a una modalidad de interacción disponible al usuario. La información resultante de las diferentes modalidades se integra para definir acciones/comandos conjuntos de interacción hacia la aplicación computacional. La interacción multimodal busca ser más natural para el usuario, lo cual significa una interacción más fácil y agradable. La propuesta fue validada integrando una componente de interacción multimodal basada en gestos manuales y voz con la aplicación Bing-Maps para realizar la tarea de navegación en mapas 2D en un ambiente de visualización de mediano formato. El prototipo de integración fue validado por un conjunto de usuarios y se obtuvieron resultados preliminares de su funcionalidad y de la experiencia de usuario resultante.