En este trabajo se propone una guía para el desarrollo de aplicaciones web que permitan interacción multimodal, y presenten un modelo de datos basado en web semántica. Para lograrlo se realizó un estudio del estado del arte de los lenguajes de marcado para el desarrollo de aplicaciones multimodales, y un estudio aplicado de las capas ontológica y lógica de la web semántica, además se probó la guía a través de la construcción de un prototipo de portal de información sobre el problema de desplazamiento forzado en la ciudad de Cartagena. Dicha guía no pretende convertirse en una metodología de desarrollo de software, sino más bien complementar las metodologías actuales, específicamente en los aspectos relacionados con la interacción multimodal y el modelado semántico. Para la construcción de la guía se tuvo en cuenta el patrón de desarrollo de software denominado: Modelo Vista Controlador, teniendo en cuenta que su principal finalidad consiste en separar las capas de presentación, lógica y datos.
Instituto Tecnológico y de Estudios Superiores de Monterrey ITESM
1. INTRODUCCIÓN.................................................................................................7
1.1. ANTECEDENTES 7
1.2. OBJETIVOS 7
1.3 PLANTEAMIENTO DEL PROBLEMA Y JUSTIFICACIÓN 8
1.4 TRABAJOS RELACIONADOS 9
1.5 MÉTODO DE INVESTIGACIÓN Y DESCRIPCIÓN DE RESULTADOS 11
2. MARCO TEÓRICO (ESTADO DEL ARTE)........................................................13
2.1 INTERACCIÓN MULTIMODAL 13
2.1.1 Acceso Multimodal........................................................................................13
2.1.2 Requerimientos del acceso multimodal........................................................15
2.1.3 Interface de usuario multimodal....................................................................18
2.1.4 Plataforma de interacción multimodal..........................................................18
2.1.5 Arquitectura de interacción Multimodal.........................................................22
2.1.6 Herramientas................................................................................................23
2.2 WEB SEMÁNTICA 28
2.2.1 Capas de la Web Semántica.........................................................................29
2.2.2 Marco de Descripción de Recursos..............................................................30
2.2.3 Ontología......................................................................................................34
2.2.4 Lenguajes para la Construcción de Ontologías............................................39
2.2.5 Lenguaje de reglas para la Web Semántica.................................................41
2.2.6 Herramientas................................................................................................42
2.3 ESTADO DEL ARTE DE LOS LENGUAJES DE MARCADO PARA EL DESARROLLO DE APLICACIONES MULTIMODALES 45
2.3.1 InkML (Ink Markup Language)......................................................................46
2.3.2 VoiceXML......................................................................................................49
2.3.3 XHTML + Voice.............................................................................................54
2.3.4 SALT (Speech Application Language Tags).................................................56
2.3.5 TalkML..........................................................................................................61
2.3.6 VoxML...........................................................................................................63
2.3.7 SSML (Speech Synthesis Markup Language)..............................................68
2.3.8 XForms.........................................................................................................70
2.3.9 EMMA (Extensible MultiModal Annotation markup language)......................74
2.3.10 SMIL (Synchronized Multimedia Integration Language).............................76
2.4 ESTUDIO SOBRE LA CAPA LÓGICA Y ONTOLÓGICA DE LA WEB SEMÁNTICA 78
2.4.1 Capa RDF + RDFSchema............................................................................79
2.4.2 Capa Ontológica...........................................................................................81
2.4.3 Capa Lógica..................................................................................................90
4
3. GUÍA PARA EL MODELADO Y DESARROLLO DE APLICACIONES WEB MULTIMODALES QUE INCLUYAN MODELADO DE DATOS BASADO EN WEB SEMÁNTICA...........................................................................................94
3.1 MODELADO DE LA INTERACCIÓN MULTIMODAL. 95
3.1.1 Aspectos generales:.....................................................................................96
3.1.2 Funciones de la aplicación............................................................................97
3.1.3 Componente de sesión.................................................................................97
3.1.4 Sistema y Entorno.........................................................................................98
3.1.5 Administrador de interacción.........................................................................98
3.1.6 Componente de entrada:..............................................................................99
3.1.7 Componente de salida:...............................................................................102
3.2 MODELADO SEMÁNTICO 103
3.2.1 Premisas.....................................................................................................105
3.2.2 Pasos..........................................................................................................106
4. MODELADO DEL PROTOTIPO DE PORTAL DE INFORMACIÓN SOBRE EL PROBLEMA DE DESPLAZAMIENTO FORZADO EN LA CIUDAD DE CARTAGENA.................................................................................................112
4.1 MODELO DEL NEGOCIO 112
4.2 IDENTIFICACIÓN DE REQUERIMIENTOS 114
4.3 MODELO DE DISEÑO 114
4.4 MODELO DE INTERACCIÓN MULTIMODAL 120
4.4.1 Aspectos generales:...................................................................................120
4.4.2 Funciones de la aplicación..........................................................................121
4.4.3 Componente de sesión...............................................................................121
4.4.4 Administrador de interacción.......................................................................122
4.4.5 Componente de entrada:............................................................................126
4.4.6 Componente de salida:...............................................................................129
4.5 MODELO SEMÁNTICO 130
4.5.1 Diseño de la ontología................................................................................130
4.5.2 Diseño de la interacción lógica...................................................................137
4.6 MODELO DE IMPLEMENTACIÓN 139
4.7 EVALUACIÓN DEL PROTOTIPO..................................................................140
CONCLUSIONES................................................................................................141
TRABAJOS FUTUROS........................................................................................143
BIBLIOGRAFÍA....................................................................................................144
ANEXOS..............................................................................................................153
CRONOGRAMA DE ACTIVIDADES....................................................................154
PRESUPUESTO..................................................................................................155
RECURSOS NECESARIOS................................................................................156
Maestría
This paper proposes a guide for the development of web applications that allow multimodal interaction, and present a data model based on semantic web. To achieve this, a study of the state of the art of markup languages for the development of multimodal applications was carried out, and an applied study of the ontological and logical layers of the semantic web, in addition, the guide was tested through the construction of a prototype information portal on the problem of forced displacement in the city of Cartagena. This guide is not intended to become a software development methodology, but rather to complement current methodologies, specifically in aspects related to multimodal interaction and semantic modeling. For the construction of the guide, the software development pattern called: Controller View Model was taken into account, taking into account that its main purpose is to separate the presentation, logic and data layers.