ISSN 0798 1015

Vol. 40 (Nº 5) Año 2019. Pág. 30

Evaluación de espacios web de universidades del Ecuador usando indicadores webs métricos de accesibilidad e indicadores de enlaces

Evaluation of web spaces of universities in Ecuador using webs metric indicators of accessibility and indicators of links

ARÉVALO, Paolo 1; RUIZ, Elvis 2

Recibido: 22/10/2018 • Aprobado: 15/01/2019 • Publicado 11/02/2019

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas

1. Introducción

Las características de accesibilidad web miden diversos aspectos relacionados con el acceso web. Aunque en principio se relacionaba a la accesibilidad con las personas que tienen discapacidad o diversidad funcional, actualmente hablar de accesibilidad web es referirse al acceso universal a la web, independientemente de hardware, software, infraestructura de red, localización geográfica, cultura y capacidades de los usuarios. Según Chacón-Medina (2013) describe como un mecanismo que asegura igualdad de oportunidades, suponiendo que cuando se diseña un sitio web se piensa en la accesibilidad para que el contenido esté disponible para la mayoría de usuarios, haciendo menos complicado el acceso, así como el recurso del sitio.

La accesibilidad web y la usabilidad web son dos términos que se complementan. La accesibilidad web es aquella que determina si se puede acceder a la web independientemente de las circunstancias de las personas que acceden a ella; y la usabilidad web puede considerarse como la cualidad que tiene la web de ser usada con facilidad para el fin al que ha sido creada (Hassan - Montero, 2004).

La accesibilidad web utiliza métodos de validación a través de herramientas automáticas y complementadas con la revisión humana, mientras que la usabilidad realiza estudios usando las metodologías de evaluación experta y la evaluación con usuarios, destacando la subjetividad de los factores utilizados para evaluar, es decir, “los parámetros para medir la usabilidad de los recursos web no son tan objetivos, ni tan claros como en el caso de la accesibilidad” (López Marín, Méndez Rodríguez y Sorli Rojo, 2002). 

Según Hassan - Montero (2004), la información que se encuentra es extensa con diferentes estilos, contenidos y demás, es por ello que resulta lógico este estudio ya que la poca profesionalidad al crear los sitios web, obliga a un análisis para conocer la realidad de estos y saber si cumplen con el objetivo que fueron planteados por sus instituciones.

En lo que respecta a internet se tiene dudas sobre la calidad de los recursos electrónicos y el fácil acceso a ellos. Con lo dicho anteriormente se toma en cuenta las pautas de accesibilidad para el contenido web “Web Content Accessibility Guidelines (WCAG)”, para poder extraer automáticamente los errores que están asociados a las características de Accesibilidad de los espacios en la web que fueron establecidas por el Word Wide Web Consortium (W3C) a través del grupo WAI (Web Accessibility Initiative) (Hassan - Montero, 2004).

A través del tiempo se han desarrollado dos versiones: WCAG 1.0 aprobada en 1999 y WCAG 2.0 desarrollada en 2008 y aprobada en 2012. Las WCAG 2.0 se estructuran en cuatro principios de accesibilidad que se detallan a continuación:

Principio 1. Perceptible: se trata de la información que contiene los elementos de la interfaz de manera que puedan ser percibidos por el usuario, este principio muestra cuatro pautas que son codificadas de la siguiente manera: 1.1.- Proporcionar alternativas textuales para cualquier contenido que no contenga texto; 1.2.- Proporcionas alternativas que refuercen el contenido multimedia, se forma por nueve criterios con niveles (3 A, 2 AA, 4 AAA); 1.3.- Presenta el contenido de diferentes formas sin que pierda la estructura y la información contiene 3 criterios de nivel A; 1.4.- Permite al usuario observar y escuchar el contenido, contiene criterios de nivel (2 A, 3 AA, 4 AAA).

Principio 2. Operable: analiza los componentes de la interfaz del usuario, la navegación debe ser operable permitiendo que el usuario sea capaz de utilizar la interfaz. De igual manera contiene cuatro pautas: 2.1.- Analiza que todas las funciones deben estar disponibles mediante teclado, contiene criterios de nivel (2 A, 1 AAA); 2.2.-  Analiza la permanencia del contenido durante el tiempo suficiente para ser leído y usado, contiene niveles (2 A, 3 AAA); 2.3.- Analiza las formas que puedan provocar ataques, contiene niveles (1 A, 1 AAA); 2.4.-  Analiza la navegación, localiza contenidos y determina donde se encuentra, contiene varios niveles (4 A, 2 AA y 3 AAA)

Principio 3. Comprensible: analiza la interfaz sobre la información y funcionamiento de la interfaz que permita la comprensión del usuario. Se estructura en tres pautas: 3.1.- Analiza el contenido en su legibilidad y comprensión, contiene niveles (1 A, 1 AA, 3 AAA); 3.2.- Analiza la apariencia y operabilidad de los sitios web los cuales deben ser predecibles, contiene niveles (2A, 2A y 1AAA); 3.3.- Colabora con el usuario para evitar y corregir errores de datos, contiene niveles (1 A, 1 AA, 1 AAA).

Principio 4. Robusto: el contenido deber estar diseñado de forma robusta para que funcione las diferentes tecnologías que incluyen las ayudas técnicas y el usuario sea capaz de acceder al contenido, contiene niveles (2 A).

Estos 4 principios están formados por 12 pautas. A su vez, cada pauta está formada por un conjunto de criterios de éxito o conformidad. En total, existen 61 criterios de éxito que pertenecen a uno de los tres niveles de conformidad: A (el más bajo, mínimo exigido. Afecta a los 3 criterios de éxito -son 25- que el diseñador web “tiene” que satisfacer, ya que si no se cumplen muchos usuarios no tendrán acceso a la Web). - AA (intermedio. Afecta a los criterios de éxito -son 13- que el diseñador web “debe” satisfacer, ya que si no se cumplen algunos grupos de usuarios no tendrán acceso a la Web). - AAA (el más alto. Afecta a los criterios de éxito -son 23- que el diseñador web "puede" cumplir, ya que si no se cumple un grupo reducido de usuarios no tendrán acceso a la Web) (Faba-Pérez, 2018).

Los tres niveles de conformidad no tienen la misma importancia con respecto al impacto que puede provocar entre los usuarios, siendo más perjudicial incumplir con los criterios asociados al nivel A, seguido del nivel AA y, por último, del nivel AAA. Es decir, cada criterio es ponderado de acuerdo al nivel asignado. Por lo expuesto anteriormente en la Tabla 1. Se detalla los criterios de conformidad de la WACG 2.0 con los principios, pautas y criterios A, AA y AAA.

Tabla 1
Criterios de conformidad de WCAG 2.0

Fuente: Elaboración propia

Los indicadores web métricos constituyen una potente herramienta para evaluar recursos de información web pertenecientes a dominios específicos. Existen diversas herramientas informáticas para medir el grado de accesibilidad de un espacio web.

Según García (2006), el software de Test de Accesibilidad Web (TAW) instrumento desarrollado por la Unidad de Accesibilidad Web del Centro Tecnológico de la Información y Comunicación, ofrece la posibilidad de personalizar el análisis en donde se puede elegir el nivel de exigencia, mostrando al usuario o analista las cuatros pestañas que son: resumen que indica una visón general con el total de errores, advertencias, y puntos no verificados; vista marcada que muestra al usuario o analista las incidencias detectadas; detalle sobre la incidencia enlazando el sitio del W3C aludiendo a las técnicas relacionadas y por último; listado que no es más que el resumen agrupado en una tabla por cada uno de los principios básicos que muestra el resultado obtenido en cada una de las pautas y criterios.

A continuación, se expone la herramienta TAW, utilizada para el análisis de las páginas web de las IES, se basa en las WACG 2.0 analizar la url introducida los resultados pueden arrojar tres casuísticas para los criterios de éxito que se detallan.

Tabla 2
Casuísticas para los criterios de éxito

Fuente: www.tawndis.net. Elaboración propia

De igual manera uno de los objetivos propuestos para el trabajo, es determinar el Factor de Impacto Web (FIW) de las IES. Por su parte el FIW es uno de los primeros indicadores examinados en los trabajos web métricos. Ingwersen (1998) lo define como la suma del número de páginas externas e internas que enlazan con un país o con un sitio web, dividido por el número de páginas encontradas en ese país en un momento determinado.  

La fórmula se aplica recordando que las páginas web externas son las que no pertenecen a un país o sitio web, y que estas se enlazan al menos una vez con las páginas internas que son las que pertenecen al sitio web o país y se enlazan con él mismo. La fórmula FIW se podría generalizar de la siguiente manera (Torres, 2013).

Para determinar el numerador y el denominador de la fórmula, se ha tomado en cuenta los motores que mejor satisfacen los criterios de búsqueda para realizar estudios cibermétricos ya que permiten el uso de ciertos comandos, estos son Google y Exalead.  Según Brin (1998) implementa el modelo pagerank que determina la posición individual de cada página web en la recuperación, teniendo en cuenta no sólo el número de páginas web que enlazan con ella. Además, el pagerank de las páginas que la citan y el número total de enlaces que genera cada página citante, esto quiere decir que ante un cuestionamiento específico el motor rescata las páginas que contienen el texto de la búsqueda y las ordena.

Para elaborar el listado de los sitios web se ha considerado una muestra no probabilística de nueve universidades del Ecuador, las mismas que en el trascurso del periodo octubre 2017 a junio de 2018 han realizado modificaciones en la interfaz web, dejando al margen a otras webs de las IES. Los espacios web universitarios analizados son los siguientes:

Tabla 3
Listado de Instituciones de Educación Superior del Ecuador

Fuente: Elaboración propia

Para conocer la accesibilidad web de las IES se aplicó técnicas de accesibilidad que utiliza modelos centrados en estándares, los cuales permiten evaluar características de sitios web y permite comprobar el acceso de los usuarios. Para ello se utiliza la herramienta de validación automática TAW (http://www.tawdis.net/), la que permite analizar los errores de accesibilidad que se estructuran en 4 principios de accesibilidad formados por un total de 12 pautas. A su vez, cada pauta está formada por un conjunto de criterios de éxito, en conjunto existen 61 criterios de éxito que pertenecen a cada uno de los niveles de conformidad.

La versión TAW usada para el trabajo es un servicio online gratuito que analiza el URL ingresado de la página principal (index) de cada universidad. En la figura 1 se puede apreciar la ventana que muestra la interfaz TAW con el resumen de criterios con errores de accesibilidad en cada principio. En cambio, en la figura 2 se visualiza la interfaz TAW, con los Principios, Pautas y Criterios A, AA, AAA de la página principal de la IES.

Figura 1
Interfaz TAW que muestra el resumen del
análisis de la página principal de la IES

Fuente: TAW (https://www.tawdis.net/resumen)

-----

Figura 2
Interfaz TAW, muestra Principios, Pautas y
Criterios A, AA, AAA de la web de las IES

Fuente: TAW (https://www.tawdis.net/resumen)

Una vez que se han obtenido los errores de accesibilidad de la página principal de cada universidad, dichos errores se han puesto en relación con una variable que ha permitido obtener unos resultados objetivos. En concreto se ha dividido los errores de accesibilidad de cada criterio de éxito, obteniéndose el promedio de errores de accesibilidad de cada principio, pauta, criterio de éxito y nivel de conformidad. Por otra parte, el ranking de accesibilidad web de las universidades de Ecuador atendiendo al total de sus errores.

3. Resultados

Analizados los sitios web elegidos mediante la herramienta TAW, se han derivado los resultados en cuanto al número de errores en las webs de las IES. En primer lugar, los resultados se muestran de forma individual según el principio. En cada tabla se visualiza la suma de todas las incidencias, para posteriormente mostrar la tabla desglosada con los valores.  En las figuras 3, 4, 5 y 6 se presenta los datos de errores de accesibilidad de las universidades de estudio, teniendo en cuenta las pautas establecidas para cada principio. En la tabla 4 se muestra las incidencias de las pautas del principio perceptible. La universidad que tiene mayor error es la Universidad Técnica de Ambato (UTA) con un valor de 123 fallos, en cambio la mejor posicionada es la Universidad de Cotopaxi (UTC) con 1 solo error. Por otra parte, la Universidad de Cuenca (UC), Universidad de Loja (UNL) y la Universidad Regional Autónoma de los Andes (Uniandes) tienen un alto valor en la incidencia no decide.

Tabla 4
Principio 1. Perceptible

Fuente: Base de datos en Excel. Elaborado por los autores

-----

Figura 3
Principio 1. Perceptible

Fuente. Tabla 4. Elaboración propia

La tabla 5 y figura 4 corresponde a los datos obtenidos de las pautas del principio operable, la incidencia de falla o errores tiene un promedio similar en la mayoría de las universidades de estudio a excepción de la Universidad Técnica de Cotopaxi, en cambio en las pautas de la incidencia no decide, la Universidad Técnica de Ambato tiene 222 advertencias en el principio operable. En los no verificados las universidades muestran porcentajes similares entre el rango de 9 y 10.

Tabla 5
Principio 2. Operable

Fuente: Base de datos en Excel. Elaboración propia

-----

Figura 4
Principio 2. Operable

Fuente. Tabla 5. Elaboración propia

En la figura 5 y tabla 6 se visualiza los datos que se obtuvieron de las pautas de accesibilidad que corresponde al principio comprensible. Hay que destacar que los errores en este principio son mínimos en comparación de los otros dos principios analizados anteriormente. Además, en la incidencia no decide un total de 58 advertencias en todas las webs de las universidades estudiadas. Continuando con el análisis en la incidencia sin revisar los datos son similares para cada universidad teniendo una media de 5 aspectos no verificados o que requieren una comprobación completamente manual.

Tabla 6
Principio 3. Comprensible

Fuente: Base de datos en Excel. Elaboración propia

-----

Figura 5
Principio 3. Comprensible

Fuente: Tabla 6. Elaboración propia

Para concluir con el análisis individual de los valores absolutos de los 4 principios de accesibilidad web, en la tabla 7 y figura 6 se representa los datos de las pautas del principio robusto. Podemos mencionar que se presentan altos índices en problemas de advertencias. El principio robusto solo cuenta con 2 criterios de éxito ya que solo tiene 1 pauta de accesibilidad que es la 4.1. compatible. En cuanto a los resultados la Universidad Nacional de Loja y la Universidad Tecnológica Indoamérica tiene altos valores en relación a las incidencias de advertencia.

Tabla 7
Principio 4. Robusto

Fuente: Base de datos en Excel. Elaboración propia

-----

Figura 6
Principio 4. Robusto

Fuente: Tabla 7. Elaboración propia

En la tabla 8 se compila los errores de accesibilidad de los cuatro principios. Para mostrar estos resultados previamente se realizó un documento de Excel en el cual se ingresaron los datos que arrojó el análisis de accesibilidad de cada pauta en el software TAW. En la figura 7 se visualizan los datos ingresados de forma manual en Excel. Debido a la extensión del documento, se ha realizado una captura de pantalla que aproxime al lector la magnitud de información recabada.

Figura 7
Errores de accesibilidad de las pautas y criterios de éxito

Fuente: TAW. Elaboración propia

-----

Tabla 8
Principios de las webs de universidades ecuatorianas y sus incidencias en los 4 principios

Fuente: Base de datos en Excel. Elaboración propia

En la tabla 9 se observa la suma total de las incidencias falla, no decide y sin revisar que corresponde a los 4 principios: perceptible, operable, comprensible y robustos. Los datos que se visualizan sirvieron para poder obtener el promedio por cada incidencia.

Tabla 9
Resumen general de incidencias

Fuente: Base de datos en Excel. Elaboración propia

A continuación, se muestran las tablas y figuras de los promedios que se obtuvieron del análisis de las pautas en los criterios de éxito. La figura 7 muestra el promedio de errores de accesibilidad de las universidades seleccionadas, en la que se puede apreciar que la Universidad Técnica de Ambato tiene un 5.24 en promedio de las fallas o errores en los criterios de éxito, mientras que la Universidad Tecnológica Indoamérica tiene el menor porcentaje de errores (0,16). Respecto a las advertencias, la Universidad Nacional de Loja (28,03) es la universidad que más promedio tiene en los criterios de calidad.

Tabla 10
Promedio General de Incidencias

Fuente: Base de datos en Excel. Elaboración propia

-----

Figura 8
Promedio General de Incidencias

Fuente: Tabla 10. Elaboración propia

Continuando con el análisis del Factor de Impacto Web (FIW) de las webs elegidas (tabla 11), se han utilizado dos motores diferentes: Google y Exalead, para ello se establece la ecuación:  FIW= link/site.

Tabla 11
FIW de universidades del Ecuador, usando los
delimitadores de campo de Google y Exalead

Fuente: Elaboración propia

En la tabla 11, hemos analizado los FIW de las 9 universidades elegidas, utilizando dos motores de búsqueda. A continuación, se muestra el ranking para observar las diferencias entre las url (Tabla 12 y 13).

Tabla 12
Ranking web universitarias FIW Google

Fuente: Base de datos en Excel. Elaboración propia

-----

Tabla 13
Ranking web universitarias FIW Exalead

Fuente: Base de datos en Excel. Elaboración propia

En las tablas 12 y 13 se puede observar las webs universitarias de las IES escogidas ordenadas de mayor a menor FIW. La diferencia que existe entre ambas tablas es notable, debido a que el motor de búsqueda Exalead en la mayoría de casos deja campos sin encontrar. Destaca el caso de la Universidad Técnica Particular de Loja que se posiciona en último lugar en los dos motores de búsqueda. Por otra parte, la Universidad Tecnológica Indoamérica es la mejor posicionada en el FIW de Google, en cambio en el FIW de Exalead la Universidad e Cuenca es la que mejor se ubica.

Para entender mejor las conclusiones de este trabajo, a continuación se muestra una tabla ordenando las webs de las universidades de Ecuador según sus errores totales, de mayor a menor (Tabla 14).

Tabla 14
Ranking de errores de web universitarias según TAW

Fuente: Base de datos en Excel. Elaboración propia

Según los análisis realizados y la tabla comparativa, la web con más errores es la Universidad Nacional de Loja, acumula un total de 1125 errores, destacando el error “No decide” en el parámetro del principio Robusto con 855 de resultado. Otro parámetro que le hace posicionarse en primer lugar a esta web universitaria es el principio Perceptible, en el apartado “No decide” con 120 de resultado.

La diferencia que existe entre la primera y segunda posición es de 589 errores, donde la Universidad Técnica de Ambato se posiciona con un total de 536 errores. El principio que destaca como error en esta web es el Operable “No decide” con 222 errores de resultado. Realmente por el alto valor de este parámetro hace posicionarse en segundo lugar.

En tercer lugar, encontramos la Universidad Tecnológica Indoamérica con 508 errores. Nuevamente aparece el apartado “No decide” en el principio Robusto, con un resultado de 476, que le da la tercera posición en el ranking de errores.

En cuanto a la web con menos errores de las 9 analizadas, encontramos el caso de la Universidad Técnica de Cotopaxi, acumulando un total de 83 errores entre todos los principios, pautas y criterios de éxito analizados. En tres apartados tiene un resultado de 0, que pertenece a los principios de Perceptible, Operable y Robusto. El apartado que acumula más errores es el de “No Decide” del parámetro Robusto.

Como conclusión general se debe manifestar que las webs analizadas, a pesar de haber realizado cambios en la interfaz, mantienen errores que se deben consideran y reparar para cumplir con criterios de accesibilidad que establece la Web Content Accessibility Guidelines (WCAG) 2.0.

Brin, S. y. (1998). The anatomy of a large-scale hypertextual web search engine. Computer Networks and ISDN Systems, 105-120.

Chacón-Medina, A. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 2,10.

Faba-Pérez, C. (2018). Métricas en Internet. Badajoz, España.

García, J. (10 de 03 de 2006). Boletic. Obtenido de Test de accesibilidad web (TAW): http://www.astic.es/sites/ default/files/articulosboletic/mono4_3.pdf

Hassan - Montero (2004). Propuesta de adaptación de la metodología de diseño centrado en el usuario para el desarrollo de sitios web accesibles. Revista Española de Documentación Científica, 330 -334

Ingwersen, P. (1998). The calculation of the Web impact factors. Journal of Documentation, 236-243.

López Marín, L., Méndez Rodríguez, E. M., y Sorli Rojo, Á. (2002). Evaluación de la accesibilidad y usabilidad de los sitios web de las bibliotecas públicas catalanas. Revista de biblioteconomía i documentació, (31), 17-51. 

Torres, D. C. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar 21(41), 50-60.

1. Doctor en Diseño. Máster en Dirección de Comunicación. Docente de la Universidad Nacional de Chimborazo, carrera de Diseño Gráfico. Investigador del Grupo de Investigación Puruhá, parevalo@unach.edu.ec

2. Coordinador de Gestión Académica de la Facultad de Ciencias de la Educación, Humanas y Tecnologías de la Universidad Nacional de Chimborazo, Magister en Gestión de Riesgos, eruiz@unach.edu.ec