ISSN 0798 1015

logo

Vol. 38 (Nº 50) Año 2017. Pág. 20

Una metodología novedosa de autoevaluación para la acreditación de programas universitarios

A novel self-assessment methodology for accreditation of undergraduate programs

CANO, Jose A. 1; VÁSQUEZ, Jose A. 2; PALACIOS, Libia M. 3

Recibido: 11/07/2017 • Aprobado: 30/07/2017


Contenido

1. Introducción

2. El proceso de autoevaluación en programas de pregrado

3. Metodología para la autoevaluación de programas de pregrado

4. Resultados

5. Conclusiones

Referencias bibliográficas


RESUMEN:

En este artículo se diseña una metodología de autoevaluación para la acreditación de programas académicos de pregrado de alta calidad. Se analizan actividades para las etapas de ponderación, recolección de información, emisión de juicios y planes de acción, basadas en los requerimientos del Consejo Nacional de Acreditación (CNA) de Colombia. La metodología propuesta estandariza el proceso de autoevaluación, arroja resultados objetivos, ofrecen mayor tiempo para el análisis de resultados y planes de mejora continua en cualquier programa de pregrado.
Palabras clave Acreditación, Educación Superior, Autoevaluación, Calidad de la Educación

ABSTRACT:

In this article, a self-assessment methodology is designed for the accreditation of high quality undergraduate academic programs. Based on the requirements of the National Accreditation Council (CNA) of Colombia, activities for weighing, data collection, assessment and action plans are analyzed. It is found that the proposed methodology standardizes the self-evaluation process, provides objective results, and offers more time to analyze results and to generate continuous improvement plans in any undergraduate program.
Keywords Accreditation, Higher Education, Self-Assessment, Education Quality

PDF Download

1. Introducción

Los procesos de acreditación representan el mecanismo principal para asegurar la calidad de la educación superior en diversos contextos y regiones a nivel mundial (De Vries, 2007; Fleet et al., 2014; Gregorutti y Bon, 2013) , lo cual genera confianza a la sociedad en la calidad de los programas de pregrado ofrecidos, ayudan a las universidades a alcanzar estándares establecidos por entidades gubernamentales, y aseguran que el desempeño de los egresados de los programas ofrecidos se ajuste a las normas nacionales de cada rama profesional (Cantú et al., 2014).

Igualmente, los procesos de acreditación representan grandes oportunidades para homologar estándares de programas de pregrado, y dan respuesta a la necesidad de generar una oferta académica coherente y controlada en diferentes ámbitos académicos (Andrew et al., 2014). En este sentido, las tendencias globales indican un incremento del enfoque en la calidad de programas de educación superior (Van Zanten et al., 2008), para lo cual los procesos de acreditación se convierten en el mejor instrumento para implementar mejoras en el desempeño de programas universitarios (Coria et al., 2010).

Todo esto ha hecho que instituciones gubernamentales y de alcance mundial en diferentes ramas del conocimiento incentiven a las instituciones de educación superior a que se acojan a procesos de acreditación de alta calidad (Van Zanten et al., 2008), para que así se entregarles reconocimientos, certificar la oferta educativa y garantizar la sostenibilidad del sistema de educación que gira en torno a los programas académicos y las instituciones.

Sin embargo, en las instituciones en las cuales se llevan a cabo procesos de acreditación, suelen generarse tensiones causadas por la resistencia al cambio por parte de la personas y la organización; esto debido a los cambios que deben implementarse para ajustar los programas académicos a los criterios de calidad exigidos (Coria et al., 2010). Dichos cambios se llevan a cabo en las diferentes etapas de acreditación, entre las cuales se encuentran la autoevaluación, evaluación externa y acreditación (Palomino y Carbonel, 2013). De estas etapas se destaca la autoevaluación al ser la más compleja en el proceso de acreditación, debido a que exige identificar y corregir a corto o mediano plazo los factores deficientes en el funcionamiento de los programas de pregrado de las instituciones de educación superior (Aravena et al., 2015; Cox, 2012).

Por lo tanto, este proceso de autoevaluación es una fuente vital de información en los procesos de acreditación, ya que refleja la valoración de factores que influyen en la calidad educativa de programas de pregrado y de universidades (Pantoja, 2010). Y es en los procesos de autoevaluación donde se suelen incluir valoraciones cuantitativas y cualitativas de factores por parte de actores tales como profesores, estudiantes, egresados, empresarios, entre otros, lo cual hace complejo el tratamiento de información, distinguir el aporte y rol de los factores en la calidad del programa (Davis y Ringsted, 2006). Todo esto genera la necesidad de aplicar diferentes enfoques y metodologías, las cuales son variables y deben adaptarse a los criterios propio de cada programa académico, institución y región donde estas se ubiquen (Fleet et al., 2014).

Debido a esto, existe la necesidad de estandarizar un enfoque metodológico para realizar la autoevaluación de programas de pregrado de forma consistente y coordinada, de fácil aplicación en diferentes contextos y programas académicos (Andrew et al., 2014). Algunos trabajos como los de Cox (2012) se han concentrado en comprender la incidencia de los procesos de autoevaluación y acreditación en la gestión de calidad en Costa Rica, mientras que Cantú et al. (2014) y Martínez y Ortiz (2015) realizan estudios específicos sobre acreditación de programas universitarios en México, así como Palomino y Carbonel (2013) aplican su investigación al modelo de calidad en Perú. Para el caso de Colombia, existen pocos trabajos que tienen como propósito facilitar el proceso de autoevaluación con fines de acreditación de programas de pregrado, dentro de los cuales se menciona el estudio de Guevara et al. (2011) y Sánchez (2014), quienes proponen modelos para evaluar programas de educación superior, teniendo en cuenta indicadores establecidos por el Consejo Nacional de Acreditación (CNA), adscrito al  Ministerio de Educación de Colombia, facilitando así la elaboración de informes de autoevaluación y la mejora de programas de pregrado.

Como consecuencia, se requiere generar metodologías que permitan autoevaluar de forma eficiente y eficaz, en un plazo razonable, el desempeño de los programas de pregrado y generar planes de acción para su mejora y/o mantenimiento (Sifuentes-Inostroza et al., 2013). Para el caso colombiano, el CNA exige realizar un proceso de autoevaluación de programas académicos (CNA, 2013a), pero no establece una forma determinada de cómo hacerlo, por lo cual cada programa de pregrado de cada universidad invierte esfuerzos en ingeniar, planear y aplicar metodologías para obtener unos resultados que reflejen de mejor forma el grado de cumplimiento de características y factores del programa académico.

Por lo tanto, este artículo tiene como objetivo diseñar una metodología de autoevaluación de programas académicos de pregrado que se encuentran en procesos de acreditación o reacreditación de alta calidad. Para esto, se realiza primero una revisión de los requerimientos que exige el CNA de Colombia para la acreditación de programas de pregrado, y luego se proponen actividades para cada etapa del proceso de autoevaluación de programas de pregrado, las cuales se validan en el proceso de reacreditación de un programa de administración de empresas en la ciudad de Medellín, Colombia. En el cuarto apartado se presentan los principales resultados de la metodología propuesta para generar ponderaciones, emisión de juicios, cumplimiento de requerimientos y planes de acción para obtener un proceso de autoevaluación consistente y exitoso. Finalmente se presentan las principales conclusiones derivadas del aporte del artículo.

2. El proceso de autoevaluación en programas de pregrado

De acuerdo con lo establecido por el CNA en Colombia, la acreditación de programas académicos de pregrado requieren de un proceso de evaluación, el cual se compone por factores que se dividen y explican a través de diferentes características, las cuales se relacionan a continuación en la Tabla 1, detallando cada uno de los 10 factores y 40 características (CNA, 2013a). De allí se destaca que los factores con mayor cantidad de características son Procesos Académicos y Profesores con 11 y 8 características respectivamente.

Tabla 1. Factores y características de acreditación a evaluar e intervenir

Factor

Característica

1.Misión, visión y proyecto institucional del programa

1.1 Misión, Visión y Proyecto Institucional

1.2 Proyecto Educativo del programa

1.3 Relevancia académica y pertinencia social

2. Estudiantes

2.1 Mecanismos de selección e Ingreso

2.2 Estudiantes Admitidos y Capacidad Institucional

2.3 Participación En Actividades de Formación Integral

2.4 Reglamentos estudiantil y Académico

3. Profesores

3.1 Selección, vinculación y permanencia de profesores

3.2 Estatuto profesoral

3.3 Número, Dedicación, Nivel de Formación y Experiencia de los Docentes

3.4 Desarrollo profesoral

3.5 Estímulos a la Docencia, Investigación, Creación Artística y Cultural, Extensión o Proyección Social y a la Cooperación Internacional

3.6 Producción, Pertinencia, Utilización e Impacto de material docente

3.7 Remuneración por Méritos

3.8 Evaluación de Profesores

4. Procesos académicos

4.1 Integralidad del currículo

4.2 Flexibilidad del currículo

4.3 Interdisciplinariedad

4.4 Metodologías de la enseñanza y aprendizaje

4.5 Sistema de evaluación de estudiantes

4.6 Trabajos de los estudiantes

4.7 Evaluación y autorregulación del programa

4.8 Extensión o proyección social

4.9 Recursos bibliográficos

4.10 Recursos informáticos y de comunicación

4.11 Recursos de apoyo docente

5. Visibilidad nacional e internacional

5.1 Inserción del Programa en Contextos académicos Nacionales e Internacionales

5.2 Relaciones Externas de Profesores y Estudiantes

6. Investigación y creación artística y cultural

6.1 Formación para la Investigación y la Creación Artística y Cultural

6.2 Compromisos con  la Investigación y la Creación Artística y Cultural

7. Bienestar institucional

7.1 Políticas, Programas y Servicios de Bienestar Universitario

7.2 Permanencia y retención estudiantil

8. Organización, administración y gestión

8.1 Organización, Administración y Gestión del Programa

8.2 Sistemas de Comunicación e Información

8.3 Dirección del Programa

9. Impacto de los egresados sobre el medio

9.1 Seguimiento de los Egresados

9.2 Impacto de los egresados en el Medio Social y Académico

10. Recursos físicos y financieros

10.1 Recursos físicos

10.2 Presupuesto del programa

10.3 Administración de Recursos

Fuente: Elaboración propia basada de (CNA, 2013a).

Estos factores y características que conforman el proceso de autoevaluación con fines de acreditación, inciden en forma positiva en la consecución de la calidad en programas universitarios, facilitando la actualización y restructuración de planes de estudio base en la misión institucional de cada universidad, y del mismo modo permiten evaluar factores importantes tales como la conformación y actualización de la planta docente deseable para un programa universitario (Castro et al., 2016; Cox, 2012). El objetivo principal del proceso de autoevaluación es identificar el estado actual del programa académico, el cual se logra a través de la ponderación de factores y características del programa académico; recolección de información documental, estadística y de actores del programa; emisión de juicios de los lineamientos de las características del programa; y la aplicación de planes de acción priorizados para la mejora de calidad del programa (CNA, 2013a, 2013b). Dichos planes de acción se representan en forma de acciones de mantenimiento, acciones de ajustes, acciones de mejora o acciones correctivas según el valor obtenido en la evaluación (Guevara et al., 2011).

De forma resumida la Figura 1 refleja el proceso de autoevaluación para la acreditación de programas de pregrado, y se enuncia cada una de las etapas del proceso y una breve descripción de estas.

Figura 1. Proceso de evaluación y mejora de características y factores para acreditación

Por lo tanto, el proceso de autoevaluación comienza con una ponderación de cada  característica y factor, que corresponde a la importancia de estos dentro del programa académico de pregrado, lo cual refleja en los valores agregados y competencias centrales que hacen que cada programa de pregrado en cada universidad tengas ofertas de estudio, enfoques, especialidades y fortalezas diferentes. Una vez se priorizan los factores y características del programa de pregrado, se recopila la información necesaria y una vez emiten juicios para cada una de estas, se establecen planes específicos de intervención y mejora continua (Aravena et al., 2015).

Como consecuencia, para llevar a cabo el proceso de autoevaluación, se deben estructurar una serie de metodologías que sean coherentes, eficientes y eficaces, que demuestren la percepción de los actores del programa de pregrado y recolecten sugerencias para el mejoramiento (Kim et al., 2012). Respecto a esto, existen diferentes propuestas para la autoevaluación de programas universitarios, dentro de las cuales se pueden mencionar la metodología de flujos de conocimiento basada en la administración del conocimiento para mejorar los procesos (Cantú et al., 2014); manuales de procesos y procedimientos (Palomino y Carbonel, 2013); sistemas de comparación con sistema de gestión de calidad para estandarizar procesos que operan en las instituciones de educación superior (Martínez y Ortiz, 2015); y todas estas metodologías deben soportarse en sistemas de información que integren todas las etapas necesarias en un proceso de autoevaluación (Sifuentes-Inostroza et al., 2013).

Dentro de las diferentes propuestas metodológicas, se emplean métodos, técnicas y herramientas que garantizan la revisión y fortalecimiento constante de los procesos en los cuales están involucrados los actores de la comunidad académica (Guevara et al., 2011). Estas metodologías requieren de equipos de trabajo que tengan una base ética firme y explícita; diseñar instrumentos para la recolección de información de los grupos de interés internos y externos; emitir juicios de calidad que permitan conocer el estado actual del programa; elaborar planes de mejora continua, y generar un informe final con los principales resultados obtenidos (Gregorutti y Bon, 2013; Guevara et al., 2011; Mora, 2013; Palomino y Carbonel, 2013; Sifuentes-Inostroza et al., 2013).

3. Metodología para la autoevaluación de programas de pregrado

Teniendo en cuenta los planteamientos mencionados anteriormente sobre el proceso de autoevaluación, se diseña una metodología de autoevaluación en este artículo como respuesta al proceso de acreditación de alta calidad al cual se presentó el programa de administración de empresas de la Universidad de Medellín. En este proceso participaron de analistas de autoevaluación del programa de administración de empresas, la dirección del programa, el apoyo de procesos institucionales de acreditación y autoevaluación, estudiantes, profesores, egresados y empresarios. Se debe resaltar que el programa de administración de empresas había recibido previamente la acreditación de alta calidad en tres ocasiones, por lo cual se enfrentaba a un proceso de reacreditación, que de igual manera presenta la misma exigencia que un proceso de acreditación inicial. La metodología a aplicar consta de las etapas mencionadas en la Figura 1, y dentro de cada etapa se propone el desarrollo de diferentes actividades, que en conjunto, conforman la propuesta metodológica para la autoevaluación de programas de pregrado con fines de acreditación de alta calidad.

3.1. Ponderación de características en la acreditación

Esta etapa de la metodología tiene como propósito determinar cuáles son los factores más importantes para el programa de pregrado, para lo cual se acude a las actividades enunciadas en la Tabla 2.

Tabla 2. Actividades para definir la ponderación de características en la acreditación

Actividades

Objetivo

Utilidad

Participantes

1. Creación de un mapa estratégico de factores

Identificar qué factores de reacreditación se consideran estratégicos

Prioriza los factores al identificar el nivel estratégico que ocupan en el programa académico de pregrado

  • Directivas del programa
  • Docentes tiempo completo

2. Encuesta virtual a profesores del programa académico de pregrado

Reunir la opinión de profesores de tiempo completo respecto a la importancia de las características de cada factor

Agiliza la recolección y análisis de opiniones de quienes intervienen directamente el programa respecto a la importancia de cada una de las características

  • Directivas del programa
  • Docentes tiempo completo

3. Valoración de características y factores con base en los resultados de encuestas

Obtener una calificación objetiva de la importancia de cada característica y factor de acreditación

Reduce la complejidad de análisis y asignación de importancia a cada característica, y permite jerarquizar características y factores

  • Analistas de acreditación

 

3.1.1. Creación de un mapa estratégico de factores

En primera instancia, se propone organizar y representarse los diferentes factores exigidos por el CNA a través de un mapa estratégico, tal como sucede en sistemas empresariales, sistemas de calidad total, y en sistemas de calidad por procesos (Berlin, 2004).

Para el caso específico de la autoevaluación de programas de pregrado se reemplaza el concepto de proceso por el concepto de factores, de forma tal que se crea un mapa de factores, clasificándolos en factores estratégicos, misionales y de apoyo. Para esto se realiza una reunión presencial con los docentes y las directivas del programa académico, ubicando cada factor en el mapa estratégico y valorando cada factor en una escala de 1 a 10, donde 1 representa la menor importancia y 10 la mayor importancia. De esta forma se promedian los resultados de votación de cada participante de la reunión y con este puntaje se decide si el factor es estratégico, misional o de apoyo.

Encuesta virtual a profesores del programa académico de pregrado

Una vez se tiene clara la posición estratégica de cada factor, se determina la valoración de cada característica que pertenece a un factor (VCf) y la valoración de cada factor f (Vf). Debido al gran número de características que conforman el total de factores, se recurre a una encuesta virtual, donde las directivas y docentes de tiempo completo del programa de pregrado califican en una escala de 1 a 10 a VCf y Vf. Para la recolección de las valoraciones se sugiere el uso de la plataforma Google Drive o Moodle, y los resultados pueden procesarse en MSExcel, para determinar con promedios aritméticos la valoración de cada característica y factor.

3.1.2. Valoración de características con base en los resultados de encuestas

Para obtener una calificación de importancia definitiva de las características de cada factor (ICf) que permita compararlas con las demás características del proceso de autoevaluación, se multiplica VCf por el valor Vf correspondiente, y dicho resultado se divide por 10 para obtener una calificación que se ajuste a una escala de 1 a 10. El cálculo que se realiza para cada característica se expresa en la ecuación (1).

De esta forma, el valor obtenido en la ecuación (1) tiene en cuenta tanto la importancia de cada la característica dentro de un factor como la importancia de dicho factor dentro del proceso de autoevaluación, con lo cual, se define una escala de importancia comparable entre las 40 características. Con los resultados obtenidos en la ecuación (1), se calcula la ponderación o porcentaje de importancia que tiene cada característica dentro de cada factor (PCf), para cumplir los requisitos exigidos por el CNA. De esta forma, se utiliza la ecuación (2), en donde la suma los valores PCf en  un mismo factor deben sumar 100%.

Con los resultados obtenidos en la ecuación (2), se calcula la ponderación o porcentaje de importancia que tiene cada factor (Pf) dentro del proceso de autoevaluación. Para cada factor se calcula primero el promedio del valor de la importancia de las características que componen a dicho factor (ICf), y con estos valores se calcula la partición porcentual de cada factor sobre el total, tal como muestra en la ecuación (3). Se aclara que la suma de los valores Pf debe ser igual a 100%.

3.2. Recolección de información para la autoevaluación del programa académico

Para llevar a cabo una emisión de juicios, se debe contar con información cuantitativa, cualitativa y de percepción relacionada con el desempeño del programa académico en los últimos años, o durante el periodo desde el cual recibió anteriormente una acreditación de alta calidad. La Tabla 3 presenta las diferentes actividades a realizar para obtener información confiable y suficiente evaluar la historia y el estado actual del programa de pregrado.

Tabla 3. Actividades de recolección de información para el proceso de autoevaluación

Actividades

Objetivo

Utilidad

Participantes

1. Encuestas virtuales a los actores del programa académico

Identificar opiniones y percepciones sobre el desempeño del programa académico

Agiliza la recolección y análisis de información relacionada

  • Estudiantes
  • Egresados
  • Profesores
  • Empresarios
  • Directivas del programa

2. Consulta de documentación y estadísticas institucionales del programa académico y de la universidad

Recolectar información y evidencias cualitativas y cuantitativas

Facilita la emisión de juicios y respalda los logros obtenidos en el programa académico

  • Directivas del programa
  • Analistas de acreditación
  • Dependencias funcionales de la universidad

3.2.1. Encuestas virtuales a los actores del programa académico

Para recolectar información sobre el desempeño del programa académico, se tiene en cuenta la percepción de estudiantes, empresarios, profesores, egresados y directivas del programa. La Tabla 4 presenta los factores que contienen características en las cuales influye la percepción de los actores de la autoevaluación del programa académico.

Tabla 4. Actores que perciben el desempeño de los factores de autoevaluación

Factor

Actores

1

Estudiantes, Profesores, Egresados, Directivas

2

Estudiantes, Profesores, Directivas

3

Estudiantes, Profesores, Directivas

4

Estudiantes, Profesores, Directivas

5

Estudiantes, Profesores, Egresados, Directivas

6

Estudiantes, Profesores, Directivas

7

Estudiantes, Profesores, Directivas

8

Estudiantes, Profesores, Directivas

9

Estudiantes, Profesores, Empresarios, Directivas

10

Estudiantes, Profesores, Directivas

A cada grupo de actores se les diseña y aplica una encuesta electrónica, que consta de diferentes preguntas que deben dar respuesta a las características que conforman la estructura de la autoevaluación del programa académico. Las encuestas se crearon en la plataforma Moodle y en Google Drive para alcanzar la mayor cantidad de respuestas para las preguntas que corresponden a cada característica. Para el caso de empleadores se aplicaron dos entrevistas, en donde la primera se enfoca en empleadores que actualmente tienen a cargo egresados del programa, y la segunda se enfoca a empleadores que tienen a cargo practicantes del programa académico. De esta manera, para diferentes actores en una misma característica se obtienen varias preguntas que se valoran en una escala de 1 a 5, o en una escala cualitativa equivalente.

3.2.2. Información cuantitativa y cualitativa del programa académico

Para recolectar la información de evidencias cualitativas y cuantitativas, y de esta forma tener información objetiva para realizar una emisión de juicios por parte de las directivas del programa de pregrado, se consulta documentos, estadísticas, informes, proyectos, estudios y demás evidencias cualitativas y cuantitativas disponibles en las dependencias de la universidad y en la dirección del programa académico.

3.3. Emisión de juicios de características

Una vez se recolecta la información cualitativa, cuantitativa y de percepción, se procede a emitir juicios por parte de las directivas del programa de pregrado y analistas de acreditación a cada una de las características, para determinar el desempeño actual en cada una de estas. Para esto, se siguen las actividades enunciadas en la Tabla 5.

Tabla 5. Actividades para la emisión de juicios de las características

Actividades

Objetivo

Utilidad

Participantes

1. Valoración de características según la percepción de los actores

Obtener una calificación objetiva de cada característica según la percepción de los actores.

Reduce la complejidad de análisis y evaluación del estado actual de cada característica

  • Analistas de acreditación

2. Evaluación de lineamientos de programas de pregrado

Obtener una calificación objetiva de cada característica según las directivas del programa.

Especifica los logros obtenidos en cada característica según los lineamientos del CNA

  • Analistas de acreditación
  • Directivas del programa

3.              Emisión de juicios de características con promedios ponderados

Combinar puntuaciones obtenidas de la percepción de actores y de las directivas del programa de pregrado.

Entrega la evaluación y cumplimiento  general de cada característica

  • Analistas de acreditación

3.3.1. Valoración de características según la percepción de los actores

Al obtener los resultados de las encuestas de cada actor del programa académico, se calcula para cada pregunta un promedio aritmético con las respuestas existentes en una escala de 1 a 5. Luego, se promedian los valores obtenidos en las preguntas que corresponden a cada característica en las encuestas de los diferentes actores que se tuvieron en cuenta. De esta forma se obtiene una evaluación vía percepción del estado actual de cada característica.

3.3.2. Evaluación de lineamientos de programas de pregrado

Para evaluar de forma objetiva el desempeño del programa académico, se debe valorar en una escala de 1 a 5 los aspectos en los cuales compone cada característica del proceso de autoevaluación según el CNA. Esto implica un trabajo detallado para evaluar cada elemento que compone a cada característica, y enunciar las evidencias que soportan los logros obtenidos en dichos aspectos. Esta evaluación debe realizarse por parte del director del programa al ser el responsable de revisar, retroalimentar e integrar las evidencias de autoevaluación (Cantú et al., 2014), y debe apoyarse en analistas de acreditación y personal que conozca a profundidad los proyectos, iniciativas, resultados e impactos que ha generado el programa de pregrado en cada uno de los ámbitos a los cuales se refiere cada característica. 

La Tabla 6 muestra que deben evaluarse en total 246 lineamientos para las características de que componen el proceso de autoevaluación (CNA, 2013b). Esto significa que deben generarse 246 valoraciones y obtener como mínimo 246 evidencias que respalden la valoración emitida a cada lineamiento. Al obtener las evaluaciones de cada lineamiento, se promedian los resultados y se obtiene una evaluación objetiva de 1 a 5 para cada característica. Para este proceso se sugiere que las directivas del programa académico formen un equipo de trabajo que soporte la recolección de información y evidencias por factor, al igual que contar con el apoyo de las diferentes dependencias de la universidad que son responsables de brindar gran parte de la información necesaria para realizar estas evaluaciones.

Tabla 6. Lineamientos para la emisión de juicios

Factor

Número de Características

Número de Lineamientos

1

3

19

2

4

19

3

8

38

4

11

76

5

2

17

6

2

19

7

2

12

8

3

16

9

2

12

10

3

18

Total

40

246

3.3.3. Emisión de juicios de características con promedios ponderados

Con los resultados obtenidos para cada característica en las encuestas (Ec) y en la evaluación de lineamientos (Lc), se procede a establecer la emisión de juicios definitiva para cada característica (EJc), la cual representa el estado actual o el desempeño que ha obtenido el programa de pregrado en las características de autoevaluación.

En este sentido, se utiliza un promedio ponderado, que se utiliza en diferentes ambientes de toma de decisiones, en donde debe agregarse el valor de diferentes variables y parámetros para obtener un macro indicador (Cano, Vergara y Puerta, 2017). Con el promedio ponderado se valora con un porcentaje los resultados obtenidos en las encuestas (WE) y en los lineamientos (WL), generando una emisión de juicios que se compone proporcionalmente de resultados de percepción y de logros reales del programa sustentados con evidencias. La ecuación (4) presenta la forma de calcular la emisión de juicios para las características del programa académico.

Con los resultados arrojados por la ecuación (4), se calcula el cumplimiento general (CGc) de las características de acreditación del programa académico, tal como se presenta en la ecuación (5), y para obtener una medida general del grado de cumplimiento del programa (CG) académico se utiliza la ecuación (6), en la cual se promedian los valores obtenidos de CGc.

3.4. Actividades para definir planes de acción para el programa académico

Con los resultados de la ponderación y de la emisión de juicios de las características, se procede a determinar los planes de acción y la prioridad de estos, garantizando la calidad y mejora continua del programa académico de pregrado. La Tabla 7 presenta la metodología para establecer planes de acción en el proceso de autoevaluación.

Tabla 7. Actividades para definir planes de acción

Actividades

Objetivo

Utilidad

Participantes

1. Asignación de planes de acción por característica

Recomendar un tipo de plan de acción a cada característica según su valor en la emisión de juicios

Propone un tipo de plan de acción según la necesidad de la característica

  • Analistas de acreditación

2. Prioridades de los planes de acción

Programar la ejecución de planes de acción de las características

Establece un orden, inicio y duración del plan de acción de cada característica

  • Analistas de acreditación

3. Generación de planes de acción específicos

Diseñar y estructurar los planes de acción específicos que den respuesta a cada característica

Genera un plan de trabajo estructurado de mejora continua para el programa de pregrado

  • Directivas del programa
  • Docentes tiempo completo
  • Analistas de acreditación

3.4.1. Asignación de planes de acción por característica

Con el valor EJc se asignan planes de mantenimiento (Mtto) o planes de mejora según el caso. La Tabla 8 muestra según el valor EJc cuál debe ser el tipo de plan de acción a llevar a cabo en cada característica, al igual que el plazo para ejecutarlo.

Tabla 8. Planes de acción según evaluación de las características

Criterio de Asignación

Puntaje

Plan recomendado

Plazo

4.5 <= EJc <= 5

Alto

Plan de mantenimiento

Largo: Entre 18 y 24 meses

3.5 <= EJc < 4.5

Medio-Alto

Plan de mantenimiento

Medio: Entre 12 y 18 meses

2.5 <= EJc < 3.5

Medio

Plan de mejora

Medio: Entre 12 y 18 meses

1.5 <= EJc < 2.5

Medio-Bajo

Plan de mejora

Corto: Entre 9 y 12 meses

1.0 <= EJc < 1.5

Bajo

Plan de mejora

Corto: Entre 9 y 12 meses

3.4.2. Prioridades de los planes de acción

La prioridad del plan de acción de cada característica (PRc) dependerá del valor de importancia (ICf) y del valor de emisión de juicios (EJc) que las características obtengan. De esta forma, se propone calcular a PRc con base en un promedio ponderado entre el ICf y EJc, tal como lo expresa la ecuación (7).

Debido a que ICf y EJc se encuentran en una escala de 1 a 5, se requiere dar prioridad a aquellas características que son muy importantes (valor alto en ICf) y que obtuvieron una mala evaluación en la emisión de juicios (valor bajo en EJc). Debido a esto, la ecuación (7) resta a 5 el valor de emisión de juicios, para aumentar la prioridad a las características con valores bajos en la emisión de juicios. Los valores asignados a  WIC y WEJ dependerán del criterio de definido por los analistas de acreditación, quienes decidirán si pesa más la importancia de la característica o la emisión de juicios obtenida para priorizar los planes de acción.

3.4.3. Generación de planes de acción

Para generar planes de acción específicos, se sugiere la creación de equipos de trabajo conformados por el personal vinculado de forma directa al programa académico de pregrado, para garantizar el compromiso, la continuidad y calidad de dichos planes de acción. Es de gran utilidad basarse tanto en los resultados de las encuestas de los actores del programa (estudiantes, egresados, empleadores, profesores, directores), como en las evaluaciones de los lineamientos que se soportaron con evidencias cuantitativas y cualitativas.

Los planes de mantenimiento y de mejora deben generarse teniendo en cuenta los elementos que se relacionan en la Tabla 9, con el fin de facilitar su formulación, ejecución y cumplimiento (Dvir et al., 2003; Zwikael y Globerson, 2004).

Tabla 9.  Elementos de los planes de acción para las características

Elemento

Definición

Objeto del plan de acción

Característica a la cual se le aplicará el plan de acción

Tipo de plan de acción

Plan de mantenimiento (Mtto) / Plan de mejora

Objetivo – Meta

Expresa qué se quiere lograr en forma cuantitativa y/o cualitativa

Descripción

Proyecto a implementar para ejecutar el plan de acción

Actividades específicas

Etapas específicas que se llevarán a cabo para lograr el objetivo

Indicador

Medición para determinar si se logra el objetivo del plan de acción

Lugar

Espacio geográfico donde se implementará el plan de acción

Responsables

Líder y colaboradores del plan de acción

Insumos

Recursos físicos, financieros, infraestructura, entre otros

Plazo

Largo, medio, corto / Duración en meses o semanas

Fechas

Fecha de inicio y culminación del plan de acción

Cronograma

Programación de actividades en el tiempo de forma paralela y secuencial

 

4. Resultados

El diseño, implementación y ejecución de las metodologías de autoevaluación de programas de pregrado se soportó sobre plataformas informáticas, de fácil acceso y uso, principalmente en plantillas automatizadas en MSExcel, en donde se incluyen los formatos, fórmulas, y esquemas requeridos para cada actividad de las metodologías mencionadas en el apartado anterior. De esta forma se crea un sistema de soporte informático a la medida, tal como lo realizaron (Guevara et al., 2011) al crear un sistema de soporte informático denominado EvalUDES®.

Al aplicar la primera etapa de la metodología para el proceso de acreditación de un programa de pregrado de administración de empresas, se creó el mapa estratégico de los factores que se presenta en la Figura 2, en donde se resalta que el factor de mayor importancia estratégica es aquel relacionado con la misión, visión y proyecto educativo de facultad y programa académico. En una segunda línea de importancia se encuentran los factores misionales, que representan el qué hacer del programa académico, por lo que se incluyen factores tales como estudiantes, profesores, procesos académicos, visibilidad del programa, investigación e impacto de los egresados. Inmerso en los factores misionales de estudiantes, procesos académicos e impacto de los egresados sobre el medio, se incluye el emprendimiento universitario (Cano, Tabares y Álvarez, 2017), el cual es uno de los pilares en la formación del programa de administración de empresas elegido. En la tercera línea estratégica se encuentran los factores de apoyo del programa académico, que incluyen bienestar institucional, gestión del programa y recursos físicos y financieros.

Figura 2. Mapa estratégico de factores según su nivel estratégico en el programa académico

Luego de tener clara la importancia estratégica de los factores, se realizó la encuesta virtual a los docentes del programa para determinar la valoración de factores y características (Vf y VCf), y luego obtener la calificación de importancia de las características de cada factor (ICf), tal como se muestra en la Tabla 10. Con estos resultados se calculó la ponderación de cada característica y de cada factor (PCf y Pf), identificando que dentro de los factores misionales seleccionados por el programa de administración se encuentran los factores de profesores, procesos académicos, investigación, y estudiantes.

Tabla 10. Ponderación de características según su importancia para el programa

Factor

Vf

Caract.

VCf

ICf

∑ICf

PCf

Prom. ICf

Pf

Ec

Lc

EJc

CG

Plan de acción

Plazo Meses

PRc

1

9,2

1.1

8,6

7,9

24,1

33%

8,0

15%

4,6

4,6

4,6

93%

Mtto

18 - 24

2,5

1.2

8,9

8,2

34%

4,7

4,7

4,7

93%

Mtto

18 - 24

2,6

1.3

8,8

8,1

33%

4,8

4,8

4,8

96%

Mtto

18 - 24

2,5

2

7,2

2.1

7,5

5,4

22,8

24%

5,7

11%

4,4

4,7

4,6

92%

Mtto

18 - 24

1,8

2.2

7,8

5,6

25%

3,9

4,3

4,2

84%

Mtto

12 - 18

2,0

2.3

8,3

6,0

26%

3,9

4,6

4,4

87%

Mtto

12 - 18

2,1

2.4

8,1

5,8

26%

4,4

4,8

4,7

94%

Mtto

18 - 24

1,9

3

8,9

3.1

8,9

8,0

61,4

13%

7,7

15%

4,0

4,8

4,5

91%

Mtto

18 - 24

2,6

3.2

8,4

7,5

12%

4,8

4,8

4,8

97%

Mtto

18 - 24

2,3

3.3

9,0

8,0

13%

3,9

4,8

4,6

91%

Mtto

18 - 24

2,6

3.4

8,9

7,9

13%

4,3

4,7

4,6

91%

Mtto

18 - 24

2,6

3.5

8,6

7,6

13%

4,7

4,7

4,7

93%

Mtto

18 - 24

2,4

3.6

8,3

7,4

12%

4,6

4,6

4,6

92%

Mtto

18 - 24

2,4

3.7

8,6

7,6

13%

4,0

4,4

4,3

86%

Mtto

12 - 18

2,6

3.8

8,2

7,3

12%

4,3

4,3

4,3

85%

Mtto

12 - 18

2,5

4

7,3

4.1

8,6

6,3

65,4

10%

5,9

11%

4,4

4,6

4,5

91%

Mtto

18 - 24

2,1

4.2

8,2

6,0

9%

4,3

4,7

4,6

91%

Mtto

18 - 24

2,0

4.3

8,6

6,3

10%

4,3

4,6

4,5

90%

Mtto

18 - 24

2,1

4.4

8,4

6,1

9%

3,9

4,8

4,5

90%

Mtto

18 - 24

2,0

4.5

7,5

5,5

8%

3,9

4,5

4,3

86%

Mtto

12 - 18

1,9

4.6

7,9

5,8

9%

4,4

4,7

4,6

92%

Mtto

18 - 24

1,9

4.7

8,4

6,1

9%

4,6

4,7

4,7

94%

Mtto

18 - 24

1,9

4.8

7,7

5,6

9%

4,5

4,5

4,5

90%

Mtto

18 - 24

1,9

4.9

8,2

6,0

9%

4,4

4,5

4,5

90%

Mtto

18 - 24

2,0

4.10

8,0

5,8

9%

4,4

4,7

4,6

92%

Mtto

18 - 24

1,9

4.11

8,1

5,9

9%

3,9

4,1

4,1

81%

Mtto

12 - 18

2,1

5

5,8

5.1

8,2

4,7

9,4

50%

4,7

9%

4,2

4,8

4,6

92%

Mtto

18 - 24

1,6

5.2

8,1

4,7

50%

4,1

4,1

4,1

81%

Mtto

12 - 18

1,8

6

7,5

6.1

7,9

5,9

12,0

49%

6,0

11%

4,6

4,6

4,6

92%

Mtto

18 - 24

1,9

6.2

8,2

6,1

51%

3,9

4,5

4,3

86%

Mtto

12 - 18

2,1

7

3,6

7.1

6,5

2,4

5,2

45%

2,6

5%

4,3

4,9

4,7

94%

Mtto

18 - 24

0,8

7.2

7,9

2,8

55%

3,6

4,4

4,2

84%

Mtto

12 - 18

1,2

8

5,1

8.1

8,5

4,3

12,8

34%

4,3

8%

4,6

4,6

4,6

92%

Mtto

18 - 24

1,5

8.2

7,6

3,9

31%

4,1

4,5

4,4

88%

Mtto

12 - 18

1,4

8.3

8,9

4,5

36%

4,2

4,5

4,4

88%

Mtto

12 - 18

1,6

9

5,8

9.1

7,5

4,3

9,0

48%

4,5

9%

3,3

4,5

4,2

83%

Mtto

12 - 18

1,6

9.2

8,1

4,7

52%

4,0

4,6

4,4

88%

Mtto

12 - 18

1,7

10

4,3

10.1

7,6

3,3

10,4

31%

3,5

7%

4,7

4,9

4,8

96%

Mtto

18 - 24

1,1

10.2

8,2

3,5

34%

5,0

4,7

4,8

96%

Mtto

18 - 24

1,1

10.3

8,4

3,6

35%

4,7

5,0

4,9

98%

Mtto

18 - 24

1,1

Para la recolección de información de los actores del programa de administración de empresas, se contactó un total de 787 personas, con las cuales se construyó la evaluación del programa según la percepción de dichos actores. La Tabla 11 presenta los factores y características evaluadas por cada tipo de actor, al igual que el número de preguntas realizadas a estos y el número de respuestas obtenidas; resaltando que la mayor cantidad de respuestas se obtuvo por parte de estudiantes activos y empleadores que tuvieron a cargo estudiantes en prácticas empresariales en los últimos 4 años.

Tabla 11. Enfoque y número de respuestas de encuestas por tipo de actor

Actores

Factores evaluados

Características evaluadas

Preguntas

Respuestas

% Respuestas

Estudiantes

10

29

86

331

42%

Egresados

2

6

49

46

6%

Empleadores 1

1

1

17

10

1%

Empleadores 2

1

1

1

366

47%

Profesores

10

8

85

33

4%

Directivos

1

1

1

1

0%

Total

10

40

239

787

100%

En la recolección de información documental e institucional cuantitativa y cualitativa, se acudió a diferentes dependencias de la Universidad de Medellín, entre las cuales se mencionan la coordinación de autoevaluación y acreditación, vicerrectoría académica, vicerrectoría de extensión, vicerrectoría administrativa y financiera, centro de investigaciones económicas y administrativas, división de planeación, admisiones y registro, división de prácticas profesionales, división de relaciones internacionales y bienestar universitario. Adicional a esto, la Universidad de Medellín cuenta con un sistema integrado de gestión de la calidad, el cual es un sistema de información donde se encuentra información documental y estadística detallada para cada uno de las características de cada factor que componen los requerimientos del CNA.

Con la valoración de las encuestas realizada a los actores del programa (Ec), y con la emisión de juicios de los 246 lineamientos de pregrado (Lc)  se construyó la emisión de juicios de las características del programa de administración de empresas (EJc), tal como se muestra en la Tabla 10, ponderando con un 30% las encuestas y un 70% los lineamientos,. De esta forma se calculó el cumplimiento de las características del programa (CGc), que en general brindan al programa un cumplimiento promedio CG del 90%, lo cual es representa un aumento del cumplimiento de características en 3.8 puntos porcentuales respecto al anterior proceso de acreditación del programa de administración de empresas en estudio. Por lo tanto el programa académico refleja mejoras tanto en los valores de CGc  y CG, y en ningún caso disminuyó el cumplimiento, demostrando una mejora o mantenimiento de calidad en cada aspecto importante del programa de administración de empresas.

Luego de la emisión de juicios se asignó un plan de acción a cada característica, que en todos los casos fue un plan de mantenimiento (Mtto) entre 18 y 24 meses, y 12 y 18 meses, debido a que en todos los casos los valores EJc fueron superiores a 4,0. Por último, la prioridad para ejecutar los planes de acción (PRc) se calculó asignando ponderaciones del 60% a los valores ICf y ponderaciones del 40% a los valores EJc, con lo cual las características relacionadas con el factor de misión, visión y proyecto institucional, y el factor de profesores, fueron las de mayor prioridad para intervenir y garantizar su calidad en el tiempo. En consecuencia, se construyó un cronograma ordenado según los valores PRc, donde se incluyen los elementos sugeridos en la Tabla 9, creando así planes que garanticen la mejora la calidad del programa y  la competitividad del mismo en el entorno académico y científico (Cano, Panizo, García y Rodríguez, 2015). Finalmente, estos planes de acción deben ser consistentes, fáciles de formular, controlar y ejecutar con los recursos y conocimientos disponibles en el programa académico y la institución.

5. Conclusiones

La metodología desarrollada en este artículo representa una solución de bajo costo de implementación y funcionamiento para la autoevaluación de programas de pregrado, debido a que se basa principalmente en herramientas informáticas de uso común y fácil acceso, al igual que emplea herramientas cualitativas y cuantitativas sencillas y de aplicación en diferentes ámbitos académicos y empresariales.

De esta forma, se genera una metodología que estandariza el proceso de autoevaluación en universidades de alta calidad, que se enfrentan a procesos de acreditación de sus programas de pregrado, permitiendo que se reduzca el tiempo y el esfuerzo requerido por el personal administrativo de los programas de pregrado para diseñar y ejecutar un proceso de autoevaluación confiable. Igualmente, permite a las personas encargadas de gestionar la autoevaluación de programas de pregrado, enfocar los esfuerzos del proceso en el análisis de resultados, para así generar planes de mejora que influyen directamente en el desempeño de cada programa académico y beneficia a cada uno de los actores del programa.

Debido al enfoque global de la metodología, esta puede aplicarse en cualquier programa de pregrado, y sirven como modelo de comparación para la aplicación y mejoramiento de metodologías de autoevaluación de programas de pregrado en Colombia y otros países que tengan afinidad o similitud con los requerimientos exigidos por el CNA.

Referencias bibliográficas

ANDREW, S., OSWALD, A. y STOBART, K. (2014). “Bridging the continuum: Analysis of the alignment of undergraduate and postgraduate accreditation standards”, Medical Teacher, 36(9), 804-811.

ARAVENA, M., FIGUEROA, V.U. y PALMA DEL RÍO, M. (2015), “Metodología práctica para el desarrollo de una autoevaluación: En busca de la acreditación institucional”, en M. Jabonero, M. Martín, A. Martínez y J.L. Bizelli (Eds.), Miradas diversas de la educación en Iberoamérica (pp. 483–494). España: Universidad de Alcalá/Servicio de Publicaciones.

BERLIN, C. (2004). “Change management: Implementation of a process oriented management system based on business ideas and values in a high technology company”, Total Quality Management & Business Excellence, 15(6), 569-592.

CANO, J.A., PANIZO, C.A., GARCÍA, F.H., y RODRÍGUEZ, J.E. (2015). Desarrollo de Estrategias Competitivas para la Industria del Carbón en Norte de Santander. Revista Espacios, 36(15), p. 5. Recuperado de: http://www.revistaespacios.com/a15v36n15/15361506.html

 

CANO, J.A., TABARES, A. y ALVAREZ, C. (2017). University students’ career choice intentions: GUESSS Colombia study. Revista Espacios, 38(5), p. 20. Recuperado de: http://www.revistaespacios.com/a17v38n05/17380520.html

CANO, J.A., VERGARA, J.J. y PUERTA, F.A. (2017). Design and implementation of a balanced scorecard in a Colombian company. Revista Espacios, 38(31), p. 19. Recuperado de: http://www.revistaespacios.com/a17v38n31/17383119.html

CANTÚ, L., RODRÍGUEZ, O., SÁNCHEZ, M.G., ROJAS, C., ORTEGA, J., BECERRA, J.F., y SÁNCHEZ, G.A. (2014), “Metodología de flujo de conocimiento aplicada al proceso de acreditación de programas educativos (segunda fase)”, Revista Internacional Administración & Finanzas, 7(1), 31–52.

CASTRO, L.C, ROJO, M. y VIGUERAS, M.J. (2016), “El impacto de la acreditación en la planta docente del programa de ingeniería en computación”, Revista Electrónica ANFEI Digital, 2(4), 1–8.

CONSEJO NACIONAL DE ACREDITACIÓN - CNA. (Enero de 2013a). Autoevaluación con fines de acreditación de programas de pregrado: Guía de Procedimiento N° 3. Recuperado el 26 de Septiembre de 2014, de http://www.cna.gov.co/1741/articles-186376_guia_autoev_2013.pdf

CONSEJO NACIONAL DE ACREDITACIÓN - CNA. (2013b). Lineamientos para la acreditación de programas de pregrado. Recuperado el 26 de Septiembre de 2014, de http://www.cna.gov.co/1741/articles-186359_pregrado_2013.pdf

CORIA, M.M., DELUCA, M. y MARTÍNEZ, M.E. (2010). “Curricular changes in accredited undergraduate programmes in Argentina”, Quality in Higher Education, 16(3), 247-255.

COX, J. (2012), “Los procesos de autoevaluación y acreditación: su incidencia en la gestión de la calidad, un acercamiento por medio del estudio de caso”, Revista Calidad en la Educación Superior, 3(1), 140–156.

DAVIS, D. y RINGSTED, C. (2006). “Accreditation of undergraduate and graduate medical education: How do the standards contribute to quality?”, Advances in Health Sciences Education, 11(3), 305-313.

De VRIES, W. (2007), “La acreditación mexicana desde una perspectiva comparativa”, Revista Complutense de Educación, 18(2), 11–28.

DVIR, D., RAZ, T. y SHENHAR, A. (2003). “An empirical analysis of the relationship between project planning and project success”, International Journal of Project Management, 21(2), 89-95.

FLEET, N., PEDRAJA-REJAS, L. y RODRÍGUEZ-PONCE, E. (2014). “Institutional accreditation and factors of university quality in Chile”, Interciencia, 39(7), 450-457.

GREGORUTTI, G.J. y BON, M.V. (2013), “Acreditación de la universidad privada ¿Es un sinónimo de calidad?” Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 11(1), 122–139.

GUEVARA, J., CÁRDENAS, G.A., BALLESTEROS, J.A. y SERRANO, S.M. (2011), “Metodología para autoevaluación de programas académicos con fines de acreditación en instituciones de educación superior”, Gerencia Tecnológica Informática, 10(27), 23–33.

KIM, E., KIM, K. y BZULLAK, M. (2012). “A survey of internship programs for management undergraduates in AACSB-accredited institutions”, International Journal of Educational Management, 26(7), 696-709.

MARTÍNEZ, M.E. y ORTIZ, F.J. (2015), “Certificación, acreditación y mejora continua”, Revista Electrónica ANFEI Digital, 2(3), 1–8.

MORA, Y. (2013), “La autoevaluación con miras a la mejora continua: la experiencia de la carrera de enseñanza del inglés para I y II ciclos de la UNED”, Revista Calidad en la Educación Superior, 4(2), 184–206.

PALOMINO, F.H.Y. (2013), “Aplicación de un manual de procesos y procedimientos para optimizar el proceso de autoevaluación con fines de mejora continua y de acreditación según modelo de calidad peruano”, ponencia presentada en el World Engineering Education Forum, Cartagena, 24-27 de septiembre.

PANTOJA, S.R. (2010). “Insitutional self-evalution and accreditation as quality assurance process in education: Theorical and practical implications”, Estudios Pedagogicos, 35(2), 269-284.

SÁNCHEZ, J. (2014). “Propuesta de indicadores de calidad para la autoevaluación y acreditación de programas universitarios en administración”, Estudios Gerenciales, 30(133), 419-429.

SIFUENTES-INOSTROZA, H., RAMÍREZ-CÓRDOVA, S., OLIVARES-ESPINO, I., LAVADO-CASTILLO, E. y ROMERO-MORI, L. (2013), “Diseño y aplicación de metodología para autoevaluación de carreras de ingeniería, universidad nacional de Trujillo- Perú, noviembre, 2013”, SCIÉNDO, 16(1), 7–19.

VAN ZANTEN, M., NORCINI, J., BOULET, J. y SIMON, F. (2008). “Overview of accreditation of undergraduate medical education programmes worldwide”, Medical Education, 42(9), 930-937.

ZWIKAEL, O. y GLOBERSON, S. (2004). “Evaluating the quality of project planning: a model and field results”, International Journal of Production Research, 42(8), 1545-1556.


1. Universidad de Medellín. Ingeniero Industrial, Magister en Ingeniería Administrativa. jacano@udem.edu.co

2. Universidad de Medellín. Magister en Economía, Candidato a Doctor en Administración. javasquez@udem.edu.co

3. Universidad de Medellín. Magister en Administración, Candidata a Doctora en Turismo. lpalacios@udem.edu.co


Revista ESPACIOS. ISSN 0798 1015
Vol. 38 (Nº 50) Año 2017

[Índice]

[En caso de encontrar algún error en este website favor enviar email a webmaster]

revistaespacios.com