ISSN 0798 1015

logo

Vol. 39 (Nº 23) Año 2018. Pág. 8

Evidencia de validez de un examen de auto-informe para la evaluación de la trayectoria escolar en la formación de pedagogos

Evidence of validity of a self-report test for the evaluation of the school career in higher education

Salvador PONCE Ceballos 1; Gema LÓPEZ Gorosave 2; Gricelda MENDÍVIL Rosas 3; Carlos David DÍAZ López 4

Recibido: 31/01/2018 • Aprobado: 20/02/2018


Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas


RESUMEN:

El presente artículo documenta los resultados de las propiedades psicométricas de un instrumento de Autoevaluación del Tronco Común de los tres programas educativos del área de pedagogía de una universidad pública Estatal de México. Se encontró un alto grado de consistencia entre los ítems de las dimensiones que componen el examen y que cada dimensión mide un solo rasgo. Los resultados sostienen la pertinencia de la aplicación del examen y del uso de la informacion que de él se desprende.
Palabras clave: Autoevaluación, calidad técnica de instrumentos, formación de pedagogos.

ABSTRACT:

This article presents the results of the psychometric properties of an instrument Self-Assessment Common Core of three educational programs in the area of education at a state public university of Mexico. Was found a high degree of consistency among the items of the dimensions that make up the exam and each dimension measures a single trait was found. The results support the relevance of the implementation of the study and use of the information that follows it.
Keywords: Self-assessment, technical quality of instruments, higher education.

PDF varesion

1. Introducción

Actualmente, uno de los desafíos de las instituciones de educación superior (IES) es implementar mecanismos confiables y permanentes de evaluación en diversas áreas de trabajo, especialmente en aquellas en donde puedan valorarse la instrumentación del currículum, el desempeño docente y los aprendizajes de los estudiantes. Estos últimos cobran relevancia como objeto de evaluación, porque son los estudiantes el centro de la acción educativa en los modelos pedagógicos orientados al logro de las competencias.

Una de las principales metas de este nivel educativo es obtener resultados de aprendizaje ambiciosos y profundos en los futuros profesionistas (Biggs, 2005; Guzmán, 2011). En este caso, en México, las políticas educativas subrayan que los aprendizajes en las IES deben lograrse con la calidad suficiente y de manera constante si se aspira a que sus egresados dominen las disciplinas y los valores que deben caracterizar a las distintas profesiones (SEP, 2013). Para transitar hacia el logro de lo anterior, la SEP desarrolla mecanismos tendientes a asegurar la calidad de los aprendizajes. Estos mecanismos refieren a la evaluación, la cual se erige como herramienta fundamental para obtener información sobre los programas educativos y sobre el dominio de las competencias, así como para emitir juicios justos y objetivos sobre los procesos de aprendizaje (Sánchez, 2011), que fundamenten la implementación de acciones pertinentes para asegurar la mejora del objeto evaluado (Gil, Álvarez, García, y Romero, 2009). No obstante, para garantizar el impacto favorable de la evaluación en la calidad, ésta debe utilizar instrumentos de medición confiables para asegurar la relevancia de la información recabada.

En este marco, la planta académica de una facultad del área de pedagogía de una universidad pública Estatal de México se ha venido comprometiendo en un proceso de evaluación que permita conocer el nivel de desarrollo de las competencias alcanzado por los estudiantes al término de cada una de las etapas de formación que integran sus planes de estudio (básica-común, disciplinaria y terminal), así como identificar áreas de oportunidad e intervenir oportunamente.

La primera etapa de este proceso consistió en diseñar las pruebas de autoevaluación, la segunda en aplicarlas y la tercera en validar las propiedades psicométricas de dichas pruebas.

Este artículo reporta los resultados de una de las pruebas de la tercera etapa, aborda la validez psicométrica de un instrumento de Autoevaluación del Tronco Común de tres licenciaturas del área de pedagogía de una universidad pública Estatal de México. En otras palabras, se plasman los resultados del análisis de las propiedades psicométricas de la prueba que recoge las percepciones de los estudiantes sobre el nivel de dominio de los contenidos procedimentales, actitudinales y conceptuales asociados a las competencias de doce asignaturas que conforman la etapa de formación básica o común del plan de estudios.

La etapa básica o común del plan de estudios de los programas educativos sujeto de este ejercicio se integran por los primeros dos semestres, comprende un proceso general de carácter multi o interdisciplinario con una orientación eminentemente formativa, donde se desarrollan las competencias básicas y genéricas que debe tener todo profesionista de un mismo nivel formativo o área disciplinaria, lo que se logrará mediante la adquisición de conocimientos de las diferentes áreas y que permite la integración de un repertorio básico de conocimientos, valores, destrezas y habilidades recurrentes para las siguientes etapas de su formación (UABC, 2013).

Se considera que el estudio realizado es relevante para aspectos teóricos y prácticos; en el primer caso, porque la investigación sobre la evaluación de los estudiantes universitarios en el país, y particularmente, las que consideran las percepciones y opiniones de alumnos y profesores con procedimientos sistematizados, sólidos y confiables son escasas (Porto, 2006; Martínez-Rizo y Mercado, 2015 ) y en el segundo, porque el estudio conlleva a la reducción de errores de medición y permite mejorar la toma de decisiones a partir de los resultados( Díaz y Leyva, 2013), además la intención del mismo, es buscar la validación de la prueba en cuestión, ya que se carecía de evidencias de su calidad técnica.

1.1. El papel de la evaluación en la calidad de la educación superior y de sus planes de estudio

Para cualquier Institución de Educación Superior, el concepto de calidad educativa es clave, ya que se establece en las políticas educativas y enfoques didácticos recientes. En este sentido, implementar mecanismos de calidad es una obligación que ha generado la globalización y las necesidades emergentes del contexto educativo, social, económico y político de cada país. En el caso de México, la Constitución Política equipara calidad educativa con mejora constante y máximo logro educativo, y la Ley General de Educación la define en términos de congruencia entre objetivos, resultados y procesos; por lo tanto, en su aseguramiento, es responsabilidad de las IES implementar proyectos que se orienten a la mejora continua de sus procesos formativos. En cuanto al ámbito pedagógico, la calidad educativa se asocia a cubrir con eficacia las metas propuestas en los planes y programas educativos (Márquez, 2004). Empero, es importante resaltar que, aunque se instrumenten procesos de mejora y se actualicen o rediseñen los planes y programas de estudio, hay que cuidar lo que se vive en el aula, principalmente el trabajo del docente con sus estudiantes y viceversa, pues es lo que realmente impacta en la calidad educativa de una institución y por ende de una nación (Quiroz, 2007).

Aunado a lo expuesto previamente y en concordancia con esas políticas, el Sistema Educativo Nacional ha definido de manera participativa estándares de calidad para las IES y éstas avanzan en la certificación de procesos administrativos y académicos, así como en la acreditación de sus programas educativos. Diversas agencias acreditadoras dan cuenta del nivel de cumplimiento de los indicadores de calidad, de manera que cuando un programa es certificado por su calidad, se infiere que sus egresados adquirieron las competencias necesarias para desempeñarse como profesional en un campo o área determinada.

Sin duda, los procesos de acreditación de programas representan una de las principales estrategias para fomentar y asegurar la calidad en la educación superior. Por ello, las autoridades de las IES asumen como prioridad, la gestión de la calidad donde se utilicen diversas formas de evaluación, en especial mecanismos de seguimiento y evaluación que sean confiables y que además brinden dinamismo y adaptabilidad para asegurar que su funcionamiento logre el nivel de excelencia demandado por la sociedad; esto implica el diseño, implementación y estandarización de procedimientos que garanticen el cumplimiento de las funciones básicas de la Educación Superior (Arenas y Jaimes, 2008).

Por lo anterior, la evaluación interna en las IES es necesaria y debe desplegarse con la intención de identificar, recolectar y tratar datos sobre elementos e indicadores para valorarlos y tomar decisiones (Aguilar, Ayala, Lugo, y Zarco, 2014). Todos estos son procesos clave dentro de las instituciones, sobre todo cuando se asume que la evaluación de un plan de estudios debe llegar a comprender cómo impacta el curriculum en el desarrollo de las capacidades de los profesionistas en formación (Díaz, Lule, Pacheco, Saad, y Rojas, 2010). Lo anterior implica contar con instrumentos confiables y evaluar en momentos estratégicos para retroalimentar oportunamente los programas de estudios, con la finalidad de fortalecerlos.

1.2. La evaluación de la trayectoria escolar en la educación superior

El término trayectoria escolar ha venido cobrando relevancia en la narrativa de la educación superior para volver la mirada al proceso formativo; ha sido definido como el comportamiento académico de un individuo, el cual  “incluye el desempeño escolar, la aprobación, la reprobación, el promedio logrado, etcétera, a lo largo de los ciclos escolares” (García y Barrón 2011, p.95), o como el medio por el que se expresa el comportamiento escolar de un estudiante o conjunto de ellos, a lo largo de su estancia en una institución educativa, desde su ingreso hasta la conclusión de sus estudios o de un momento de éstos (Romo, 2005). González, Castro y Bañuelos relacionan el término de trayectoria escolar con factores como “el rezago, la deserción, el rendimiento, la aprobación, el origen social, la escolaridad de los padres, la trayectoria previa, la migración, el abandono” (2011, p.123), entre otros factores que integran un conjunto de aspectos que afecta la regularidad del comportamiento académico estudiantil.

Por su parte Rembado, Ramírez, Viera, Ros y Wainmaier (2009), demostraron que las etapas iniciales de formación universitaria son determinantes en la trayectoria académica de los estudiantes. Este tipo de hallazgos sugiere que es importante evaluar las primeras etapas de la trayectoria en las IES, ya que, para asegurar la calidad de las IES, debe conocerse la forma en que transitan los estudiantes por cada etapa de formación, identificarse los puntos críticos del trayecto y analizarse minuciosamente la situación para comprender las complicaciones que puedan presentarse (Rembado, et al., 2009) y actuar en consecuencia como medida preventiva o correctiva.

La evaluación de trayectorias permite la identificación de los problemas que deben superarse para mejorar los procesos de formación del estudiante (Amaro, 2011), el análsis de los mismos en el contexto, la comprensión profunda de lo que acontece y debe también facilitar la toma atinada y oportuna de decisiones con la intención de llevar a los estudiantes al buen término en cada etapa formativa.

Si bien en la evaluación de trayectorias predominan los enfoques de resultados  cuantitativos que describen el desempeño del estudiantado mediante indicadores, la predominancia de este enfoque no es una limitante para continuar con otro tipo de estudios complementarios, de carácter más comprensivo, explicativos, factoriales o causales (Meléndez, 2010).

1.3. La autoevaluación de la formación universitaria

Es importante instrumentar proyectos donde se valore y consideren las percepciones que puedan ser generadas en un proceso de evaluación, sobre todo en un contexto que se dirige a la calidad educativa universitaria, por lo tanto, una de las acciones que necesitan desarrollar las IES es diseñar instrumentos que permitan diagnosticar los conocimientos, habilidades y actitudes de los estudiantes en formación, sobre todo, poder hacerlo en las primeras etapas de su trayecto formativo, teniendo la oportunidad de emprender acciones de mejora. Si se conoce el nivel de desarrollo de competencias, se obtiene un panorama de  lo que se enseña y de lo que se aprende, así como de lo que requiere ser reestructurado, complementado o mejor estudiado, contribuyendo al aseguramiento de la calidad educativa.

Es relevante tener claridad sobre los alcances y limitaciones de los instrumentos; si bien una prueba no puede evaluar las competencias en ejecución, si es válida y confiable, representa una herramienta fundamental para conocer el nivel de logro de los conocimientos declarativos, procedimentales y actitudinales asociados a las competencias explícitas en las distintas unidades de aprendizaje de los programas educativos.

Por otro lado, cuando la autoevaluación del aprendizaje es formativa, promueve la autorreflexión y el control sobre el propio aprendizaje (López, 2009).  Al enfatizarla se busca que el estudiante reflexione sobre su proceso de formación de manera continua y que identifique aquellas competencias que ha desarrollado a lo largo de su trayecto formativo (Delgado, 2009). Se reconoce pues el potencial de la autoevaluación para promover el desarrollo de capacidades de autorregulación y autoconocimiento de su propio proceso de aprendizaje.

También es importante considerar que las agencias acreditadoras de programas educativos exigen a las IES identificar y analizar las percepciones de los estudiantes, profesores, empleados, empleadores y demás partes interesadas, de manera que la percepción de los estudiantes respecto a los aprendizajes obtenidos durante su proceso formativo, es parte de la autoevaluación institucional y se asume como elemento facilitador para el cumplimiento de estándares de calidad a partir de parámetros preestablecidos por la organización.

Como puede identificarse, existen argumentos para sostener que la autoevaluación es útil y pertinente para evaluar las trayectorias de los estudiantes cuando se utilizan instrumentos válidos y confiables, por lo que ssometer a validación técnica la prueba del el ejercicio aquí presentado,  resulta crucial en un proceso de mejora.

2. Metodología

El objetivo del presente estudio fue identificar las propiedades psicométricas de un Examen de Autoevaluación del Tronco Común (EXATCO) de los tres programas educativos del área de pedagogía de una Universidad Pública Estatal de México.

El EXATCO es una prueba alineada al curriculum, tiene 240 ítems agrupados en doce dimensiones (Tabla 1) y presenta una escala de cuatro opciones de respuesta por ítem: Insuficiente, Elemental, Bueno, Excelente. Al responder la prueba, los estudiantes seleccionan la opción que mejor represente su nivel de dominio, con base en la escala.

Tabla 1
Dimensiones y número de ítems del Examen de autoevaluación del tronco común.

Código

Dimensiones

Número de ítems

A

Teoría pedagógica

20

B

Teorías del aprendizaje

20

C

Lectura Analítica y Elaboración de Textos

20

D

Bases Filosóficas del Sistema Educativo

20

E

Lógica Matemática

20

F

Organizaciones Educativas

20

G

Didáctica General

20

H

Psicología del Desarrollo

20

I

Desarrollo de Habilidades Comunicativas

20

J

Ética, Responsabilidad Social y Transparencia

20

K

Metodología para la Resolución de Problemas

20

L

Escuela y Contexto

20

 

Total

240

Fuente: elaboración propia.

La prueba se aplicó a 295 estudiantes de cuatro generaciones en diferente ciclo escolar, durante el semestre inmediato superior a la conclusión del Tronco Común. Algunos datos de la población se aprecian en la Tabla 2.

Tabla 2
Sexo y estatus de empleo de los estudiantes participantes

Frecuencia

Porcentaje

Sexo

Femenino

203

68.8

Masculino

92

31.2

El estudiante trabaja

No

202

68.5

93

31.5

Total

295

100.0

Fuente: elaboración propia.

La programación de aplicación consideró a todos los alumnos que concluyeron con éxito el tronco común. La aplicación del examen se llevó a cabo en un laboratorio de cómputo que contaba con la instalación del sistema Question Mark (QM), debido a las ventajas que representa esta plataforma para la obtención de bases de datos por medio de diversas aplicaciones en línea.

Previo al inicio de la aplicación del examen, un académico de la facultad explicó las finalidades del examen con dos intenciones: sensibilizar a los estudiantes sobre los beneficios de este tipo de evaluación, y elevar la objetividad de las respuestas de los alumnos. El tiempo promedio de respuesta fue de noventa minutos.

Una vez respondido el EXATCO, las respuestas se integraron en una base de datos con ayuda del programa estadístico SPSS. Posteriormente, se depuró la base de datos y se recodificaron los ítems necesarios; asimismo, se elaboraron los archivos control y de textos requeridos para los análisis comprometidos.

Se realizaron tres tipos de análisis: descriptivo de frecuencias, de consistencia interna, y un análisis unidimensional. Como parte de los análisis descriptivos se obtuvieron las distribuciones de las frecuencias de las respuestas de todos los ítems, la media, la desviación estándar (DE) y la mediana de cada uno de los ítems que conforman las dimensiones del instrumento bajo estudio.

Para determinar la confiabilidad se calcularon los coeficientes Alfa ordinal de cada una de las dimensiones que conforman el instrumento. Este índice estima con mayor precisión la consistencia interna con base en la matriz de correlaciones policóricas (Zumbo, Gendermann y Zesser, 2007). Los valores de este índice varían entre 0 y 1, donde valores superiores a .700 indican una alta consistencia interna. Los análisis anteriores se realizaron en el programa R a través del paquete Psych (Revelle, 2014).

Por su parte, el estudio de la estructura dimensional de cada dimensión se realizó a través del programa Winsteps (Linacre, 2016). Los análisis Rasch son un método de la Teoría de Respuesta al Ítem (TRI) que permiten estudiar el nivel de ajuste a un modelo unidimensional con base en la dificultad de los ítems y el nivel de habilidad (o adscripción) de los examinados.

El análisis permite obtener los niveles de dificultad, los índices de ajuste próximo (INFIT) y lejano (OUTFIT) y los índices de discriminación de cada ítem. Para asegurar que un ítem se ajusta al modelo teórico bajo estudio, los valores de INFIT y OUTFIT se deben mantener dentro del intervalo de 0.60 y 1.40 (Gonzalez-Montesinos, 2008; Wright y Linacre, 2014). Por su parte, de acuerdo a distintos referentes, para considerar que un ítem discrimina entre los examinados con puntuaciones bajas y altas, los valores índice de discriminación (Ptbis) deben ser igual o mayores a .20.

3. Resultados

Los análisis descriptivos iniciales mostraron que la mayoría de los ítems que componen cada dimensión registraron puntuaciones medianas entre tres y cuatro, es decir, más del cincuenta por ciento de la población dicen tener un nivel de desarrollo excelente o bueno en cada uno de los contenidos o acciones que consideran los ítems. Sin embargo, en cuatro ítems de la asignatura Bases Filosóficas del Sistema Educativo Nacional la mayoría de los participantes expresaron tener un nivel de desarrollo elemental.

Por su parte, los índices de consistencia interna, coeficientes de discriminación y los índices de ajuste a un modelo unidimensional de las doce dimensiones que forman parte del EXATCO, registraron índices de consistencia interna que oscilan entre .865 (Teoría Pedagógica) y .970 (Psicología del Desarrollo y Metodología para la Resolución de Problemas) (Tabla 3). En relación a la totalidad de los ítems que conforman cada dimensión, se registraron coeficientes de discriminación superiores a .20. En cuanto al análisis de unidimensionalidad, se encontró que la mayoría de las dimensiones obtuvieron valores aceptables de acuerdo a los criterios establecidos, sin embargo, ciertos ítems presentan algún problema de desajuste en las asignaturas A, D, E, F, H, J, K y L (Tabla 3).

Tabla 3
Síntesis de los Estadígrafos de ajuste, correlación punto biserial y
valores de dificultad del modelo de Rasch de las dimensiones del EXATCO

Asignatura

k

Alfa

Adscripción

Ajuste (0.6 - 1.4)

Discriminación

Min

Max

Infit

Outfit

Ptbis <.20

A. Teoría Pedagógica

20

.865

-2.01

1.42

1

1

0

B. Teorías del Aprendizaje

20

.900

-1.78

2.13

0

0

0

C. Lectura Analítica y Elaboración de Textos

20

.927

-0.74

0.94

0

0

0

D. Bases Filosóficas del Sistema Educativo

20

.933

-1.60

1.20

1

1

0

E. Lógica Matemática

20

.954

-1.06

1.02

1

1

0

F. Organizaciones Educativas

20

.932

-2.04

1.17

1

1

0

G. Didáctica General

20

.956

-1.53

1.14

0

0

0

H. Psicología del Desarrollo

20

.970

-0.93

0.90

0

2

0

I. Desarrollo de Habilidades Comunicativas

20

.950

-0.79

0.99

0

0

0

J. Ética, responsabilidad social y transparencia

20

.939

-1.62

1.49

0

1

0

K. Metodología para la resolución de problemas

20

.970

-0.79

0.76

1

2

0

L. Escuela y contexto

20

.944

-1.67

1.29

0

1

0

Fuente: elaboración propia.

Con la intención de ilustrar evidencia del análisis realizado de cada una de las dimensiones de la prueba, se muestra con mayor detalle la dimensión Teoría Pedagógica. Se obtuvo la distribución de frecuencias de cada reactivo, así como los estadísticos básicos asociados al conjunto de reactivos que conforman esta escala (Tabla 4). En general, se observan medias aritméticas entre 2.71 y 3.60, siendo el ítem A16 (Reconozco la importancia de la educación en valores) el ítem con puntaje más alto, y el ítem A9 (Conozco las condiciones históricas en que desarrollaron sus ideas los pedagogos más representativos de los siglos XVI al XIX) el que registra la media más baja (2.71).

Tabla 4
Mediana, media y desviación estándar de los ítems de la dimensión Teoría pedagógica

n

Mediana

Media

DE

A1. Conozco las principales teorías pedagógicas en la Grecia y Roma antiguas.

295

3

2.87

.71

A2. Puedo explicar los ideales fundamentales de los filósofos de la antigua Roma.

295

3

2.73

.80

A3. Identifico el escenario histórico en el que se desarrollaron las ideas pedagógicas de la antigüedad.

295

3

2.91

.77

A4. Comprendo  las ideas fundamentales de los filósofos griegos de la antigüedad.

295

3

2.98

.79

A5. Identifico las ideas de las principales teorías pedagógicas de Grecia y Roma que permanecen en las pedagogías actuales.

295

3

2.90

.74

A6. Tengo una opinión crítica de las principales teorías pedagógicas de Grecia y Roma.

295

3w

2.83

.77

A7. Comprendo la influencia de los educadores griegos en las teorías pedagógicas a través del tiempo de la antigüedad.

295

3

3.00

.79

A8. Conozco las principales teorías pedagógicas del siglo XVI al XIX.

295

3

2.68

.71

A9. Conozco las condiciones históricas en que desarrollaron sus ideas los pedagogos más representativos de los siglos XVI al XIX.

295

3

2.71

.74

A10. Identifico las ideas y prácticas pedagógicas de la antigüedad que han cambiado en la actualidad.

295

3

3.03

.72

A11. Comprendo el contexto histórico en el que se desarrolló la pedagogía participativa.

295

3

2.72

.78

A12. Reconozco las teorías pedagógicas fundamentadas en el marxismo y personalismo.

295

3

2.58

.90

A13. Conozco los principales postulados de las teorías de Piaget, Vigotsky y Ausubel.

295

3

3.38

.69

A14. Puedo explicar las  aportaciones de Piaget, Vigotsky y Ausubel al constructivismo.

295

3

3.25

.74

A15. Comprendo la influencia del constructivismo en la pedagogía actual.

295

3

3.26

.72

A16. Reconozco la importancia  de la educación en valores.

295

4

3.60

.59

A17. Distingo las aportaciones de Comenio, Rousseau, Pestalozzi y Froebel.

295

3

3.21

.72

A18. Reflexiono sobre los contenidos vistos en clase y obtengo mi postura.

295

3

3.28

.68

A19. Reconozco que siendo esta asignatura teórica, existe una aplicación actual como futuro docente.

295

4

3.49

.61

A20. Reflexiono sobre los contrastes de las propuestas históricas y las necesidades pedagógicas en contextos actuales.

295

3

3.30

.69

Fuente: elaboración propia.

Se obtuvieron los valores de dificultad y los estadígrafos de ajuste para los reactivos que conforman la dimensión Teoría Pedagógica (Tabla 5). Los valores de dificultad se encuentran entre -2.01 y 1.42 (ítems 16 y 11, respectivamente). Se observa que diecinueve de los veinte ítems cumplen de manera satisfactoria el criterio de bondad de INFIT y OUTFIT. Sin embargo, los niveles de dificultad registrados en las afirmaciones de la escala no son completamente acordes a los niveles de aceptación y rechazo de dichas expresiones por parte de los encuestados (Figura 2). Por otro lado, la totalidad de los ítems de la dimensión presentan correlaciones punto biseriales superiores a .20, valores aceptables de acuerdo con diversos sistemas de referencia, mismos que sugieren unidimensionalidad en la escala.

Tabla 5
Estadígrafos de ajuste, correlación punto biserial y valores de dificultad
del modelo de Rasch para los ítems de la dimensión Teoría pedagógica

 

 -----

Figura 1
Mapa de Wright de la dimensión Teoría pedagógica.

 

4. Conclusiones

El presente estudio permitió analizar y documentar las evidencias de las propiedades psicométricas de doce dimensiones que evalúan cada una de las asignaturas consideradas en la etapa de Tronco Común de tres programas educativos del área de pedagogía de una universidad pública Estatal de México. Las evidencias presentadas fundamentan la pertinencia de la aplicación de dichos exámenes y del uso de la información que de ellos se desprende.

Con base en los resultados del análisis de confiabilidad, se puede asegurar que existe un alto grado de consistencia entre los ítems de las dimensiones que componen el EXATCO. Es decir, los ítems están midiendo una única dimensión (o dimensiones distintas pero correlacionadas). De la misma manera, los resultados del análisis de discriminación sugieren la presencia de un rasgo subyacente en cada dimensión, pues ningún ítem registró un índice de discriminación inferior a .20.

Con la evidencia recolectada, se afirma que cada una de las dimensiones mide un solo rasgo de manera independiente, para el caso de las dimensiones que presentaron ítems con algún nivel de desajuste se recomienda la revisión de la redacción o contenido de los mismos, de tal manera que se atienda lo que se desea medir.

Además de valorar el ajuste de los ítems a un modelo unidimensional, se exploró la correspondencia entre los niveles de dificultad de los ítems y el nivel de habilidad o posesión del rasgo de los sujetos. Se encontró que en todas las dimensiones bajo estudio no existe una correspondencia homogénea entre la dificultad de los ítems y la habilidad de conocimiento de los sujetos. Es decir, se cuenta con ítems demasiado “fáciles”, o con una alta probabilidad de que sean respondidos en un sentido positivo (Excelente, Bueno), y con sujetos que, de acuerdo a los ítems que los conforman, cuentan con altos niveles de posesión del rasgo evaluado.

Para abordar lo anterior y con el objetivo de contar con instrumentos de medición más eficaces y eficientes, se sugiere: a) valorar la relevancia del contenido de cada uno de los ítems y la suficiencia de cada una de las dimensiones bajo estudio, y, b) valorar la claridad de los ítems en función de las opciones de respuesta, ya que la redacción de algunos ítems no observa correspondencia con las opciones de respuesta. Es decir, algunos ítems expresan un contenido o una acción concreta que no podría ser respondida de manera clara con las opciones de respuesta que ofrece el instrumento. Por ejemplo, el ítem A1. Conozco las principales teorías pedagógicas en la Grecia y Roma antiguas no podría responderse de manera clara con las opciones de respuesta Insuficiente, Elemental, Bueno o Excelente.

Este trabajo puntualiza las bondades de la aplicación de instrumentos válidos y confiables, mas es necesario destacar que su uso, busca visualizar a la autoevaluación como un mecanismo generador de insumos, mismos que posibilitan la toma de decisiones pertinentes para atender situaciones relacionadas con el proceso de enseñanza aprendizaje, ofreciendo elementos objetivos y confiables para poder intervenir de manera oportuna en el fortalecimiento de los perfiles intermedios, terminales y de egreso de los futuros profesionistas.

Así mismo se considera importante desarrollar otras exploraciones de tipo cualitativo que puedan complementar este tipo de pruebas y de esta esta forma aproximarse a una evaluación más completa que dé cuenta de las realidades, posibilidades y necesidades de los procesos formativos.

Referencias bibliográficas

Abad, F. J., Olea, J., Ponsoda, V., y García, C. (2011). Medición de ciencias sociales y de la salud. Madrid, España: Síntesis.

Aguilar, I., Ayala, J, Lugo, O., y Zarco, A. (2014). Análisis de criterios de evaluación para la calidad de los materiales didácticos digitales. Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 9(25), 73-89.

Amaro, A. (2011). Evaluación de las trayectorias escolares de los alumnos del 6° semestre de la escuela preparatoria oficial no.16 del Estado de México (Tesis de pregrado). Universidad Pedagógica Nacional Unidad Ajusco, México, D. F.  

Arenas, A. L., y Jaimes, B. M. (2008). Calidad y competencias: Propuesta de un modelo educativo en educación superior. UIS Ingenierías, 7(1), 87-103.

Attorresi, H. F., Lozzia, G. S., Abal, F. J. P., Galibert, M. S., y Aguerri, M. E. (2009). Teoría de respuesta al Ítem. Conceptos básicos y aplicaciones para la medición de constructos psicológicos. Revista Argentina de Clínica Psicológica, 18(2), 179-188.

Avendaño, B. L., Jiménez, M. Y., y Senior, D. M. (2008). Caracterización de un grupo de estudiantes que obtuvo altos puntajes en el examen de calidad de la educación superior, ECAES, años 2003 – 2006. Suma Psicológica, 15(2), 355-384.

Baltra, M. (2010). Perfiles de desempeño en matemática, según habilidad cognitiva por nivel socioeconómico en estudiantes chilenos de enseñanza municipal. Revista Electrónica de Investigación Educativa, 12(1). Recuperado de http://redie.uabc.mx/vol12no1/contenido-baltra.html

Biggs, J. (2006). Calidad del aprendizaje universitario,  España: Narcea.

Champin, D. (2014). Evaluación por competencias en la educación médica. Revista Perú Med Exp. Salud Pública, 31(3), 566-71.

Delgado, A. M., y Oliver, R. (2009). Interacción entre la evaluación continua y la autoevaluación formativa: La potenciación del aprendizaje autónomo. Revista de Docencia Universitaria. (4), 1-13.

Díaz, F., Lule, M. L., Pacheco, D., Saad, E., y Rojas, S. (2010). Metodología de Diseño Curricular para la Educación Superior, México: Trillas.

Díaz, P. y Leyva, E. (2013). Metodología para determinar la calidad de los instrumentos de evaluación. Educación Médica Superior27(2), 269-286. Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200014&lng=es&tlng=es.

Ducoing, P. (2005). Colección: La Investigación Educativa en México 1992‐2002. Sujetos, Actores y Procesos de Formación, Tomo II: Formación de Docentes (Normal y Universidad) y de Profesionales de la Educación. Formación Profesional la Investigación Sobre Alumnos en México: Recuento de una Década (1992-2002). México: Consejo Mexicano de Investigación Educativa.

Gadermann, A. M., Guhn, M., y Zumbo, B. (2012). Estimating ordinal reliability for likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research y Evaluation, 17(3), 1–13.

García, O. y Barrón, C. (2011). Un estudio sobre la trayectoria escolar de los estudiantes de doctorado en pedagogía. Perfiles Educativos IISUE-UNAM, 33(131), 94-113.

Gil, J., Álvarez, V., García, E., y Romero, S. (2009). Evaluación de la formación universitaria a partir de las opiniones de los titulados incorporados al mundo laboral. Revista de Pedagogía, 61(3), 73-92.

González, A., Castro, E., y Bañuelos, D. (2011). Trayectorias escolares. El perfil de ingreso de los estudiantes de Ciencias Químicas: un primer abordaje para contrastación ulterior con otras disciplinas, Revista Latinoamericana de Estudios Educativos, 41(3-4), 119-138.

Guzmán, J. (2011). La calidad de la enseñanza en educación superior ¿Qué es una buena enseñanza en este nivel educativo? Perfiles educativos, 33(spe), 129-141. Recuperado de http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0185-26982011000500012

L'êcuyer, J. (2001). La evaluación en la enseñanza superior. Revista Diálogo Educacional, 2(4), 1-26.

Lemaitre, M. J., y Zenteno, M. E. (2012). Aseguramiento de la calidad en Iberoamérica, educación superior, informe 2012. Chile: RIL Editores.

Linacre, J. (1994). Sample Size and Item Calibration Stability. Rasch Measurement Transactions, 7(4), 1-328.

Linacre, J. (2016). [Computer Software]. Beaverton, Oregon: Winsteps.com. Recuperado de http://www.winsteps.com/

López, V. M. (2009). Evaluación formativa y compartida en educación superior propuestas, técnicas, instrumentos y experiencias. Madrid, España: Narcea.

Márquez, A. (2004). Calidad de la educación superior en México. ¿Es posible un sistema eficaz, eficiente y equitativo? Las políticas de financiamiento de la educación superior en los noventa. Revista Mexicana de Investigación Educativa, 9(21), 477-500.

Martínez, E., Tellado, F., y Raposo, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. Revista de Docencia Universitaria, 11(2), 373-390.

Martínez-Rizo, F. y Mercado, A. (2015). Estudios sobre prácticas de evaluación en el aula: revisión de la literatura. Revista Electrónica de Investigación Educativa17(1), 17-32. Recuperado de http://redie.uabc.mx/vol17no1/contenido-mtnzrizo-mercado.html

Mejías, A. A., y Cobo, M. (2007). La Autoevaluación: Una iniciativa para la gestión de la calidad en educación superior. Ingeniería Industrial, 28(3), 35-39.

Meléndez, D. (junio de 2006). Un ejercicio de evaluación de las trayectorias escolares en la universidad de Guadalajara. 6° Congreso Internacional. Retos y Expectativas de la Universidad “El papel de la universidad en la transformación de la sociedad,Ciudad de Puebla, Puebla.

Murcia, N., y Murcia, J. (2009). Imaginarios sociales y autoevaluación universitaria. Educación y Educadores, 12(3), 99-115.

Porto, M. (2006, 15 de noviembre). La evaluación de estudiantes universitarios vista por sus protagonistas. Educatio Siglo XXI, 24, 167-188.

Prieto, L. (2007). Autoeficacia del profesor universitario, eficacia percibida y práctica docente. Madrid, España: Narcea.

Quiroz, E. (2007, diciembre). Competencias profesionales y calidad en la educación superior. Reencuentro, 50, 93-99. Recuperado de http://www.redalyc.org/pdf/340/34005012.pdf

Rembado, F., Ramírez, S., Viera, L., Ros, M., y Wainmaier, C. (2009). Condicionantes de la trayectoria de formación de carreras científicas y tecnológicas: las visiones de los estudiantes. Perfiles Educativos, 31(124), 8-21.

Revelle, W. (2014). Psych: Procedures for psychological, psychometric, and personality research. R Package Version. Recuperado de http://cran.univ-lyon1.fr/web/packages/psych/

Romo, A. (2005). Estudios sobre retención y deserción en un grupo de instituciones mexicanas de educación superior en: Deserción, rezago y eficiencia terminal. México: ANUIES.

Sánchez, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54.

SEP (2013). Secretaria de Educación Pública: Programa Sectorial de Educación 2013-2018. México: Autor.

Sepúlveda, A. C., Gaspar, N., Reyes, L. I., y González, H. J. (2015). Confiabilidad y validez de un instrumento de evaluación de la competencia clínica integral de médicos residentes. Revista Médica del Instituto Mexicano del Seguro Social, 53(1), 30-39.

Soler, S. (2008). Coeficientes de confiabilidad de instrumentos escritos en el marco de la teoría clásica de los tests. Revista Cubana de Educación Médica Superior, 22(2), 1-14.

Stobart, G. (2010). Tiempos de pruebas: los usos y abusos de la evaluación. Madrid, España: Morata.

Tristan, A. (2001). Análisis de Rasch para todos. Ceneval. México.

Trueba, S. (2011). Autoevaluación del alumnado en el profesorado de Educación Física. Comparación con otras experiencias publicadas. Praxis Educativa (Arg), 15(15), 65-70.

Trujillo, A. E. (2011). La autoevaluación como acción tutorial en la formación integral del estudiante universitario. Pampedia: Revista de las Facultades de Pedagogía de la Universidad Veracruzana, (7), 44-56.

UABC. (2013). Modelo educativo de la Universidad Autónoma de Baja California. México: Universidad Autónoma de Baja California

Vallés, C., Ureña, N., y Ruiz, E. (2011). La evaluación formativa en docencia universitaria. Resultados globales de 41 estudios de caso. Revista de Docencia Universitaria, 9(1), 135-158.

Wright, B. D., y Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch Measurement Transactions, 8(3), 1-370.


1. Doctor en Educación por la Universidad Abierta de Tlaxcala. Profesor de tiempo completo y Director de la Facultad de Pedagogía e Innovación Educativa de la Universidad Autónoma de Baja California. Línea de investigación: formación de profesionales de la educación. CE: ponce@uabc.edu.mx

2. Doctora en Ciencias Educativas por la Universidad Autónoma de Baja California. Profesor de asignatura de la Facultad de Ciencias. CE: gema@uabc.edu.mx

3. Maestra en Ciencias de la Educación con énfasis en Didáctica de las Matemáticas por la Universidad Autónoma de Baja California. Profesor de tiempo completo de la Facultad de Pedagogía e Innovación Educativa de la Universidad Autónoma de Baja California. Línea de investigación: formación de docentes en matemática. CE: gmendivil@uabc.edu.mx

4. Maestro en Ciencias Educativas por el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. Asistente de investigación en el Instituto de Investigación y Desarrollo Educativo. Línea de investigación: Desarrollo y validación de instrumentos de medición psicológica y educativa. CE: diaz.carlos@uabc.edu.mx  


Revista ESPACIOS. ISSN 0798 1015
Vol. 39 (Nº 23) Año 2018

[Índice]

[En caso de encontrar algún error en este website favor enviar email a webmaster]

revistaespacios.com