[MÚSICA] Seguramente en tu trabajo como docente, has tenido la necesidad de conocer el nivel de confiabilidad de tu instrumento de evaluación, así como la validez de las inferencias que realizas del mismo. Pero, ¿cómo se realiza este proceso? Esto lo podemos lograr gracias a la realización del análisis cuantitativo de los reactivos. Anteriormente viste cómo se realiza un análisis cualitativo. Ahora revisaremos cómo analizar el funcionamiento de los reactivos aplicados en una prueba, primero desde el enfoque de la teoría clásica de los tests y posteriormente de la perspectiva de la teoría de respuesta al ítem. >> Como vimos en los pasos para la elaboración de un examen objetivo, después de la aplicación del instrumento es necesario realizar un análisis estadístico, que nos de cuenta del funcionamiento que tuvo nuestro instrumento. En este caso, a dicho análisis lo llamaremos calibración. Pero, ¿en qué consiste este proceso? >> La calibración engloba una serie de procedimientos con los que evaluamos el funcionamiento de los reactivos, sus opciones de respuesta, así como el comportamiento del examen en sí. Esto nos permite verificar con datos duros, si el reactivo es fácil o difícil. Si sirve para determinar el grado de conocimiento de quiénes contestan. Además, de ver si su construcción favorece o complica su resolución. De esta manera, podemos contar con una mayor precisión al momento de la toma de decisiones sobre el reactivo. SI se tiene que cambiar, mejorar o si es necesario eliminarlo del examen. Para demostrarlo, trabajaremos un ejemplo de análisis mediante la teoría clásica de los tests. Para ello utilizaremos una aplicación desarrollada por la coordinación de Universidad Abierta Innovación Educativa y Educación a distancia de la UNAM. Esta aplicación tiene el nombre de SISAPRE. Es decir, el Sistema de Análisis Psicométrico de Reactivos. Para usarlo, es necesario completar el registro, siguiendo las instrucciones que aparecen en pantalla, para recibir un usuario y contraseña que nos permita acceder al sistema. >> Antes de iniciar, debemos de contar con la base de datos de la aplicación del examen. Esta puede ser resultado de la lectura de las hojas ópticas con las respuestas de los estudiantes que se presentaron o un archivo de salida de algún sistema. Su estructura es muy sencilla. Es un arreglo matricial conde la lectura por fila, muestra las respuestas de los estudiantes a lo largo del examen y por columna, la forma en que fue contestado cada reactivo. De esta manera, si sumáramos los puntajes por columnas obtendríamos el número de alumnos que contestaron correctamente el reactivo y si lo hiciéramos por fila tendríamos los totales de aciertos por alumno. >> Así es. Observa que la base de datos además de incluir los datos anteriores, también incorpora los identificadores del alumno. Datos como folio, número de versión de examen, edad, turno o cualquier otro dato adicional de los alumnos. Es importante mencionar que todos los registros o renglones del archivo, deberán tener la misma estructura y en consecuencia, ser del mismo tamaño. De lo contrario, las calibraciones arrojarán errores. Los datos se ingresan al sistema dando clic en subir la base de datos, la cual debe estar en texto plano. Se define la longitud del identificador, el número de componentes, los reactivos de cada componente y el total de preguntas del examen. El siguiente elemento con el que se debe contar es con la cadena de respuestas correctas para poder calificar. Esta se ingresa dando un simple copiar y pegar y después de validar la información, se procede a procesar la información. En ese momento, se despliegan los resultados. >> Antes de ver los resultados vamos a recordar rápidamente la teoría clásica de los tests. Esta metodología hace hincapié tanto en el comportamiento del reactivo por sí mismo y su comportamiento como parte del instrumento en su totalidad. Tres aspectos que se analizan son, la dificultad, la discriminación y la correlación punto viscerial. Pero, ¿qué es cada una? >> La dificultad de un reactivo se define como la proporción de alumnos que lo respondieron correctamente. Mientras más grande sea el valor, más alumnos lo respondieron bien. Por tanto, este reactivo es más fácil. En caso contrario, el reactivo es más difícil. >> Eso significa que la teoría clásica de los tests, ¿a menor valor, mayor dificultad y a mayor valor, menor dificultad? >> Es correcto. Además podemos clasificar a los reactivos de acuerdo a su dificultad. Si es menor a 0.2, el reactivo es my difícil. Entre 0.2 y 0.4, el reactivo es difícil. Entre 0.4 y 0.6, decimos que tiene una dificultad media. Entre 0.6 y 0.8, es un reactivo fácil y mayor a 0.8, es un reactivo muy fácil. Dependiendo el contexto de cada aplicación, es recomendable que un reactivo tenga un valor de dificultad que refleje la respuesta acertada de por lo menos, la quinta parte de la población total. Es decir por ejemplo, un reactivo difícil debe tener al menos un 20% de respuestas correctas y por el contrario, un reactivo fácil no debe exceder el 80% de las respuestas correctas. >> Entonces, lo esperado es que un reactivo con una dificultad adecuada, ¿cuente con valores entre 0.20 y 0.80? >> Así es. Ahora bien, el siguiente valor que nos proporciona el análisis es la discriminación. Lo que se traduce como la capacidad del reactivo para distinguir entre los alumnos que cuentan con el conocimiento o habilidad respecto a los que no. Toma como base el 27% de los puntajes menores a los que se les denomina, el grupo bajo y el 27% de los mayores, a quienes consideraremos como el grupo alto. Estos grupos se contrastan entre sí. La discriminación de un reactivo se calcula como la diferencia en dificultades por grupo. Es decir, se revisa en cada grupo, qué proporción de alumnos contestó correctamente el reactivo. Es de esperarse que un reactivo bien elaborado, sea contestado en mayor medida por los alumnos de mayor habilidad o conocimiento. >> Entonces, un reactivo que discrimina adecuadamente es un reactivo que lo contestan correctamente en mayor medida, los alumnos de alto rendimiento. Y por el contrario, ¿es contestado de forma errónea en mayor medida, por los alumnos de bajo rendimiento? >> Efectivamente. Mientras más grande sea el valor de la discriminación, más clara será la diferencia entre grupos. >> Creo que ha quedado claro lo que es la dificultad de discriminación de un reactivo. Pero, ¿hay manera de evaluar la contribución de un reactivo en la calificación de la prueba? >> Por supuesto. Para esto emplearemos un parámetro que se conoce como la correlación punto viscerial. Los coeficientes de correlación son medidas estadísticas que nos describen la relación lineal entre variables. Toman valores entre menos 1 y 1. Un valor de correlación conforme más se acerque a 1, indica que los cambios en una variable afectan directamente a la otra. Conforme estos valores se acerquen a menos 1, indican lo contrario. Cuando es cercano a 0, indica que no existe relación lineal entre las variables. Para el análisis de reactivos empleamos una correlación entre el puntaje total del examen y la selección de la opción correcta del reactivo de interés. La correlación punto viscerial es una distancia estandarizada entre las medias de aciertos de los alumnos que contestan correctamente y la media de la población, por lo que también juega un papel de parámetro de discriminación, pues es de esperarse que quienes contesten correctamente el reactivo, tengan un puntaje mayor respecto a la población. >> Entonces, en el análisis de reactivos, ¿esperamos que los valores de correlación punto viscerial sean positivos o negativos? >> Un buen reactivo es de esperarse que contribuya de una manera importante en el puntaje del examen, por lo que debe tener un valor positivo. En nuestra experiencia, consideramos que una correlación a partir de 0.15, nos indica un buen funcionamiento. >> Hasta el momento, los parámetros que hemos analizado se encuentran relacionados con la respuesta correcta, pero, ¿qué pasa con los distractores? >> Para el análisis de los distractores calculamos para cada uno de ellos, su discriminación y correlación punto viscerial. A diferencia en la respuesta correcta, es de esperarse que los distractores sean elegidos por los alumnos de menor habilidad, por loq eu la proporción de alumnos del grupo bajo que los eligen, supera a los del alto. Por otro lado, también se espera que los alumnos que seleccionan los distractores, tengan un puntaje menor que el de la población. Por tanto, los distractores en un reactivo que funciona correctamente, tienen una discriminación y correlación punto viscerial, negativa. >> Como hemos visto, el análisis psicométrico de reactivos, realizado por medio de la teoría clásica de los tests, nos permite valorar el examen que diseñamos, al mismo tiempo que podemos tener una valoración estadística de los distractores y la respuesta correcta. Esto facilita la toma de decisiones y la hace más precisa, porque podemos saber con claridad cuál elemento está fallando y cuál no. >> Además, el análisis emplea métodos estadísticos claros y conocidos y de fácil manejo y aplicación. Y con las herramientas necesarias como el SISAPRE, el análisis es más fácil. Te esperamos en el siguiente video, en el que veremos cómo se realiza el análisis con el empleo de la teoría de respuesta al ítem. [MÚSICA]
