Siguiendo con lo que plantea Sebastián me gustaría hablar un poco sobre las evaluaciones planteadas, pero primeramente me gustaría que quedara claro que no es en contra del Múltiple Opción (herramienta de evaluación considerada validísima por gran parte de la academia, pero que su mal uso provoca degradación en la enseñanza) sino de lo mal planteadas que están este tipo de pruebas en el 90% de las preguntas de las pruebas de IIS.
A continuación punteo algunas opiniones (no sólo mias sino de la academia) basadas en lecturas de documentos sobre cursos que dicta nuestra propia UdelaR a docentes para mejorar la calidad de las evaluaciones (el cual, anecdóticamente, les cuento que tomé):
1) A mi parecer, la dificultad de muchas preguntas radican en "confundir al estudiante" sin además tener en cuenta lo perverso que resulta la técnica de "respuestas en cadena" (la típica a) y b) y c) y...) donde se termina penalizando con puntos negativos por responder cosas correctas. Con respecto a esto les pregunto: ¿cuál termina siendo el objetivo de estas evaluaciones?
2) Sobre las preguntas del tipo "una opción es correcta", "2 opciones son correctas", etc. me pregunto nuevamente: ¿qué se puede evaluar con esto? la respuesta les sorprenderá: ABSOLUTAMENTE NADA. Este tipo de preguntas no sirven para evaluar el conocimiento del estudiante en lo más mínimo. ¿Por qué? Imagínense que pienso que la opción más errónea de todas es la correcta, en el parcial seleccionaría la opción "Sólo una opción es correcta" cuando ni siquiera no sólo no tengo idea cuál es sino que estoy convencido de que es una falsísima.
Haladyna, Dowing y Rodriguez (2002) sistematizaron 31 directrices sobre la redacción de los ítems en una prueba MO, de donde se plantea que, para que una evaluación MO sea no sólo justa sino válida, cada pregunta planteada debe cumplir con los siguientes ítems:
- Cada ítem debe reflejar un contenido específico (hecho, concepto, procedimiento, etc).
- El contenido evaluado en cada ítem debe ser relevante para el aprendizaje; debe evitarse los contenidos triviales.
- No emplear contenidos literales de textos o materiales didácticos. De esta manera se evita evaluar aprendizajes meramente memorísticos.
- Evitar los ítems concatenados. El contenido de cada ítem debe ser independiente de los ítems restantes.
- Evitar los contenidos excesivamente específicos, así como los excesivamente generales.
- Evitar preguntar sobre contenidos que puedan ser susceptibles de opinión.
- Evitar preguntas que puedan inducir a error, denominadas comúnmente preguntas “engañosas” o “tramposas” (trick items).
- Emplear un vocabulario apropiado para la población que se desea evaluar.
3) ¿Qué plantean los que estudian evaluación sobre las preguntas múltiple opción tipo 'items K' (K afirmaciones y respuesta correcta formada por combinación de las mismas?
"Se debe evitar el empleo de los denominados "ítems K". Estos son ítems complejos, que contienen una lista de posibles alternativas de respuesta (alternativas primarias) y una lista de combinaciones de las respuestas primarias (alternativas secundarias). El estudiante debe seleccionar la respuesta de la lista de alternativas secundarias. El empleo de este tipo de ítems suele tener efectos en las propiedades métricas del instrumento aplicado a la población, tales como disminución del índice de dificultad y del índice de discriminación de los ítems (Albanese, 1993; Dawson-Sanders, Nungester y Downing, 1989; Rodriguez, 1997). La disminución del índice de dificultad puede ser valorada como algo bueno o malo dependiendo del grado de dificultad de la prueba deseado por el autor de la misma. Pero dado el efecto observado sobre el índice de discriminación se desaconseja el uso de estos ítems complejos."
5) Sobre la opción "Ninguna de las anteriores son correctas" qué dice la academia?
"La presencia de Ninguna de las anteriores inhibiría estas conductas. Además de que, también motivaría al estudiante a analizar más críticamente las restantes alternativas, en lugar de solamente seleccionar la que le parezca más plausible. Para ítems que, en
ausencia de esta opción, presenten niveles de dificultad más elevados Frary no recomienda su inclusión. La inclusión de Ninguna de las anteriores como alternativa correcta abre la posibilidad de premiar una respuesta incorrecta (Gross, 1994). Por ejemplo, ante la pregunta ¿Cuál es la capital del país....? Un estudiante puede seleccionar Ninguna de las anteriores o bien porque sabe cuál es la capital y ésta no figura en la lista o bien porque cree -erróneamente- saber cuál es la capital y esta no figura en la lista. En cualquier caso obtendrá el crédito correspondiente."
6) Qué pasa con la opción todas las anteriores son correctas?
"El uso de esta alternativa también es controvertido. La revisión de Haladyna y Downing (1998a) muestra que puede aumentar el índice de dificultad y disminuir el de discriminación."
Podría estar un buen rato marcando errores (y horrores) que están presentes en nuestras evaluaciones en este curso, pero prefiero dejarles el siguiente documento realizado por la Unidad de Enseñanza en conjunto con la Facultad de Química donde podrán encontrar desde varias fuentes y citas que hago en esta publicación hasta herramientas que ayudan a medir qué tan bien o qué tan mal evalúa una pregunta dependiendo sus resultados (independientemente de su dificultad, aclaremos que se puede tener una pregunta difícil pero que evalúa verdaderos conocimientos). Además podrán encontrar información sobre cómo elegir distractores entre otros.
Espero que todo este debate ayude a mejorar la forma en la que somos evaluados. Cualquier duda para charlar alguna de estas entradas estoy a disposición.
Saludos,
Leandro