Radiografía de un ítem de selección múltiple
¿Cuál es el proceso por el que pasa cada ítem antes de formar parte de una prueba del College Board Puerto Rico y América Latina (CBPRAL)? ¿Cómo este proceso nos ayuda a obtener los mejores resultados? ¿Cómo se redacta un buen ítem? ¿Cómo saber que un ítem funciona apropiadamente? En este breve artículo daremos una mirada panorámica a la parte interna (anatomía) de un ítem, su estructura, composición y desarrollo. Es beneficioso no solo para los estudiantes, sino también para que los maestros conozcan bien la estructura de un ítem. A los primeros, los beneficia en su desempeño académico en pruebas estandarizadas que utilicen este formato y, a los segundos, en la elaboración a consciencia de sus pruebas, que esperamos que sean un producto único y original.
Un ítem de selección múltiple es aquel en el cual el examinando selecciona la respuesta correcta de entre un conjunto de opciones provistas (Haladyna, 1994). En los ítems típicamente tradicionales, la estructura es sencilla: consta de un problema (premisa o enunciado) y una lista de soluciones sugeridas (opciones). El enunciado o premisa es el estímulo para obtener una respuesta y el material en que está basado el ítem (p. ej., una oración, una proposición, una fórmula, un texto, una gráfica, una tabla, un diagrama, etc.). En cambio, las opciones son las respuestas plausibles a ese estímulo. Estas, entre otros factores, ayudan a disminuir o aumentar la dificultad de un ítem, pues permiten modificar el balance de una prueba. Entre las opciones se encuentra la clave, que es la opción correcta, y los distractores, que son las opciones incorrectas, pero plausibles1. En el College Board no se proponen distractores fuera de contexto ni incongruencias, como tampoco se utilizan opciones que indiquen “ninguna de las anteriores” o “todas las anteriores”.
Según los teóricos Thomas L. Haladyna (1994) y Norman E. Gronlund (2003), hay dos formatos de ítems de selección múltiple: el tradicional (al que le estaremos prestando mayor atención en este artículo) y el de familia (que, junto con otros ítems, depende de un contexto o de un estímulo)2. Entre las consideraciones propuestas por Haladyna y Downing (2002) se recomienda tomar en cuenta las siguientes cinco categorías para redactar ítems de selección múltiple: el contenido (qué pretende medir y presentar el ítem), el formato, el estilo (cómo se presenta), la premisa y las opciones (su estructura).
En la Unidad de Desarrollo de Pruebas del CBPRAL, presentamos la premisa o enunciado del ítem en tres formatos: 1) instrucción, 2) pregunta y 3) premisa o afirmación incompleta. La respuesta correcta es incuestionable, ya sea porque se rige por las reglas y normas de la disciplina o porque dentro del contexto es la mejor contestación para ese reactivo. Cada ejercicio está basado en un contenido o tema para que el examinando pueda demostrar que conoce o domina la destreza que se evalúa. Cada ítem debe ser independiente del resto y ninguno da pista u ofrece la contestación de otro. También, dependiendo de su complejidad, cada ítem puede exigir una demanda cognitiva particular (simple o compleja, pero solo una). Además, se toma en consideración el uso correcto de las reglas gramaticales y de la puntuación, por lo que se cuida la coherencia sintáctica entre premisa y opciones.
Para una escritura correcta, un buen uso del léxico y todas las regulaciones de la norma de la lengua, se siguen las recomendaciones de la Asociación de Academias de la Lengua Española y la Real Academia Española en los ejercicios de español, y en los de inglés las de The Chicago Manual of Style y los diccionarios Merriam-Webster. Por otro lado, en los ejercicios de lectura o redacción, utilizamos una cantidad determinada de palabras para que el examinando tenga el tiempo suficiente para leer y contestar todos los ejercicios. Es importante usar un vocabulario apropiado para la población a la que se le administra la prueba y, por supuesto, también editar y examinar si los ejercicios son adecuados para esa población.
Como todo producto y creación, una prueba compuesta de ítems de selección múltiple tiene sus ventajas y desventajas. Por un lado, al utilizar ejercicios de selección múltiple en nuestras pruebas podemos mostrar adecuadamente los objetivos y el contenido de la enseñanza, distinguir con precisión los niveles de competencia de los examinandos y calificar con rapidez y objetividad, ya sea mecánica o manualmente. También nos permite el desarrollo de puntajes confiables y consistentes y nos facilita la recolección de datos para hacer análisis de ítems. En este tipo de ítem, hay cierto grado de probabilidad de que el estudiante adivine, pero su mayor desventaja es que se necesita de mucho tiempo y pericia para redactar un buen ejercicio. Como se toma en consideración la medición de los niveles de pensamiento más complejos, su redacción resulta difícil. Es por ello por lo que requerimos un equipo de trabajo amplio y experto en cada materia para la producción asertiva y la validación de este tipo de ejercicio.
El proceso para desarrollar y obtener un ítem de alta calidad comienza con la preparación de una planilla de especificaciones3 que permita establecer con anterioridad lo que la prueba debe incluir y desea evaluar; con ella se establecen los criterios para la redacción de los ítems. Además, esta contribuye a la validez de los resultados de la prueba (Verdejo y Medina, 2009: 124). Una vez preparada la planilla o tabla de especificaciones y elegido el tipo de ítem que se va a usar (selección múltiple), un especialista en la disciplina capacita a los redactores4.
Un redactor, al igual que un miembro de un comité examinador, tiene un perfil determinado: debe dominar la materia que se evalúa y ser un experto en los principios básicos de su disciplina, además de estar familiarizado con los niveles de desarrollo académico y tener buenas destrezas de comunicación escrita5. Una vez redactados los ítems, estos pasan a un comité de expertos que evalúa su calidad para que, una vez estén aprobados, el especialista los ordene y les dé coherencia a partir de los criterios definidos en la planilla de especificaciones. En una de las etapas finales, un editor externo vuelve a evaluar los ítems y los discute con el especialista para que estos pasen a la fase de diagramación y publicación. En esta última etapa, un corrector de prueba (proofreader) le da una mirada rigurosa al examen antes de que llegue a manos de los estudiantes.
Una vez administrada la prueba, comienza un nuevo proceso del cual obtenemos información valiosa de cada ítem: la evaluación y el análisis de los ítems6. En ese trayecto intenso y minucioso, los psicómetras7 estudian el comportamiento de cada ítem para esa administración y población. Con los datos estadísticos, ellos calibran el banco de ítems y hacen diversos estudios comparativos; por otro lado, los especialistas vuelven a evaluar cada ítem y sus resultados. De esta manera, garantizamos la calidad de nuestras pruebas en el CBPRAL.
La redacción de un ítem de selección múltiple es un proceso complejo, intenso y estricto. No basta con saber escribir bien ni con tener conocimiento de una materia específica, aunque ambos son fundamentales. Cada ítem está atado a un constructo con un propósito particular y se somete a un análisis exhaustivo desde su contenido hasta su formato, desde la destreza que mide hasta la confirmación de ese dato a nivel estadístico, antes de formar parte de una prueba. Por lo tanto, cuando se enfrente a una de las pruebas del College Board, tenga la seguridad de que está ante a un producto pulido, en el que cada participante ha aportado su sabiduría y en el que se ha respetado y valorado lo que cada uno de estos ítems representa para cada estudiante.
Tania A. Ramos González, Ph. D.
Gerente de pruebas de español
College Board Puerto Rico y América Latina
Agradezco a los siguientes colegas del College Board su mirada crítica: Betty Ramírez, Ramón Rivera Ocasio, Carla Mojica, William Estépar, Wadi Adames y Débora Hernández.
Referencias:
Gronlund, Norman E. Elaboración de tests de aprovechamiento. México: Editorial Trillas, 1978. Impreso.
Haladyna, Thomas M. Developing and Validating Multiple-Choice Test Items. New Jersey: Lawrence Erlbaum, 1994. Impreso.
—–. Writing Test Items to Evaluate Higher Order Thinking. Boston: Allyn and Bacon, 1997. Impreso.
Haladyna, Thomas M. y Steven M. Downing. “A Review of Multiple-Choice Item-Writing Guidelines”. Applied Measurement in Education, 15(3), (2002): 309-334. Impreso.
Rodríguez, Michael C. “Selected-Response Item Development” (Part III, Item Development and Scoring), Handbook of Test Development. Editado por Suzanne Lane, Mark R. Raymond y Thomas M. Haladyna. Nueva York: Routledge, (2016): 259-273. Impreso.
Verdejo-Carrión, Ada L. y María del R. Medina Díaz. Evaluación del aprendizaje estudiantil. San Juan: ExPERTS, 2007. Impreso.
1 La opción plausible es la que distrae al estudiante y lo atrae por diversas razones, como estas: el estudiante encuentra en la opción un error común, no domina la destreza y confunde el sentido de la pregunta, no hace una lectura cuidadosa o establece inferencias incorrectas o sin evidencia.
2 Es importante señalar que existen otros tipos de ítems que no son convencionales: por ejemplo, ítems con dos respuestas correctas o pares de respuestas correctas, en los que las alternativas son dos conjuntos de opciones y es necesario escoger la respuesta correcta de cada conjunto. Este tipo de ejercicio de seleccionar la respuesta (pareo, ítems que dependen de las respuestas de otros ítems, etc.) es cada vez más común. Para más ejemplos, ver Rodríguez (2016, 265).
3 Al elaborar una planilla de especificaciones, se debe tomar en consideración lo siguiente: área temática, el tiempo, el tipo de ítem y la cantidad de ítems, entre otros elementos.
4 Esta práctica se da principalmente en pruebas estandarizadas y es un requisito del CBPRAL.
5 Un redactor también debe conocer y seguir las políticas para el desarrollo de ítems de organizaciones que se rijan por las mejores prácticas del campo, como el College Board.
6 Algunos de los tipos de análisis de ítems más relevantes son los siguientes: índices de dificultad, discriminación del ítem, correlación de medidas de ajustes del ítem a modelos de medición y análisis diferencial del ítem.
7 Dentro de la comunidad de expertos en medición, el psicómetra es un profesional especializado en la aplicación de principios estadísticos y psicoeducativos en el proceso de construcción y evaluación de un instrumento de medición.
