Discriminación y carga cognitiva: Nuevas directrices en la construcción de ítems

El desarrollo e implementación de directrices para la construcción y redacción de ítems es un campo esencial y punto de partida en la elaboración de cualquier instrumento de medición psicológica, sin embargo, su progreso histórico y presencia en libros de texto y manuales de psicometría indican que es un campo al que se le ha dedicado menor atención si se le compara con apartados como la confiabilidad, la validez o el análisis de datos, confiando la garantía de calidad a los análisis estadísticos posteriores a la aplicación para detectar los ítems con mal funcionamiento (Moreno et al., 2004), y una explicación a este hecho podría estar dada por la concepción de que la construcción de los ítems depende más del ingenio e inspiración del constructor que de la aplicación sistemática de una tecnología o lineamientos precisos para ello (Moreno et al., 2004).

Un elemento que ha permitido que los lineamientos en la construcción de ítems tomen fuerza en los últimos años es el trabajo interdisciplinar con las ciencias cognitivas en el campo de la evaluación y medición; por ejemplo, al indagar sobre qué procesos cognitivos son necesarios para dar respuesta (Bloom, 1959), o cuál es el papel de la memoria de trabajo y de la memoria a largo plazo en la elaboración de esquemas en el proceso de resolución de la tarea (Pernett, 2018).

Respecto al trabajo desarrollado por Bloom (1959), éste diseñó un sistema teórico para organizar y clasificar las habilidades y conocimientos que se alcanzan del proceso de aprendizaje, de modo que facilitara un lenguaje compartido en el ámbito de la evaluación y educación que permitiera la creación de exámenes y la investigación relacionada, además de servir como un medio para determinar la congruencia entre los objetivos, actividades y evaluaciones de los cursos (Krathwohl, 2002; Mendivelso, 2016).  En efecto, los lineamientos a la hora de construir preguntas son garantes de que sus diferentes elementos permiten establecer a qué proceso cognitivo se hace referencia, esto es, la forma en cómo se pregunta define el procesamiento cognitivo que se le exige al evaluado para la correcta resolución de la tarea propuesta. Por ello, las palabras utilizadas en cada reactivo y la forma en cómo se disponen, resultan ser parte de los lineamientos en la construcción de ítems garantizando procesos cognitivos dentro de la taxonomía de Bloom tales como el recordar, comprender, aplicar y analizar.

Por ejemplo, cuando la tarea que propone el ítem indaga por “cuál es la característica de A” invita al evaluado a un proceso cognitivo como el de recordar, donde este debe recuperar, rememorar o reconocer conocimiento que está en la memoria pues recordar se evidencia cuando se usa la memoria para producir definiciones, hechos o listados o, para citar o recuperar material.

De igual manera cuando se indica “cuál es la diferencia entre el elemento A y B”, se está invitando al evaluado un proceso cognitivo como el de comprender, particularmente el evaluado debe construir significado a partir de mensajes instructivos, y encontrar similitudes y diferencias entre los elementos que se le presentan.

Por otro lado, cuando se indica “qué procedimiento se debe aplicar según X condiciones”, se está invitando al evaluado a aplicar un conocimiento, donde debe saber cómo hacer uso de la información; utilizar métodos, conceptos, teorías, en situaciones nuevas; solucionar problemas usando habilidades o conocimientos, el evaluado selecciona, transfiere, y utiliza datos y principios para completar una tarea o solucionar un problema.

Así mismo, cuando se indica “qué características de la categoría A se relacionan con la categoría B” se invita al evaluado a fragmentar el material en sus partes constituyentes y determinar cómo estas partes se relacionan entre sí y con la estructura o propósito general, aquí el evaluado analiza la información para dar respuesta al ítem.

Ligado a ello, un desarrollo importante que conecta al campo de la evaluación y la medición psicológica con la teoría cognitiva y el desarrollo de lineamientos a la hora de construir preguntas es el papel de la memoria de trabajo y de la carga cognitiva en la resolución de tareas de este tipo. Por ejemplo, el trabajo desarrollado por Pernett (2018) establece que, para la resolución de una tarea, como lo puede ser contestar una pregunta en un examen, es importante considerar la memoria de trabajo y la carga cognitiva, definida esta última como la cantidad total de actividad mental que realiza la memoria de trabajo. Por lo tanto, se espera que el diseño del ítem esté orientado a una carga cognitiva pertinente, producto de unos diseños instruccionales de modo que los recursos en la memoria de trabajo se empleen para la construcción de esquemas beneficiados por procesos de abstracción y elaboración. En esta línea, las directrices a la hora de construir preguntas resultan elementales para la optimización de la carga mental del evaluado.

Bajo estos argumentos, tres elementos transversales en el desarrollo de los lineamientos para la construcción de ítems que se plantean en este texto son el proceso cognitivo ligado a la resolución de la tarea, la optimización de la carga mental, y la validez ligada a la discriminación psicométrica. Este último indica que, cualquier proceso evaluativo debe estar orientado a que las personas que cuentan con la habilidad que se pretende evaluar, sean las que resuelvan la tarea propuesta de manera exitosa, de modo que las personas que no cuentan con un nivel suficiente de habilidad no puedan resolver la tarea que se les propone o no de manera completa, de modo que el nivel de resolución de una tarea dependa del nivel de habilidad del evaluado. 

Puntualmente, en términos del grupo de evaluados, aquellas personas del grupo con mejores resultados, de quienes se supone cuentan un nivel de habilidad elevado, se espera que opten por la respuesta correcta en mayor proporción frente al grupo que tiene un nivel de habilidad inferior. Estos últimos, según este principio, deberían elegir en mayor proporción alguno de los distractores o también llamados opciones de respuesta incorrectas, basados en su bajo nivel de rasgo o habilidad. 

En este sentido, para quien construye preguntas, debe ser necesario que la planeación de la tarea propuesta sea pensada según lo indica este principio, de modo que el propósito evaluativo del ítem se conecte directamente con la clave de respuesta, garantizando validez del procedimiento, pues sobre el acierto o desacierto de un ítem se realizan inferencias sobre el nivel de habilidad o de rasgo del evaluado, y a partir de ello se toman decisiones según el propósito evaluativo.

Frente a este último aspecto, estos criterios han sido establecidos por organizaciones a nivel internacional como referentes en el campo de la evaluación, tales como la International Test Commission (Itc), National Council on Measurement in Education (Ncme), American Educational Research Association (Aera), American Psychological Association (Apa), entre otros, quienes han impulsado y diseminado el empleo de estándares y directrices que orientan las prácticas de evaluación en general, y en particular las de desarrollo, adaptación, validación, administración y uso de instrumentos de medición psicológica y educativa. (Contreras, SF, pág. 14).

En efecto, al concepto de validez subyacen muchas de las recomendaciones brindadas a la hora de construir preguntas, por ejemplo, una de las  directrices descritas en Moreno & Muñiz (2004) es mantener el balance en las opciones de respuesta a nivel gramatical, sintáctico y de contenido, ya que en la medida en que hay desbalance en las opciones de respuesta, esta información generaría errores en la medición y procesos que no cuentan con garantías de validez, ya que puede que esta información dé pistas al grupo de personas del que se supone no cuentan con un nivel de rasgo o habilidad suficiente, de modo que éstas resulten brindando la clave de respuesta, y que así, el proceso evaluativo se vea afectado, pues un evaluado con un bajo nivel de habilidad ha resuelto la tarea de la que se realizan inferencias suponiendo que cuenta con la habilidad evaluada; sin embargo estarían  llegando  a la respuesta porque el ítem no cumplió con el balance adecuado y no por contar con la habilidad evaluada. También podría incumplir con la directriz con el grupo del que se supone tiene un nivel alto de habilidad, pues esta información adicional brindada por el desbalance puede generarle confusión en su proceso de respuesta y llevarle a escoger un distractor a pesar de contar con el nivel de habilidad requerido para resolver la tarea acertadamente. 

Otro ejemplo de directriz es aquella que pretende que el lenguaje utilizado en el ítems sea claro, preciso y coherente, de modo que la dificultad de la pregunta esté dada por la habilidad que requiere para que sea respondida y no porque su redacción sea poco clara de modo que para el evaluado sea confuso el comprender cual es la tarea que propone el ítem, de modo que, hipotéticamente, el grupo de evaluados con alta habilidad o rasgo que pretende indagar el ítems, podrán tener una respuesta no acertada al mismo, esto debido a como se presenta la pregunta y no porque el grupo de evaluados no tenga la habilidad o rasgo necesarios para responder de manera acertada, lo que lleva a que la inferencia que se realice sobre su habilidad o rasgo no sea adecuada y sea poco precisa, precisión que está relacionada directamente con la confiabilidad y validez de la prueba.

Errores que se traducen en dos cosas, por un lado, que la presentación del proceso cognitivo no es clara, aumentado la carga cognitiva requerida para el desarrollo del ítem, y por otra parte, que el no seguimiento de los lineamientos implica que la discriminación psicométrica, ligada a la validez del proceso, se vea afectada.

En este sentido, el desbalance de las opciones, la redacción poco clara, otras características de los ítems que no siguen las directrices planteadas con anterioridad, un elemento característico de la carga cognitiva extrínseca, descrita en el modelo propuesto por Pernett (2018) que se da cuando el material instruccional posee más información de la necesaria y puede convertirse en distractor, entorpeciendo la realización de la tarea y provocando un mayor consumo de recursos cognitivos en la memoria de trabajo, ya que no favorece la construcción de esquemas en la memoria a largo plazo, por lo tanto, no promueve la formación de conceptos (Pernett, 2018).

En conclusión, estos elementos hacen necesario que los procesos de construcción de los ítems tengan en consideración un equipo de expertos cualificados que sigan una serie de lineamientos a la hora de construirlos, que considere las diferencias y equivalencias lingüísticas, psicológicas y entre las poblaciones de interés (Hernández et al., 2020). En este caso, los lineamientos en el diseño de ítems son claves para garantizar que el proceso cognitivo de construcción del ítem sea acorde para los diferentes grupos que la prueba pretende evaluar teniendo en consideración que la resolución de una tarea de este tipo implica un uso de recursos cognitivos diferencial que depende, entre otras cosas, de las características de la tareas y como esta resulta más clara, precisa y optimizando los recursos cognitivos y es fuente de validez, por tanto, cuando se consideran estos elementos dentro de las directrices se habla de procesos de evaluación y medición con mayores evidencia de validez y confiabilidad.

Referencias

ÁngeL Contreras nIño, L. (SF) Estándares y directrices que orientan el desarrollo y adaptación de instrumentos de medición.

Hernandez, A., Hidalgo, M. D., Hambleton, R. K., & Gomez-Benito, J. (2020). International test commission guidelines for test adaptation: A criterion checklist. Psicothema, 32(3), 390-398.

Moreno, R., Martínez, R. J., & Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16(3), 490-497. 

Mendivelso, M. (2016). Construcción de pruebas psicométricas de conocimientos siguiendo la taxonomía de Bloom. En: A. Alferéz-Villarreal (Coord.), Las caras de la psicología (Documento de trabajo No. 5). Bogotá: Edición.

Muñiz Fernández, J. (2010). Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos.

Muñiz, J., & Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1).

Muñiz, J., Elosua, P., & Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157.

Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309-333.

Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50.

Pernett, M. C. (2018). Carga cognitiva en la lectura de hipertexto. Zona próxima: revista del Instituto de Estudios Superiores en Educación, (28), 42-56.

Mendivelso, M. (2016). Construcción de pruebas psicométricas de conocimientos siguiendo la taxonomía de Bloom. En: A. Alferéz-Villarreal (Coord.), Las caras de la psicología (Documento de trabajo No. 5). Bogotá: Edición.

Muñiz Fernández, J. (2010). Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos.

Muñiz, J., & Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1).

Muñiz, J., Elosua, P., & Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157.

Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309-333.

Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50.

Pernett, M. C. (2018). Carga cognitiva en la lectura de hipertexto. Zona próxima: revista del Instituto de Estudios Superiores en Educación, (28), 42-56.