Hasta tener un ítem hay que pasar un proceso muy laborioso, entre un ciclo y otro de la prueba.
Un ítem aislado no proporciona la información necesaria para evaluar a
un alumno ni conforma una prueba como puede ser el caso de PISA. La
elaboración de un ítem y su introducción dentro del conjunto de la
prueba debe permitir la medida del rendimiento de los alumnos en la
competencia evaluada; debe discriminar. De esta forma se pueden obtener
relaciones entre los diversos sistemas educativos participantes.
Cuando se habla de la creación de ítems, crear un ítem, dos o cinco
puede tratarse de algo relativamente sencillo, sin embargo crear
ítems que se adapten a unos descriptores concretos y además en un número
elevado para poder hacer una selección posterior, según los porcentajes
que se establezcan para la prueba, tanto de conocimientos como de
procesos cognitivos, ya no es tan sencillo.
Los ítems deben estar asociados a estímulos, lo cual conlleva cierto
riesgo: en el caso de que se detecte que el estímulo no es adecuado,
todos los ítems creados dependientes de él quedan anulados. Es por tanto
necesario crear un número elevado y pensado desde el principio,
adaptándose a las especificaciones de la matriz para evitar en la medida
de lo posible trabajos innecesarios, o una mala calidad de los ítems y
los estímulos.
Frecuentemente los estímulos marcan el contexto de partida, como
generalmente ocurre en Comprensión Lectora, aunque se pueden incluir
gráficos, esquemas, planos, cómics, etc. El alumnado de hoy en día está
inmerso en un mundo de información a través de Internet, por lo que gran
cantidad de información a la que se enfrentan está en ese entorno.
Podemos emplearlo como un recurso muy rico de estímulos sin olvidar
otros como folletos, textos o anuncios, fotografías realistas, etc.
Requisitos para la construcción de ítems:
- Conocer en profundidad de los contenidos de la materia a evaluar.
- Conocer los descriptores de cada dominio o proceso cognitivo.
Estos dos puntos son los que definen la matriz de especificaciones de
una prueba y por tanto es el elemento de partida para comenzar la
creación y construcción de preguntas de manera organizada.
No dejéis de visitar la página del
INEE desde donde podéis acceder a todas las
preguntas y
recursos liberados de distintas pruebas internacionales
También os recomendamos los tres vídeos sobre cómo construir ítems de matemáticas de David Tout:
Vídeo 1,
Vídeo 2,
Vídeo 3
El artículo de Vicente Alcañiz y David Cervera titulado
“Evaluaciones externas, mucho más que resultados. Una mirada centrada en PISA”
En los
marcos teóricos de
las evaluaciones externas internacionales aparece recogida toda la
información útil y necesaria para llevar a cabo desde el diseño de la
prueba hasta su aplicación y además, de ellos dependen los análisisque
se puedan hacer del rendimiento de los participantes en las mismas.
La parte más visible de la que se compone una prueba son las
preguntas (ítems) y por tanto son las que, en muchas ocasiones, son
sometidas a crítica por diversos motivos. Posiblemente debidos a que se
desconoce lo que pretenden medir, y por ello es importante no
descontextualizar una pregunta del conjunto total de la prueba. Si ya
has ido a la página de las
preguntas liberadas
del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y
preguntas de la prueba internacional PISA, por ejemplo, y habrás
observado que cada ítem se relaciona siempre con un “grado de
adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que
debemos de tener claro es para quién la vamos a hacer, la edad, o el
nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar,
etc). Hay que establecer el contenido de la prueba, las preguntas, las
técnicas a incluir, el límite del tiempo, el número de ítems. Además,
hay que considerar los contenidos y competencias que se van a
implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el
marco teórico, pero sin duda la herramienta que facilita y guía la
construcción y la interpretación de las pruebas es lo que
denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
- Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.
- Procesos o competencias: Niveles de complejidad en la resolución de una tarea.
- Descriptores: Formulaciones sintéticas de las competencias que
habrán de ser medidas por los ítems que se elaboren. De cada uno de
ellos se pueden construir varios ítems.
Para elaborar una matriz es necesario:
- Establecer los contenidos.
- Establecer los procesos cognitivos o grados de adquisición de la competencia.
- Determinar los descriptores.
- Determinar el peso relativo de cada casilla, donde se relacionan los contenidos con los procesos.
- Elaborar ítems específicos para cada descriptor.
¿Queréis haceros una idea de cómo es una
PISA? Visto todo lo anterior, por qué no empezar por el marco teórico.
En la página del INEE: “
Estudios Internacionales de Evaluación” podréis encontrar los marcos de todas las evaluaciones internacionales.
Os recomendamos los vídeos de David Tout:
Vídeo 1 y
Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits:
Vídeo 1 y
Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de
YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de
Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de
David Tout o la de
Juliette Mendelovits.
Hay muchos elementos a tener en cuenta en el diseño de una prueba:
los contenidos, los objetivos, la codificación, todo lo que puede
contener el marco como ya hemos visto en los recursos de ayuda de las
secciones
Objetivos e
Ideas clave.
Pero también existen otros elementos a tener en cuenta como el
calendario escolar, los espacios para la prueba, la metodología de
aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y
juega un papel fundamental, en cualquier evaluación externa, el
control de calidad.
Su importancia radica en garantizar que las condiciones de realización
de la prueba sean homogéneas, lo que garantiza que los resultados puedan
ser comparables ya que todos los procesos han seguido unos estándares
preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
- Textos (continuos o discontinuos, que incluya información desestructurada)
- Gráficos, imágenes, fotografías, dibujos…
- Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
- Comentarios, notas al pie, aportaciones laterales
- Tiras cómicas
- Mapas de metro, de autobús, de ciudad, de carreteras del mundo
- Organigramas, tablas, listados
- Notas manuscritas
- Carteles, señales, propaganda, etc.
O crear un contexto con varios de ellos. Al estar pensando en una
evaluación internacional, además hay que tener en cuenta en la selección
que los estímulos sean correctos y respetuosos desde el punto de vista
de la igualdad de los sexos, las creencias religiosas, las diferencias
políticas y/o culturales de las distintas sociedades.
Recordad que el contexto no tiene que ser largo, de hecho puede ser
un elemento de partida y los ítems podrán ir incrementando o añadiendo
información de contexto (observa como ejemplo el estímulo que aparece en
esta
guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del
INEE con todas las
preguntas y
recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
Hay
muchos elementos a tener en cuenta en el diseño de una prueba: los
contenidos, los objetivos, la codificación, todo lo que puede contener
el marco como ya hemos visto en los recursos de ayuda de las secciones
Objetivos e
Ideas clave.
Pero también existen otros elementos a tener en cuenta como el
calendario escolar, los espacios para la prueba, la metodología de
aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y
juega un papel fundamental, en cualquier evaluación externa, el
control de calidad.
Su importancia radica en garantizar que las condiciones de realización
de la prueba sean homogéneas, lo que garantiza que los resultados puedan
ser comparables ya que todos los procesos han seguido unos estándares
preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
- Textos (continuos o discontinuos, que incluya información desestructurada)
- Gráficos, imágenes, fotografías, dibujos…
- Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
- Comentarios, notas al pie, aportaciones laterales
- Tiras cómicas
- Mapas de metro, de autobús, de ciudad, de carreteras del mundo
- Organigramas, tablas, listados
- Notas manuscritas
- Carteles, señales, propaganda, etc.
O crear un contexto con varios de ellos. Al estar pensando en una
evaluación internacional, además hay que tener en cuenta en la selección
que los estímulos sean correctos y respetuosos desde el punto de vista
de la igualdad de los sexos, las creencias religiosas, las diferencias
políticas y/o culturales de las distintas sociedades.
Recordad que el contexto no tiene que ser largo, de hecho puede ser
un elemento de partida y los ítems podrán ir incrementando o añadiendo
información de contexto (observa como ejemplo el estímulo que aparece en
esta
guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del
INEE con todas las
preguntas y
recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
