Un ítem aislado no proporciona la información necesaria para evaluar a un alumno ni conforma una prueba como puede ser el caso de PISA. La elaboración de un ítem y su introducción dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.
Cuando se habla de la creación de ítems, crear un ítem, dos o cinco puede tratarse de algo relativamente sencillo, sin embargo crear ítems que se adapten a unos descriptores concretos y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.
Los ítems deben estar asociados a estímulos, lo cual conlleva cierto riesgo: en el caso de que se detecte que el estímulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.
Frecuentemente los estímulos marcan el contexto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, cómics, etc. El alumnado de hoy en día está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos, textos o anuncios, fotografías realistas, etc.
Requisitos para la construcción de ítems:
- Conocer en profundidad de los contenidos de la materia a evaluar.
- Conocer los descriptores de cada dominio o proceso cognitivo.
No dejéis de visitar la página del INEE desde donde podéis acceder a todas las preguntas y recursos liberados de distintas pruebas internacionales
También os recomendamos los tres vídeos sobre cómo construir ítems de matemáticas de David Tout: Vídeo 1, Vídeo 2, Vídeo 3
El artículo de Vicente Alcañiz y David Cervera titulado “Evaluaciones externas, mucho más que resultados. Una mirada centrada en PISA”
En los marcos teóricos de
las evaluaciones externas internacionales aparece recogida toda la
información útil y necesaria para llevar a cabo desde el diseño de la
prueba hasta su aplicación y además, de ellos dependen los análisisque
se puedan hacer del rendimiento de los participantes en las mismas.
La parte más visible de la que se compone una prueba son las preguntas (ítems) y por tanto son las que, en muchas ocasiones, son sometidas a crítica por diversos motivos. Posiblemente debidos a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Si ya has ido a la página de las preguntas liberadas del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y preguntas de la prueba internacional PISA, por ejemplo, y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que debemos de tener claro es para quién la vamos a hacer, la edad, o el nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Además, hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el marco teórico, pero sin duda la herramienta que facilita y guía la construcción y la interpretación de las pruebas es lo que denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
Os recomendamos los vídeos de David Tout: Vídeo 1 y Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits: Vídeo 1 y Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de David Tout o la de Juliette Mendelovits.
Hay muchos elementos a tener en cuenta en el diseño de una prueba: los contenidos, los objetivos, la codificación, todo lo que puede contener el marco como ya hemos visto en los recursos de ayuda de las secciones Objetivos e Ideas clave. Pero también existen otros elementos a tener en cuenta como el calendario escolar, los espacios para la prueba, la metodología de aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
La parte más visible de la que se compone una prueba son las preguntas (ítems) y por tanto son las que, en muchas ocasiones, son sometidas a crítica por diversos motivos. Posiblemente debidos a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Si ya has ido a la página de las preguntas liberadas del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y preguntas de la prueba internacional PISA, por ejemplo, y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que debemos de tener claro es para quién la vamos a hacer, la edad, o el nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Además, hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el marco teórico, pero sin duda la herramienta que facilita y guía la construcción y la interpretación de las pruebas es lo que denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
- Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.
- Procesos o competencias: Niveles de complejidad en la resolución de una tarea.
- Descriptores: Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. De cada uno de ellos se pueden construir varios ítems.
- Establecer los contenidos.
- Establecer los procesos cognitivos o grados de adquisición de la competencia.
- Determinar los descriptores.
- Determinar el peso relativo de cada casilla, donde se relacionan los contenidos con los procesos.
- Elaborar ítems específicos para cada descriptor.
- Marco teórico de PISA 2015: ciencias, matemáticas, comprensión lectora, resolución de problemas
Os recomendamos los vídeos de David Tout: Vídeo 1 y Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits: Vídeo 1 y Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de David Tout o la de Juliette Mendelovits.
Hay muchos elementos a tener en cuenta en el diseño de una prueba: los contenidos, los objetivos, la codificación, todo lo que puede contener el marco como ya hemos visto en los recursos de ayuda de las secciones Objetivos e Ideas clave. Pero también existen otros elementos a tener en cuenta como el calendario escolar, los espacios para la prueba, la metodología de aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
- Textos (continuos o discontinuos, que incluya información desestructurada)
- Gráficos, imágenes, fotografías, dibujos…
- Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
- Comentarios, notas al pie, aportaciones laterales
- Tiras cómicas
- Mapas de metro, de autobús, de ciudad, de carreteras del mundo
- Organigramas, tablas, listados
- Notas manuscritas
- Carteles, señales, propaganda, etc.
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
- YouTube
- Slideshare
- Twitter: @educaINEE
- Blog
Hay
muchos elementos a tener en cuenta en el diseño de una prueba: los
contenidos, los objetivos, la codificación, todo lo que puede contener
el marco como ya hemos visto en los recursos de ayuda de las secciones Objetivos e Ideas clave.
Pero también existen otros elementos a tener en cuenta como el
calendario escolar, los espacios para la prueba, la metodología de
aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
- Textos (continuos o discontinuos, que incluya información desestructurada)
- Gráficos, imágenes, fotografías, dibujos…
- Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
- Comentarios, notas al pie, aportaciones laterales
- Tiras cómicas
- Mapas de metro, de autobús, de ciudad, de carreteras del mundo
- Organigramas, tablas, listados
- Notas manuscritas
- Carteles, señales, propaganda, etc.
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
- YouTube
- Slideshare
- Twitter: @educaINEE
- Blog
No hay comentarios:
Publicar un comentario