Este documento describe las actividades involucradas en la etapa de operacionalización para el desarrollo de pruebas de evaluación del aprendizaje de idiomas. Esta etapa incluye la selección y especificación de tareas, la escritura de las tareas de la prueba y la estructura de la prueba. Explica cómo desarrollar especificaciones de tareas, tareas de prueba auténticas y comparables, y un plan (blueprint) para la estructura general de la prueba. El objetivo es crear mediciones confiables que permit
07 procedimientos para el desarrollo de pruebas (operacionalización)
1. PROCEDIMIENTOS PARA EL DESARROLLO
DE PRUEBAS: OPERACIONALIZACIÓN
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014
Prof. Yris Casart
ycasart@usb.ve
2. PROPÓSITO DE LA PRESENTACIÓN
Exponer las actividades que forman parte de
la etapa de operacionalización (Selección,
especificación y escritura) y sus respectivos
productos:
Especificaciones de las tareas
Tareas de la prueba
Estructura de la prueba
Prueba
3. OPERACIONALIZACIÓN
Segunda etapa del proceso de desarrollo de
pruebas.
Se emplean los componentes de la
declaración de diseño para desarrollar las
especificaciones de las tareas, las tareas, la
estructura de la prueba y la prueba.
Tarea = unidad elemental de la prueba
(Bachman y Palmer, 1996)
4. DEFINICIÓN DE TAREA
“actividad que involucra a los individuos en el uso
del lenguaje con el propósito de lograr una meta
particular o un objetivo en una situación particular”
(p. 44)
Una prueba debe constar de tareas que se
correspondan con las tareas de uso de la lengua
objeto (actividades en situaciones).
(Bachman y Palmer, 1996)
5. Características de los
tipos de tarea del TLU
(autenticidad, interactividad,
confiabilidad)
Tarea de la
prueba
Definición de
constructo
(validez de
constructo)
Propósito(s)
de la prueba
(impacto)
Recursos
disponibles
(practicidad)
( Diagrama 9.1: Consideraciones de los componentes de diseño y de las
cualidades en el desarrollo de las tareas de la prueba, p. 172).
6. ESPECIFICACIONES DE LAS TAREAS
Para cada tipo de tarea se debe indicar:
Propósito de la tarea
Definición de constructo
Características del ambiente (situación)
Tiempo asignado
Instrucciones
Características del input, de la respuesta y la
relación entre ambos.
Método para la asignación de puntaje
(Bachman y Palmer, 1996)
7. ESTRATEGIAS PARA DESARROLLAR LAS TAREAS
Modificar tareas de uso de la lengua meta:
Adaptaciones menores: redactar una carta en
respuesta a una carta de reclamo.
Modificaciones: elaborar un esquema o un párrafo
introductorio en lugar de una monografía.
Crear tareas originales:
Cuando las tareas de uso de la lengua no son
apropiadas para una prueba se toman las
características distintivas.
Cuando no hay un ámbito de uso definido.
(Bachman y Palmer, 1996)
8. CONSIDERACIONES SOBRE LAS ESTRATEGIAS
Ambas estrategias pueden producir tareas
(pruebas) útiles, pero depende de la situación y
de la declaración de diseño.
Lo importante es mantener las características
distintivas de las tareas para que exista una
correspondencia entre las tareas de la prueba y
las de uso de la lengua meta.
El objetivo es obtener mediciones confiables
sobre las cuales se puedan hacer inferencias
válidas acerca de la habilidad para poder tomar
decisiones justas y justificadas.
(Bachman y Palmer, 1996)
9. ESTRUCTURA DE LA PRUEBA: BLUEPRINT
Consta de dos partes:
Especificaciones de las tareas
Descripción de la estructura de la prueba:
Número de partes, número de tareas por parte
Prominencia de cada parte y tarea
Secuencia de las partes y de las tareas
El blueprint es la base para construir la
prueba.
(Bachman y Palmer, 1996)
10. PRUEBAS COMPARABLES
A veces es necesario o deseable crear
pruebas comparables ( versiones).
Para medir el progreso en un curso de instrucción
Para no usa la misma prueba por razones de seguridad
Aunque sean comparables, no sabremos si
arrojan mediciones equivalentes si no las
administramos y analizamos los resultados.
Pero “si el constructo y las características de
las tareas no son comparables, la
equivalencia estadística no dice mucho”
(Bachman y Palmer, 1996)
11. USOS DE LAS ESPECIFICACIONES Y EL BLUEPRINT
Como guía para elaborar formas paralelas.
Para generar un banco de tareas (ítems)
Para evaluar las intenciones de quienes
desarrollan la prueba.
Para evaluar si las especificaciones y el
blueprint se corresponde con la prueba.
Para evaluar la autenticidad de la prueba.
(Bachman y Palmer, 1996)
12. REFERENCIAS
Bachman, L. and Palmer, A. (1996). Language
Testing in Practice: Designing and
Developing Useful Language Tests. Oxford,
UK: Oxford University Press.
13. Capítulo 10: Preparación de instrucciones
efectivas.
Capítulo 11: Método de asignación de
puntaje.
Capítulo 12: Administración de las pruebas.
Métodos alternativos de evaluación.
Elaboración y análisis de ítems de selección
simple.