En el seminario «Educar con Evidencia», presentado por el Ministerio de Educación en Chile, di esta presentación sobre porque las evaluaciones son tan importantes y cómo podemos sacar la mejor ventaja de ellas.
¿Cómo obtener lo mejor de las evaluaciones de impacto en educación?
1. ¿Cómo obtener lo mejor de
las evaluaciones de impacto
en educación?
David Evans
Banco Mundial
@DaveEvansPhD
2. Hay una crisis global de
aprendizaje.
Resolverla requiere aprender
a mejorar el aprendizaje.
3. Los años de escolarización no son lo mismo que aprender
Promedio de años de escolaridad de 25-29 años, sin ajustar y ajustado por aprendizage
Añosdeescolaridad
WDR 2018
0
2
4
6
8
10
12
14
16
5. Tenemos más evidencia sobre cómo
mejorar el aprendizaje que nunca.
Evans & Popova 2016; WDR 2018
0
50
100
150
200
250
300
1980 1984 1988 1992 1996 2000 2004 2008 2012 2016
Evaluacionesdeimpactocon
resultadosdeaprendizaje
299 estudios en total
19 estudios en total
6. ¡Pero aún hay mucho por aprender!
Adapted from 3ie 2015
Transferencias de
efectivo e
inscripción de
estudiantes
19 estudios
Materiales y
resultados de
aprendizaje
4 estudios
Educación
correctiva y
aprendizaje de los
estudiantes
4 estudios
8. Entregar libros de texto a
estudiantes…
KeniaSierra Leona
Sabarwal, Evans, & Marshak 2014; Glewwe, Kremer, & Moulin 2009
9. Las intervenciones pequeñas y
baratas pueden tener un impacto
sustancial y positivo
Conferencias entre
padres y maestros en
Bangladesh
Información en la
República
Dominicana
Islam 2016; Jensen 2010
13. ¿Cómo podemos obtener más
de estas evaluaciones?
1. Aprender de resultados nulos
2. Aprende sobre los mecanismos
3. Medir costos
4. Sintetizar de manera efectiva
15. ¿Qué significa un resultado nulo?
¡Tal vez la intervención fue mal
implementada!
Adapted from Glewwe & Muralidharan 2015
16. Monitoreo de asistencia en Brasil
World Bank 2014; Beuermann et al. 2015
Los laptops en el Perú
17. ¿Qué significa un resultado nulo?
¡Tal vez solo funcionó para
algunos beneficiarios!
Adapted from Glewwe & Muralidharan 2015
18. Libros de texto
Solo los de mayor rendimiento se
beneficiaron
Glewwe, Kremer, & Moulin 2009; Jukes et al. 2017
Instrucción de alfabetización
Para la identificación de palabras, solo
beneficios para niñas.
19. ¿Qué significa un resultado nulo?
¡Tal vez solo funciona con
programas complementarios!
Adapted from Glewwe & Muralidharan 2015
20. Retribución por rendimiento del docente
en Tanzania
Mbiti et al. 2018
¿Solo subvenciones? Sin impacto.
¿Solo incentivos? Poco impacto.
¿Ambos? Aprendizaje estudiantil.
21. ¿Qué significa un resultado nulo?
¡Tal vez la evaluación fue mal
diseñada!
22. Problemas de diseño de evaluación
“La tendencia a medir el impacto ha traído
consigo una proliferación de métodos
deficientes para hacerlo, lo que ha provocado
que las organizaciones desperdicien enormes
cantidades de dinero en malas evaluaciones de
impacto.”
- Gugerty & Karlan 2018
23. ¿Qué significa un resultado nulo?
¡Tal vez la intervención no
funciona!
Adapted from Glewwe & Muralidharan 2015
25. Pedir…
"¿Cuál es el mayor cambio requerido en el
comportamiento?"
"¿Qué cambios pueden hacer la mayor
diferencia en los resultados?"
Luego mide esos.
Jukes 2018
27. ¡Nadie lo comprará sin la etiqueta de precio!
Sin datos sobre
costos
56%
Datos mínimos de
costo
Buenos datos de
costo
McEwan 2015
28. ¿Cómo podemos obtener más
de estas evaluaciones?
1. Aprender de resultados nulos
2. Aprende sobre los mecanismos
3. Medir costos
4. Sintetizar de manera efectiva
Sin evaluar, no podemos saber si nuestros programas están resultando en aprendizaje para los estudiantes.
Espero que mis colegas les han convencido a ustedes del valor de las evaluaciones de impacto en educación. Most of my experience draws on Education Evaluations from low- and middle-income countries, but I strongly believe that many of the same lessons will apply.
This adjusts by ratio of a country’s TIMSS score relative to that in Singapore (which is the best performer)
EEUU: Dos anos perdidos!
Chile: 4 anos perdidos
These have probably grown, but there’s huge variation. And in some areas, like pedagogical interventions, the interventions are almost as varied, so even if you have 10 evaluations, it just means you’ve tested 5 totally different interventions, twice a piece.
USA: High achiever classes. “Minorities gain 0.5 standard deviation units in fourth-grade reading and math scores, with persistent gains through sixth grade.” https://www.aeaweb.org/articles?id=10.1257/aer.20150484
Kenya: Tracking improved outcomes for both groups. https://www.aeaweb.org/articles?id=10.1257/aer.101.5.1739
India: One dedicated hour led to gains. http://www.nber.org/papers/w22746
A veces, evaluamos un programa y no encontramos impacto. Nuestro primer instinto es decir, ¡Bueno, el programa no funcionó!
El maestro deslizaba una tarjeta en una computadora cuando ingresaban al aula. También lo harían los estudiantes. El ministerio entonces podría monitorear perfectamente la asistencia.
Pero el Ministerio sobrestimó drásticamente la capacidad técnica de las escuelas. Planearon tener el sistema en todas las escuelas para diciembre. En ese momento, lo tenían en una docena de escuelas, y finalmente abandonaron el programa.
If these are the case, then we can’t necessarily learn so much. It is beholden on us, the evaluators, to make sure these elements of the evaluation are right. And if we can’t do an evaluation right, then we shouldn’t do it.
If these are the case, then we can’t necessarily learn so much. It is beholden on us, the evaluators, to make sure these elements of the evaluation are right. And if we can’t do an evaluation right, then we shouldn’t do it.
If these are the case, then we can’t necessarily learn so much. It is beholden on us, the evaluators, to make sure these elements of the evaluation are right. And if we can’t do an evaluation right, then we shouldn’t do it.
If they don’t work, then we understand why things went wrong.
Multi-arm trials are a great way to do this, but where those aren’t possible, we can still learn.
Jukes: https://www.poverty-action.org/blog/learning-more-impact-evaluations-contexts-mechanisms-and-theories-literacy-instruction
