Desde un lugar remoto, los docentes también importan.
Evidencia desde una innovación educativa en Uruguay
Por: Marcelo Perera*
La calidad de los docentes condiciona el logro de los estudiantes. Demostrarlo con datos y medir la efectividad de los docentes ha sido, durante décadas, un enigma en la investigación educativa. Las características observables de los maestros y profesores (como la experiencia, la calificación, la titulación avanzada o los puntajes en evaluaciones) explican poco de la variación en el rendimiento de los estudiantes. Frente a esto, en la última década y media ha ganado importancia un enfoque centrado en identificar directamente la contribución o “Valor Agregado” de los docentes en los aprendizajes de los estudiantes. La evidencia acumulada en estos años, en países donde se dispone de suficiente información, es clara: ningún otro aspecto medible de las escuelas es tan importante como los docentes. Aprovechando la información generada en una experiencia innovadora de enseñanza de inglés en las escuelas públicas, mostraremos que esto también es cierto en Uruguay, incluso si el profesor jamás atravesó la puerta del salón de clase.
Ceibal en inglés
La casi totalidad de los alumnos de 4º a 6º grado de las escuelas públicas urbanas de Uruguay reciben enseñanza del idioma inglés. Este logro reciente, casi silencioso, ha sido posible gracias a Ceibal en Inglés (CI), un programa de iniciación en la lengua inglesa basado en la enseñanza remota a cargo de un profesor de inglés. Este profesor remoto dirige una sesión semanal por videoconferencia con apoyo en materiales digitales, mientras que el maestro de clase dedica otros espacios semanales para el repaso. CI convive, en el sistema público, con otro programa preexistente de docencia presencial que se aplica fundamentalmente en las Escuelas de Tiempo Completo y Tiempo Extendido.
El programa CI comenzó en 2012 como un piloto. A partir de evaluaciones, la ANEP y el Plan Ceibal resolvieron su expansión progresiva al resto de las escuelas. En 2017 algo más de 260 profesores remotos, desde distintos lugares del país y del mundo (Argentina, Gran Bretaña, Estados Unidos, Filipinas), dictaban a distancia las sesiones semanales de más de 3 mil grupos en unas 600 escuelas de todo el país.
Cada año, al término del ciclo lectivo, los estudiantes son evaluados a través de una prueba adaptativa en línea. ¿Cómo les va a los alumnos bajo la modalidad remota y bajo la modalidad presencial en las pruebas de aprendizajes? Una vez “controladas” las diferentes características de las escuelas y alumnos bajo una y otra modalidad, observamos que los alumnos que participan del programa de enseñanza remota obtienen puntajes similares o ligeramente superiores en la prueba que evalúa conjuntamente vocabulario, gramática y lectura.
El Valor Agregado (VA) de los docentes remotos
El enfoque de VA propone medir la efectividad de los docentes a partir del desempeño de los alumnos en pruebas estandarizadas. Las diferencias en el grado de efectividad es la evidencia de la importancia de los maestros o profesores. En términos sencillos, la importancia de los docentes se demuestra si alumnos similares (incluso dentro de una misma escuela) pero con profesores diferentes, obtienen aprendizajes significativamente distintos.
El debate acerca de este enfoque se ha planteado en dos planos: (1) ¿el VA captura el efecto causal de los profesores o es una medida sesgada debido a la distinta composición del alumnado (sesgo de selección)? y (2) ¿el VA se relaciona con los desempeños del estudiante a largo plazo, por ejemplo en la vida adulta, o sólo da cuenta de los docentes que saben “enseñar para la prueba”?
En dos influyentes artículos Chetty, Friedman y Rockoff (2014a, b)[i] aportaron evidencia sólida en ambos planos del debate. Los autores construyeron una gran base de datos para EEUU uniendo información de 20 años de evaluaciones educativas con registros de impuestos. Mostraron que, con buenos datos, las medidas de VA exhiben un sesgo pequeño al pronosticar el impacto de los maestros en el rendimiento estudiantil. En segundo lugar, constataron que los estudiantes asignados a docentes con un alto VA tienen mayor probabilidad de asistir a la universidad, ganar mayores salarios y menor probabilidad de ser madres y padres adolescentes.
Las evaluaciones de inglés en Uruguay ofrecen una oportunidad para estimar el VA de los docentes remotos. Esto se debe a que los profesores tienen varios grupos en varias escuelas y en general cambian de escuelas de un año a otro. Esto es una ventaja para una correcta identificación del VA, disminuyendo el sesgo que ocurriría si algunos profesores son asignados sistemáticamente a grupos o escuelas con alto o bajo rendimiento.
Nuestras estimaciones, realizadas con información de 2015 a 2017 y siguiendo la misma metodología que en Chetty et al. (2014), nos permiten atribuir una importante variabilidad de los aprendizajes de inglés a la efectividad de los profesores remotos. Supongamos que ordenamos a los alumnos de menor a mayor de acuerdo a sus aprendizajes y los agrupamos en 100 grupos de igual tamaño (percentiles) y agrupamos de igual manera a los docentes en 100 grupos de menor a mayor VA. Los resultados indican que si un estudiante promedio (ubicado en el lugar 50) reemplaza un profesor ubicando en el lugar 20 por otro ubicado en el lugar 80, entonces el alumno avanzaría al lugar 58. Este impacto equivale, en magnitud, al 78% de la brecha media de aprendizajes de inglés entre las escuelas de contexto favorable y desfavorable.
El Gráfico 1 muestra en el eje horizontal el VA de los 100 grupos de docentes (percentiles) en base a la información de 2015 y 2016, mientras que en el eje vertical se presenta el puntaje promedio que obtienen los alumnos de esos docentes pero en el año 2017[ii]. La asociación positiva es prueba de que el VA de los profesores, estimado con información hasta 2016, es un buen predictor de las diferencias en los puntajes de los alumnos que estos profesores tendrán al año siguiente.
El gráfico 2 nos muestra cómo se desplaza la distribución de los puntajes de los alumnos según hayan tenido en 2017 un profesor que el año anterior se ubicó entre los lugares 90 a 100 (10% de los docentes con mayor VA) o en entre los lugares 1 a 10 (10% de los de menor VA).
Un asunto controversial es la utilidad del VA con fines de política. Sus principales detractores alegan el (reconocido) margen de error de esta medida estadística. Ahora bien, ¿cuál es el margen de error de las opciones alternativas de medición de la calidad de los docentes? Ciertamente las estimaciones de la calidad basadas en el rendimiento estudiantil no deberían constituir el único componente de ningún sistema de evaluación del desempeño docente. Aun así, la cuestión clave de política es si las medidas de VA, a pesar de sus imperfecciones, pueden proporcionar información útil para la toma de decisiones en el ámbito educativo.
Por lo pronto nos quedamos con la constatación de que, una vez que los niños están en a la escuela o en el liceo, ningún otro factor es tan importante como la calidad de los docentes. Las políticas eficaces en atraer a los mejores estudiantes a esta profesión, en darles una formación de calidad, en retenerlos y en motivarlos a lo largo de su vida profesional, a la larga serán las que permitirán un avance significativo y sostenible en la educación.
[i] Chetty, Raj, John N. Friedman, and Jonah E. Rockoff. 2014a. «Measuring the Impacts of Teachers I: Evaluating Bias in Teacher Value-Added Estimates.» American Economic Review, 104 (9): 2593-2632.
Chetty, Raj, John N. Friedman, and Jonah E. Rockoff. 2014b. «Measuring the Impacts of Teachers II: Teacher Value-Added and Student Outcomes in Adulthood.» American Economic Review, 104 (9): 2633-79.
[ii] Los valores están expresados puntajes estandarizados de la prueba de inglés, siendo 0 el puntaje promedio. Los valores positivos indican puntajes por encima del promedio y los valores negativos puntajes por debajo del promedio.
* Marcelo Perera es investigador de CINVE, profesor de la Universidad de la Republica y de la Universidad ORT. Es Doctor en Economía por la Universidad de Alcalá (España).
