La formación de los futuros profesores de educación básica en evaluación. ¿Cómo son las oportunidades de aprendizaje que ofrecen las universidades chilenas?

What Opportunities do Prospective Elementary Teachers Have to Learn About Assessment in Chile?

Marianela Navarro Ciudad1, Carla Förster2, Ivonne Méndez Child3 y Lorena Meckes Gerard4
1 Universidad de los Andes, Chile
2 Universidad de Talca, Chile
3 Mineduc, Unidad de Currículum y Evaluación, Chile
4 Consejo Nacional de Educación, Chile

Marianela Navarro Ciudad

Monseñor Álvaro del Portillo 12455 Las Condes, Santiago, Chile

mnavarroc@uandes.cl

Resumen

No es posible pensar en la calidad de la educación de un país sin considerar la preparación de su profesorado. Entre las muchas competencias que los y las docentes necesitan desarrollar, la de monitorear y evaluar el aprendizaje de los escolares es una de las más descendidas en los profesores de Chile, lo que representa un desafío para su formación inicial. El propósito de este estudio fue analizar las oportunidades de aprendizaje en evaluación reportadas por 724 estudiantes de último año de carreras de pedagogía básica, de 23 universidades chilenas, quienes respondieron a un cuestionario sobre su preparación en el ámbito de la evaluación de aprendizajes a fines de 2014. Los resultados muestran un enfoque genérico para abordar este ámbito de la formación, con escaso énfasis en las particularidades que tiene la evaluación de aprendizajes de las disciplinas que deberán enseñar, aunque equilibrando aspectos teóricos y prácticos. Dada la muestra alcanzada, la disponibilidad del instrumento, y que la cohorte estudiada se formó en un periodo previo a la publicación de los estándares orientadores de la formación inicial en Chile (2012) y de las regulaciones introducidas por la Ley 20.903, este estudio constituye una línea de base para monitorear eventuales cambios derivados de estas políticas.

Palabras clave: evaluación de aprendizajes, alfabetización evaluativa, oportunidades de aprendizaje, formación inicial docente, carreras de pedagogía

Abstract

It is not possible to think about the quality of education in a country without considering the training of teachers. Among the many skills that teachers in Chile need to develop, one of the weakest in this country is monitoring and assessing student learning. This represents a challenge for initial teacher training. The purpose of this study was to analyze the learning opportunities in assessment reported by 724 students training to be basic education teachers in the last year of their programs at 23 Chilean universities, who answered a survey about their preparation in terms of assessment of student learning in late 2014. The results show that little attention is given to the specificities of assessing the subjects they will teach, although there is a balance between theoretical and practical approaches. Given the sample studied, the availability of the instrument, and that the cohort analyzed was trained before the publication of the standards for initial teacher training (2012) and before the regulations for initial training were introduced under Law 20,903, this study constitutes a baseline to monitor possible changes as a consequence of these policies.

Keywords: learning assessment, literacy assessment, learning opportunities, pre-service teacher training, pedagogy programs

Introducción

La formación de los docentes en las competencias necesarias para enseñar a las nuevas generaciones tal vez sea la dimensión más importante para la mejora de la calidad de la enseñanza y de los aprendizajes de los alumnos (Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura, 2010). Es así como, específicamente en Chile, se ha impulsado una serie de políticas y regulaciones que buscan fortalecer la formación de profesores. Una de ellas ha sido la definición de lo que se espera que sepan y sean capaces de hacer al finalizar dicha formación, mediante la publicación de estándares para egresados de las carreras de pedagogía (Ministerio de Educación, [Mineduc], 2012). Desde 2016, estos estándares tienen un carácter obligatorio, toda vez que para lograr la acreditación – también obligatoria–, las facultades deben atender a ellos en sus perfiles de egreso y mallas. Lo mismo ha sucedido con la aplicación obligatoria de la Evaluación Nacional Diagnóstica (END) desde 2017, que mide el logro de dichos estándares, un año antes del egreso, sustituyendo la prueba INICIA para egresados, que hasta entonces era voluntaria. También es posible destacar la incorporación de un sistema de mentorías, que ayuda a la inserción de los docentes principiantes (Boerr, 2011), y la exigencia de superar un determinado puntaje en las pruebas de admisión a la universidad para poder estudiar una carrera de pedagogía, entre otras medidas establecidas por la Ley 20.903. Varias de estas medidas habían comenzado a ser adoptadas por las facultades de Educación del Consejo de Rectores (CRUCh) antes de la promulgación de dicha Ley; por ejemplo, desde 2011, estas se comprometieron a establecer 500 puntos como requisito de puntaje mínimo en la Prueba de Admisión Universitaria (PSU) para el ingreso, habían desarrollado procesos de autoevaluación obteniendo más años de acreditación que las instituciones no adscritas al CRUCh y se involucraron activamente en el desarrollo de los mencionados estándares.

Por su enorme impacto en el aprendizaje, es posible identificar la competencia de evaluar y monitorear el progreso de los estudiantes, entre las que resulta crítico desarrollar en la formación del profesorado (Black, Harrison, Lee, Marshall & Wiliam, 2004; Black & Wiliam, 2010; Deneen & Brown, 2016; Mertler & Campbell, 2015; Pastore & Andrade, 2019; Tejedor & García-Varcárcel, 2010; Torres & Cárdenas, 2010; Wiliam, Lee, Harrison & Black, 2004). En efecto, la evaluación condiciona qué y cómo se aprende (Villagra, Sepúlveda & Cerda, 2011), define las expectativas que tienen los alumnos sobre sí mismos, retroalimenta su desempeño (Black et al., 2004) y contribuye a la toma de decisiones pedagógicas por parte de los docentes (Hamilton et al., 2009; Mandinach & Gummer, 2012).

En Chile, las prácticas evaluativas de los docentes han sido identificadas por el Sistema Nacional de Evaluación del Desempeño Profesional Docente como una de las áreas más débiles (Ministerio de Educación, 2020) y, en consecuencia, también se han vuelto foco de atención tanto de las políticas de formación inicial como de los diagnósticos de dicha formación. Es así que los Estándares Orientadores para las carreras de Pedagogía Básica (Ministerio de Educación, 2012) presentan claros requerimientos de las competencias que se espera que los egresados hayan desarrollado en el ámbito de la evaluación de aprendizajes, incluyendo el dominio de las especificidades que tiene la evaluación en cada una de las asignaturas. Por su parte, el Equipo de Tarea, que por encargo del Ministerio de Educación revisó el sistema nacional de evaluación de aprendizajes, destacó la necesidad de mejorar la formación inicial docente en este ámbito (Ministerio de Educación, 2015) y, más recientemente, se han encargado y desarrollado estudios específicos sobre la formación de los docentes en evaluación de aprendizajes (Agencia de Calidad de la Educación, 2016; Gysling, 2017). Evidentemente, la atención en la formación inicial como palanca para movilizar transformaciones en las capacidades del cuerpo docente no se restringe a las competencias en evaluación de aprendizajes ni al contexto chileno, pues ha sido motivo de preocupación durante las últimas décadas tanto en Chile como en el mundo (Darling-Hammond & Bransford, 2005; Floden, 2015; National Research Council, 2010; Ruffinelli, 2016).

Alfabetización evaluativa

La alfabetización evaluativa es la competencia docente para evaluar el aprendizaje (Popham, 2009; Xu & Brown, 2016) y se considera un requisito profesional dentro del marco actual de responsabilidad de la educación pública (DeLuca, 2012; DeLuca, LaPointe-McEwan & Luhanga, 2016; Popham, 2011). Esta competencia se compone de tres dimensiones: conceptual, praxiológica y socioemocional (Pastore & Andrade, 2019), que son muy difíciles de incorporar de no ser propiciadas desde la formación inicial de los futuros profesores (DeLuca, Chavez & Cao, 2013). La primera dimensión se refiere a los conocimientos del docente respecto de qué es evaluar, por qué hacerlo, cómo evaluar, cómo analizar la información recogida y cómo reportar y comunicar efectivamente a los distintos actores los resultados. La segunda dimensión alude a la práctica evaluativa y cómo integrar los procesos evaluativos con otras prácticas de enseñanza con el fin de monitorear y gestionar el proceso de enseñanza-aprendizaje; esta dimensión tiene una componente que es específica a cada disciplina, por lo que requiere su articulación con el conocimiento didáctico de la asignatura (Grossman, 1990; Magnusson, Krajcik & Borko, 1999). La tercera dimensión (socioemocional) asume que la evaluación es una práctica social, que requiere gestionar aspectos tales como la forma y disposición del estudiante para enfrentar un proceso evaluativo; los aspectos éticos, especialmente la validez consecuencial, justicia y equidad; la responsabilidad que tiene quien evalúa; el poder e impacto de la evaluación en el compromiso del estudiante con su aprendizaje, así como en la relación profesor-estudiante que se generará (Förster & Rojas-Barahona, 2017; Prieto & Contreras, 2008; Wiliam et al., 2004). 

Estas dimensiones genéricas se expresan de modo particular en cada asignatura (Zolfaghari & Ahmadi, 2016), y forman parte del conocimiento pedagógico del contenido (Schulman, 1987). Esto constituye una exigencia mayor para la formación en el caso de los docentes de educación básica, que enseñan más de una asignatura, especialmente si se considera no solo la dimensión conceptual, sino también la práctica (Grossman, 1990).

Problemas identificados en las prácticas de evaluación de los docentes escolares  

A nivel internacional, la investigación de las prácticas de evaluación de aprendizaje en el ámbito escolar ha revelado que predomina un enfoque en que la evaluación se concibe como disociada del proceso pedagógico, y se enfatiza la memorización de contenidos (Celman, 2005; Goubeaud, 2010; Organisation for Economic Co-operation and Development, [OECD], 2005; Prieto & Contreras, 2008; Sanmartí, 2007). Otro problema identificado es el uso de la evaluación y, específicamente, la calificación como un instrumento de control (Torres & Cárdenas, 2010). Adicionalmente, en Latinoamérica se ha observado que las prácticas de retroalimentación son más valorativas que descriptivas y, por lo mismo, proporcionan escasa orientación (Ravela, 2009). También se ha reportado un efecto negativo en los estudiantes de bajo desempeño (Black et al., 2004), pues se tiende a destacar el error sin aprovecharlo para potenciar el aprendizaje (Torres & Cárdenas, 2010). Asimismo, se privilegian las evaluaciones que valoran y promueven habilidades cognitivas simples (Black et al., 2004; Prieto & Contreras, 2008) y los criterios de calificación explícitos son escasos (Ravela, Leymonié, Viñas & Haretche, 2014).

En un estudio comparado en el que se analizaron instrumentos de evaluación utilizados por profesores de enseñanza básica de varios países latinoamericanos, Ravela y sus colegas (2014) muestran que, en Chile, el instrumento más utilizado es la prueba escrita, con un claro predominio de preguntas cerradas, de selección múltiple, carentes de contexto y enfocadas en recuperar información. En tanto, los resultados de la Evaluación Nacional del Desempeño Profesional Docente señalan que los indicadores asociados a la evaluación de aprendizajes presentan bajo o muy bajo logro: uso del error para el aprendizaje (10%); retroalimentación a los estudiantes (22%); análisis y uso de los resultados de la evaluación (17%); diseño de los instrumentos de evaluación (34%) y coherencia entre las tareas de evaluación y los objetivos de aprendizaje (44%) (Ministerio de Educación, 2019a).

Dados los antecedentes presentados, resulta evidente que estas debilidades en las prácticas evaluativas de los profesores en Chile plantean un desafío para la formación de las nuevas generaciones de docentes.

La evaluación de aprendizajes y la formación inicial docente 

Se puede hipotetizar que las debilidades encontradas en los profesores en ejercicio derivan en alguna medida de una formación universitaria deficiente en la competencia de evaluar el aprendizaje. Al respecto, la evaluación ha sido históricamente un área descuidada en las carreras de pedagogía, con poca investigación para apoyar la formación de los futuros profesores en esta competencia docente (DeLuca, 2012).

Los datos de la prueba END indican que, para el estándar de evaluación, los estudiantes de pedagogía básica alcanzan un 55% de logro, mientras que en el ámbito de reflexión sobre la práctica pedagógica –que incluye habilidades clave en el proceso de evaluación como el análisis y la toma de decisiones (Hamilton et al., 2009; Mandinach & Gummer, 2012; Ministerio de Educación, 2018)– alcanzan un 47% de logro (Ministerio de Educación, 2019b). Estos resultados aportan poca información respecto de cuán satisfactorio es el nivel de conocimientos y habilidades en cada caso, puesto que no es claro si la medición permite comparar directamente los datos para los distintos estándares evaluados y no se establece un puntaje de corte que defina el mínimo aceptable.

Un estudio descriptivo realizado por la Agencia de la Calidad de la Educación (2016) sobre una muestra de catorce carreras de Pedagogía en Educación Básica en Chile aporta más información sobre la FID en el ámbito de la evaluación del aprendizaje. El estudio evidencia que estas carreras cuentan mayoritariamente con un solo curso de evaluación dentro de todo el plan de estudio. Si bien hay contenidos de evaluación dentro de los cursos de las didácticas y, en algunos casos, dentro de la práctica, estos no son temas prioritarios y la articulación entre estas asignaturas es escasa. Asimismo, el estudio plantea que el único curso de evaluación que suelen ofrecer las carreras de pedagogía en Chile se caracteriza por ser excesivamente teórico o falto de profundización en el proceso de recolección de evidencias, en el análisis de resultados y en la toma de decisiones pedagógicas. Según el estudio, estas carencias se producen principalmente por falta de oportunidades a lo largo de la carrera para aplicar, reiterada y progresivamente, los diseños teóricos aprendidos.

Lo anterior no sucede solo en Chile. Xu y Brown (2016), en una revisión sistemática de 100 estudios a nivel internacional, señalan que muchos programas de formación docente ofrecen solamente un curso de evaluación de un semestre que proporciona una introducción general, que suele estar cargado de teoría y desconectado de las prácticas reales de evaluación de aula.

Si bien el curso de evaluación de la FID en Chile, en general, presenta un énfasis en la función formativa de la evaluación, en la práctica el foco está puesto en el diseño de instrumentos y no en la retroalimentación descriptiva a los estudiantes, elemento fundamental de la evaluación formativa (Gysling, 2017). Asimismo, los instrumentos de evaluación que se diseñan no se aplican, de modo que no se contrastan empíricamente, ni se analiza la información sobre el aprendizaje que se puede obtener de la aplicación. Lo anterior, según Gysling (2017), se agrava pues las prácticas profesionales distan de ser un espacio en el que los estudiantes puedan aplicar lo que se comunica teóricamente en la universidad. 

En síntesis, de acuerdo con los antecedentes analizados, las oportunidades que se ofrecen a los estudiantes de Pedagogía Básica para aprender y desarrollar sus competencias de evaluación de aprendizajes no son suficientes para formar profesores competentes y alfabetizados en evaluar el aprendizaje (Coombs, DeLuca, LaPointe-McEwan & Chalas, 2018).

Las oportunidades de aprendizaje de los futuros profesores

Las oportunidades de aprendizaje (ODA) hacen referencia a insumos y procesos de enseñanza que influyen en el logro de los aprendizajes previstos. La oportunidad para aprender puede vincularse con el contenido trabajado, con la cantidad de tiempo que los estudiantes están involucrados en actividades destinadas a su aprendizaje y también con la calidad de la enseñanza (Elliot & Barlett, 2016; Kurz, 2011). De los elementos que, según estos autores, componen las ODA, el tiempo y el contenido tienen un tamaño de efecto modesto respecto del aprendizaje de los estudiantes, mientras que la calidad de la enseñanza tiene un efecto de moderado a grande (Kurz, 2011).

Las oportunidades para aprender pueden darse a nivel del currículum prescrito o intencionado, que luego requieren concretarse en el currículum implementado. Para indagar sobre las ODA en el nivel escolar han sido frecuentes los estudios que analizan el currículo prescrito y los textos de estudio; y en la formación universitaria, los que analizan las mallas curriculares y programas de estudio. Este análisis puede aportar luces sobre las dimensiones de tiempo y contenido (por ejemplo, número de cursos, de objetivos de aprendizaje explícitos focalizados en un determinado contenido) en el currículo intencionado. Esta es la aproximación que han tenido los análisis de las mallas curriculares de la formación inicial de docentes en Chile para estudiar sus oportunidades de aprendizaje (Cofré et al., 2010; Sotomayor, Parodi, Coloma, Ibáñez & Cavada 2011; Varas et al., 2008).

Estudiar y medir las oportunidades de aprendizaje efectivas requiere trascender el currículo prescrito y abordar el currículum implementado. Ello presenta diversos desafíos, entre otros, abarcar simultáneamente las dimensiones de cobertura del contenido, tiempo instruccional y calidad de la enseñanza, y lograr hacerlo de modo confiable (Elliot & Barlett, 2016). Bitácoras y encuestas a los educadores, reportes de los estudiantes sobre sus experiencias de aprendizaje en entrevistas y cuestionarios, observación y codificación de las clases y análisis de los trabajos realizados por los estudiantes, han sido aproximaciones metodológicas para su estudio (Floden, 2002; Klette & Hammerness, 2016). Aun cuando el reporte de los propios estudiantes sobre su experiencia formativa en encuestas puede presentar limitaciones, ya que, entre otros factores, está mediado por la memoria, resulta alentador que el reporte de los estudiantes muestra correlaciones positivas con los resultados de aprendizaje (Floden, 2002). En efecto, en el ámbito de la formación de profesores, el estudio desarrollado por König, Ligtvoeta, Klemenza y Rothland (2017) en 37 programas de universidades austríacas y alemanas, encontró que las ODA tanto teóricas como prácticas, medidas a través de cuestionarios a los estudiantes, eran predictivas de sus resultados en una prueba que evaluaba su conocimiento pedagógico en las áreas de planificación, adaptación de la enseñanza a la diversidad y –muy relevante para nuestro estudio– también en evaluación de aprendizajes.

En Chile también se han estudiado las ODA de los futuros profesores mediante cuestionarios aplicados a estos para indagar sobre su experiencia formativa en la disciplina de Lenguaje (Sotomayor-Echeñique et al., 2013) y para contrastar las oportunidades para aprender determinadas prácticas docentes en distintos cursos de la malla (Müller, Álamos, Meckes, Sanyal & Cox, 2018).

Propósito e interrogantes que guían el estudio

En Chile, los estándares para la FID de educación básica (Ministerio de Educación, 2012) definen expectativas respecto de lo que debe saber y saber hacer un egresado de pedagogía en el ámbito de la evaluación de aprendizajes, entre otros. Sin embargo, no entregan orientaciones a las instituciones formadoras de profesores respecto de su implementación ni especifican qué ODA se requieren ofrecer para desarrollar dichas competencias. El presente estudio se focaliza precisamente en indagar sobre las ODA requeridas para lograr los estándares relativos a evaluación de aprendizajes mediante un cuestionario para estudiantes de Pedagogía Básica.

En síntesis, investigar sobre los procesos formativos de los futuros profesores para desarrollar su competencia evaluativa resulta relevante por ser esta un área deficitaria en el desempeño de los docentes en ejercicio y por su incidencia en el aprendizaje de los escolares (Black et al., 2004; Black & William, 2010; Tejedor & García-Varcárcel, 2010; Torres & Cárdenas, 2010). Pese a su importancia, en Chile los estudios sobre el tema son aún escasos. El propósito de este trabajo es analizar las ODA sobre evaluación de aprendizajes reportadas por los futuros profesores de educación básica durante su formación universitaria.

Asimismo, se busca responder a las siguientes interrogantes: ¿Cómo se comparan las oportunidades para aprender sobre evaluación con las ODA globales de la formación inicial de docentes de Educación Básica al interior de cada institución formadora? ¿Predomina un enfoque teórico o práctico en estas oportunidades de aprendizaje? ¿Enfatizan conocimientos y habilidades generales referidas a la evaluación o las particularidades que presenta la evaluación en cada disciplina? ¿Son estas ODA diferentes entre instituciones que pertenecen al CRUCh versus las que no son parte de este organismo? Todas estas preguntas se abordaron desde el reporte de los estudiantes de Pedagogía Básica en Chile.

De acuerdo con la literatura revisada y las preguntas de investigación, se plantean las siguientes hipótesis: las ODA en evaluación son más bajas que las ODA globales de la formación inicial docente en cada una de las instituciones. Las ODA en evaluación ofrecidas por las instituciones formadoras de profesores de educación básica en Chile presentan un énfasis teórico, por sobre las ODA prácticas en el ámbito de la evaluación de los aprendizajes. Las ODA en evaluación ofrecidas por las instituciones formadoras de profesores de educación básica en Chile presentan un énfasis general por sobre un enfoque específico en la evaluación de las disciplinas que los docentes enseñarán. Finalmente, las ODA en evaluación reportadas por los estudiantes de pedagogía difieren según la pertenencia de su institución al CRUCh.

La relevancia del estudio radica en la oportunidad de contar con evidencia empírica que describe las oportunidades de aprender acerca de evaluación que reportaban los estudiantes de Pedagogía Básica antes de la introducción de las políticas nacionales en el ámbito de la FID y antes de que este fuera un foco de interés de estas. Los resultados que acá se reportan constituyen así una línea de base para monitorear la evolución de las ODA ofrecidas por la FID en materia de evaluación de aprendizajes.

Metodología

Diseño

La metodología se enmarca en un diseño descriptivo y comparativo que tiene como propósito caracterizar las ODA en la FID en el ámbito de la evaluación del aprendizaje de acuerdo con el reporte de los estudiantes. El estudio corresponde a un análisis secundario de datos del proyecto FONDEF D11|1109 (Elaboración, validación y aplicación de instrumentos de diagnóstico de oportunidades de aprendizaje para el logro de los estándares nacionales en la formación de profesores de educación básica).

Población y muestra

La población correspondió a 47 universidades chilenas que impartían carreras de Pedagogía Básica con programas presenciales y de modalidad diurna. Se invitó de manera censal a todas estas universidades a participar del estudio. A través de una plataforma web, cada institución interesada debía inscribir a sus estudiantes que estuvieran cursando el último año de formación. Para resguardar la representatividad de cada institución, solo entraron en la muestra aquellas universidades que completaran una tasa de respuesta del cuestionario de al menos 60% de los estudiantes inscritos. De este modo, se incluyeron 23 instituciones distribuidas a lo largo de Chile, con un total de 724 estudiantes, quienes respondieron el instrumento a fines del año 2014. Debido al carácter voluntario, el muestreo no pretendía ser representativo de la población. Sin embargo, se obtuvo una muestra de características similares a la población en cuanto a distribución geográfica de las instituciones y a su adscripción o no al CRUCh. 

Se cubrió el 49% de las instituciones, de las cuales 45,7% (n=11) corresponden a universidades pertenecientes al Consejo de Rectores (CRUCh) y 54,3% (n=12) no pertenecen a este organismo. Esta distribución era muy similar a la del país en que un 42,6% de las instituciones FID eran del CRUCh y un 57,4%, no. A modo descriptivo, se reportan diferencias estadísticamente significativas a favor de las instituciones del CRUCh en cuanto a puntaje PSU de ingreso (t (722)= 5,90, p<0,001) y años de acreditación (t (722)=8,97, p<0,001) (tabla 1). Asimismo, se contó con instituciones formadoras de profesores distribuidas a lo largo de Chile, norte, centro y sur del país con un 11%, 57% y 32% respectivamente, muy semejante a la distribución del universo de instituciones en el país (11%, 54% y 35%, respectivamente).

Tabla 1
Caracterización de las instituciones que conforman la muestra del estudio

Institución

n

Zona del país

Tipo de institución

Descripción

Puntaje promedio PSU y DE

Promedio años acreditación y DE

1

90

Centro

CRUCh

Se trata de universidades estatales y públicas no estatales con presencia en todas las regiones de Chile. Tienen un sistema único de admisión, derecho a aportes directos del Estado y a crédito universitario. Los rectores tienen sesiones ordinarias en las que discuten temas pedagógicos y de gestión (Consejo de Rectores1).

490,44 (192,46)*

5,03 (0,87)*

2

13

Sur

3

18

Sur

4

39

Sur

5

22

Norte

6

37

Norte

7

15

Sur

8

26

Centro

9

15

Norte

10

21

Sur

11

35

Centro

Subtotal

331

 

 

 

 

 

12

19

Centro-Sur

No CRUCh

Se trata de universidades privadas del país. Pueden o no estar adscritas al sistema único de admisión a las universidades chilenas del consejo de rectores (Consejo de Rectores).

401,60 (212,26)*

4,12 (1,67)*

13

94

Centro-Sur

14

33

Centro-Sur

15

22

Centro

16

51

Centro-Sur

17

18

Centro

18

22

Centro

19

37

Centro

20

22

Centro

21

27

Centro

22

16

Centro

23

32

Centro

Subtotal

393

 

 

 

 

 

Total

724

 

 

 

 

 

Instrumento

El instrumento corresponde a un cuestionario de ODA conducentes al logro de los conocimientos pedagógicos generales y disciplinarios para la enseñanza en Educación Básica definidos en los Estándares Orientadores de la FID (Ministerio de Educación, 2012). Cuestionarios para indagar sobre oportunidades de aprendizaje en la formación inicial también han sido utilizados en otros países (por ejemplo, Klette & Hammerness, 2016).

Este cuestionario constó de 211 ítems que abordaban ODA de conocimientos pedagógico generales (sobre el currículum escolar, evaluación, aprendizaje y desarrollo, interacción pedagógica, diseño y planificación de la enseñanza) y en conocimientos disciplinarios y de didáctica específica en las áreas de Matemática, Lenguaje, Ciencias Naturales, Historia y Ciencias Sociales, mediante una escala de respuesta numérica de cuatro puntos, donde 1 representaba Ninguna o muy escasas ODA y 4, Amplias o muchas ODA. El instrumento fue respondido a través de una plataforma web.

Para construir los ítems, se diseñó una matriz de 4 cuadrantes, donde se cruzaron (1) conocimientos pedagógicos generales y (2) conocimientos pedagógicos del contenido con (3) oportunidades de aprender teóricas y (4) prácticas. Las primeras dos categorías conceptuales se basan en las de Schulman (1987): conocimiento pedagógico general (GPK, por su sigla en inglés) y conocimiento pedagógico del contenido (PCK, por su sigla en inglés). Distinguir entre evaluación formativa y sumativa podría ser un ejemplo de conocimientos generales sobre evaluación de aprendizajes, mientras que identificar el tipo de evaluación más apropiada para una determinada habilidad de pensamiento científico sería un ejemplo del conocimiento pedagógico del contenido, más estrechamente vinculado con la enseñanza de la disciplina. Las otras dos categorías responden al tipo de aproximación a la formación de docentes: de tipo teórica o discursiva, sustentada en modelos de formación en los que se concibe que se aprende a enseñar a partir de una sólida formación conceptual: hay que saber sobre docencia para hacer docencia (Korthagen, 2010). Esta aproximación teórica se puede evidenciar en las ODA caracterizadas por lecturas o clases expositivas sobre evaluación, mientras que las de tipo práctica requieren exponer a los estudiantes a experiencias prácticas de ensayo o de aplicación en centros escolares, bajo la premisa de que es necesario hacer docencia para saber sobre docencia (Korthagen & Kessesls, 1999). Desde esta perspectiva, el futuro profesor se involucra en actividades como, por ejemplo, analizar trabajos auténticos de escolares o diseñar y aplicar instrumentos a estudiantes. El cruce y descripción de estas categorías se presenta en la tabla 2, junto con ejemplos de ítems.

Tabla 2
Descripción y ejemplos de ítems según categoría de conocimiento pedagógico y tipo de ODA

Conocimiento pedagógico general en evaluación 

Conocimiento pedagógico del contenido en evaluación

Descripción subíndice

Mediante una aproximación teórica o discursiva

Se trata de una aproximación discursiva y de carácter general al conocimiento en evaluación, por ejemplo, estudiar o leer investigaciones referidas a la relación entre motivación y evaluación de aprendizajes, asistir a clases expositivas sobre diferentes tipos de evaluación según su propósito (2 ítems).

Se trata de una aproximación discursiva y dominio-dependiente al conocimiento en evaluación, por ejemplo, leer o estudiar errores habituales o preconcepciones de los escolares en un área disciplinar específica, leer sobre resultados de evaluaciones de habilidades de pensamiento científico de los escolares (5 ítems).

Subíndice ODA teórica: corresponde a una aproximación discursiva de los conocimientos en evaluación (7 ítems).

 

Poniendo en práctica o acercándose a la práctica

Son ODA que se caracterizan por la aplicación de conocimiento general sobre evaluación, por ejemplo, observar en un video a un profesor utilizando una estrategia para dar retroalimentación en clases distinguiendo si esta es descriptiva o valorativa, analizar los datos numéricos de una evaluación de aprendizajes (6 ítems).

Son ODA que se caracterizan por una aproximación aplicada de conocimiento dominio-dependiente sobre evaluación, por ejemplo, examinar trabajos auténticos de escolares para entender sus preconcepciones en un área disciplinaria específica, diseñar una tarea de evaluación para evaluar la comprensión de una idea fundamental en ciencias, o realizar experimentos con un alumno o un grupo de ellos para evidenciar sus preconcepciones en la misma asignatura (15 ítems).

Subíndice ODA práctica: corresponde a una aproximación aplicada de los conocimientos en evaluación (21 ítems).

 

Descripción subíndice

Subíndice ODA general: corresponde al dominio de conocimientos generales sobre evaluación (8 ítems).

Subíndice ODA dominio dependiente: corresponde al dominio de conocimientos específicos sobre evaluación en las disciplinas (20 ítems).

 

Se obtuvo evidencia de validez del instrumento mediante el juicio de expertos y del análisis de validez de constructo. El equipo de expertos que trabajaba directamente en el proyecto fue la primera fuente para analizar los ítems. En una segunda instancia, el instrumento fue examinado por expertos nacionales e internacionales (Robert Floden, Karen Hammerness, Kirsty Klette y Elizabeth Davis) externos al proyecto, especialistas en oportunidades de aprendizaje en la FID y que habían participado en iniciativas similares. Los criterios de análisis fueron: la pertinencia y alineamiento de los ítems y el instrumento en su conjunto con los hallazgos en investigaciones sobre formación de docentes y con los estándares para egresados de Pedagogía Básica (Ministerio de Educación, 2012) y también el número y utilidad de las preguntas formuladas para conformar índices consistentes.

Inmediatamente después de rendir el cuestionario piloto, se realizaron cinco entrevistas grupales a estudiantes para recoger información acerca de las características y contenidos del instrumento y de la plataforma, se identificaron las principales dificultades de la aplicación y se recogieron recomendaciones para mejorar el proceso.

Para la validez del constructo, se realizó un análisis factorial exploratorio y confirmatorio para seleccionar los ítems de cada dimensión. Se consideraron los ítems que tenían cargas factoriales superiores a 0,3 en el factor teórico y, posteriormente, se seleccionaron los grupos de preguntas que lograban índices de ajuste lo más cercanos a un índice RMSEA menor a 0,05 y CFI superior a 0,9 (Lloret-Segura, Ferreres-Traver, Hernández-Baeza & Tomás-Marco, 2014). De este modo, las preguntas seleccionadas para la construcción de los índices fueron aquellas cuyos modelos de análisis factorial confirmatorio convergían y generaban los mejores indicadores de ajuste y que presentaran una consistencia interna adecuada (Alfa de Cronbach) tanto para el instrumento, como para las dimensiones (Nunnally & Bernstein, 1995).

En este estudio, se trabajó con los 28 ítems referidos a las ODA en el ámbito de evaluación de aprendizajes durante la formación inicial, los que se agruparon en un índice general y en cuatro subíndices obtenidos a partir de diferentes combinaciones de ítems:

Cabe destacar la robustez de los índices resultantes, pues son producto de un proceso de validación exhaustivo y riguroso, están compuestos por un conjunto de ítems y presentan valores de consistencia interna mayores a los esperados para este tipo de instrumentos.

Análisis de datos

En primer lugar, se obtuvieron promedios para cada estudiante de pedagogía en cuanto a las ODA generales en evaluación de aprendizajes y para cada uno de los subíndices expresados en la tabla 2.

Los análisis se presentan de acuerdo con las interrogantes que orientaron el estudio. Así, para responder a la pregunta de investigación “¿Cómo se comparan las oportunidades para aprender sobre evaluación con las ODA globales de la formación inicial de docentes de Educación Básica al interior de cada institución formadora?” se comparó el resultado en el Índice total de las ODA en evaluación de cada institución con el promedio global de las ODA de la formación inicial completa, reportadas por los estudiantes (corresponde al promedio de los 211 ítems que conforman el instrumento completo). Para realizar esta comparación, el puntaje obtenido en las ODA en evaluación de aprendizajes fue estandarizado, considerando la media y desviación estándar de las ODA globales de la FID por institución. Es importante señalar que se utilizaron estos parámetros institucionales pues las experiencias formativas en un ámbito determinado no se dan aisladas; en ellas intervienen diversas características con las cuales los estudiantes de pedagogía conviven al interior de sus respectivas instituciones (Calixto & Herrera, 2010). Por ello, se consideró que el mejor modo de establecer el grado en el que los estudiantes experimentaron mayores o menores oportunidades de aprendizaje en el ámbito de evaluación de aprendizajes era contrastar sus valoraciones con las emitidas para la formación recibida en su institución en los otros ámbitos, evitando agregar y comparar directamente las ODA reportadas por estudiantes de diferentes instituciones. Así, las ODA en evaluación expresadas para cada estudiante en puntuaciones Z (considerando la media y desviación estándar institucional de las ODA globales de la FID) fueron transformadas en una variable categórica, considerando los puntos de corte definidos por Cohen (1988, 1992). Los niveles de ODA en evaluación que se consideraron fueron: mucho más bajas que el promedio global de ODA reportado para la institución (≤ -0.7), más bajas que el promedio (> -0.7 y < -0.3), similares al promedio (≥ -0.3 y ≤ 0.3), más positivas que el promedio (>0.3 y < 0.7) y mucho más positivas que el promedio (≥ 0.7). Además, se analizaron posibles diferencias entre las ODA en evaluación entre instituciones pertenecientes al CRUCh y las que no pertenecen a este organismo (en adelante “no CRUCh”) mediante una prueba χ2, con un nivel de significación estadística de 5%.

Para responder a la segunda interrogante, “¿Predomina un enfoque teórico o práctico en las oportunidades de aprendizaje sobre evaluación?”, se comparó, en cada institución, el promedio obtenido en los índices de ODA teóricas y ODA prácticas en evaluación. Asimismo, se analizó cómo son estas diferencias de acuerdo con el tipo de institución CRUCh o no CRUCh. Del mismo modo, para abordar la tercera interrogante, “¿Enfatizan las ODA conocimientos y habilidades generales referidas a evaluación o las particularidades que presenta la evaluación en cada disciplina?”, se comparó para cada institución, el promedio obtenido en los índices de ODA en evaluación en conocimiento pedagógico general y las ODA en evaluación en conocimiento específico en las disciplinas. Al igual que en el análisis anterior, se examinó cómo son estas diferencias de acuerdo con el tipo de institución CRUCh o no CRUCh.

Para todos los análisis, la magnitud de las diferencias se analizó de acuerdo con el método de diferencias estandarizadas de Cohen.

Resultados

Los resultados se organizan a continuación de acuerdo con las preguntas de investigación. Respecto de la primera de ellas, “¿Cómo son las ODA en evaluación respecto de las ODA globales de la formación inicial docente de cada institución?”, encontramos que, según el reporte de los estudiantes de pedagogía, en la mayor parte de las instituciones (en 15 de las 23) la mayoría de los estudiantes reporta menos ODA en evaluación si se comparan con su reporte general para las ODA que consideran todos los ámbitos de la formación inicial. Esto se manifiesta también en la barra total de la figura 1, en la cual se observa heterogeneidad en los resultados. Así, para casi la mitad del total de los estudiantes de la muestra (48%), el reporte de oportunidades de aprendizaje resulta ser más bajo que el promedio global de oportunidades de aprendizaje en su formación inicial. Por el contrario, 36% de la muestra reporta ODA en evaluación más positivas que el promedio global de las ODA de la formación inicial. En el 16% restante de los estudiantes no se observan diferencias en su apreciación de ODA para evaluación y para la experiencia formativa en su conjunto.

Es interesante precisar que las respuestas al interior de cada institución también resultan heterogéneas, pues en todas ellas hay un grupo de estudiantes que reporta ODA referidas a evaluación más bajas y otro, más altas.

Analizando las instituciones de manera específica y de acuerdo con el método de diferencias estandarizadas de Cohen, se observa que no hay ninguna institución en la que haya un 50% o más de estudiantes que reporten ODA más altas sobre evaluación respecto de las ODA globales de la formación inicial. Las que más se acercan son las instituciones 6 (49%) y 21 (48%), la primera del CRUCh y la segunda no. Hay instituciones en las que el reporte sobre las ODA en evaluación resultó más bajo que en otras. Por ejemplo, en las instituciones 3 (del CRUCh), 12 y 23 (no CRUCh), 60% o más de los estudiantes reportaron ODA más bajas en evaluación que las oportunidades para aprender en los demás ámbitos de su formación en su conjunto. Hay instituciones –la 10 (CRUCh) y la 14 (no CRUCh)– en las que el porcentaje de estudiantes cuyo reporte para las ODA en evaluación es más positivo que la experiencia formativa en su conjunto equivale al porcentaje de estudiantes de la misma institución que presenta el patrón inverso.

Finalmente, al contrastar las ODA en evaluación versus las ODA globales y distinguiendo por tipo de institución (CRUCh y no CRUCh), no se observaron diferencias (χ2(16, N=5) = 20,0, p=0,220) (figura 1).

En cuanto a la segunda pregunta, “¿Predomina un enfoque teórico o práctico en las oportunidades de aprendizaje relativas a evaluación?” se constata que en la mayoría de las instituciones (20 de las 23) los estudiantes reportan un balance entre ambos tipos de oportunidades (d=0,03) (figura 2). Sin embargo, en algunas instituciones específicas, es posible observar diferencias, como en la institución 2 (CRUCh), en que habría un énfasis en ODA teóricas, mientras que en las instituciones 12 y 18 (no CRUCh) el énfasis estaría en las experiencias de tipo práctico. A nivel agregado, no se observaron diferencias en las instituciones CRUCh (d=0,10) y no CRUCh (d=-0,04) según el método de diferencias estandarizadas de Cohen.

En relación con la tercera pregunta, “¿Se enfatizan conocimientos y habilidades generales referidas a evaluación o las particularidades que presenta la evaluación en cada disciplina?”, el reporte de los estudiantes refleja mayores oportunidades de aprender conocimientos pedagógicos generales sobre evaluación que ODA sobre las particularidades de la evaluación en cada disciplina (d=0,92) (figura 3). Más específicamente, en 18 de las 23 instituciones analizadas se encontraron diferencias; en 10 de ellas estas son moderadas (d >0,3), mientras que en las ocho restantes las diferencias son más marcadas (d>0,7).

A nivel agregado, en instituciones CRUCh (d=0,51) y no CRUCh (d=0,53) se observa la misma tendencia ya descrita y se evidencian diferencias moderadas según el método de diferencias estandarizadas de Cohen.

Discusión y conclusiones

El propósito de este trabajo fue analizar las ODA en evaluación reportadas por los futuros profesores de Educación Básica en Chile durante su formación universitaria, buscando caracterizar si su aproximación era teórica o práctica, y si se enfocaba en elementos genéricos de la evaluación de aprendizajes o específicos de las disciplinas. También se buscó comparar el reporte de los estudiantes en instituciones formadoras según su pertenencia o no al CRUCh.

Los resultados mostraron que, para la mayoría de las instituciones de formación inicial, las ODA en evaluación reportadas por los futuros profesores de Educación Básica en Chile durante su formación universitaria en general resultaron ser más escasas que las reportadas para otros ámbitos de la FID. Este resultado es consistente con hallazgos expuestos por la literatura revisada tanto en Chile como en otros países en la que se diagnostican debilidades en la formación inicial docente en este ámbito, por ejemplo, el hecho de que la mayoría de las mallas curriculares de las carreras de Pedagogía Básica cuenta con solo un curso de evaluación, de carácter introductorio y desconectado de las prácticas de aula y de los cursos de las didácticas disciplinares (Agencia de la Calidad de la Educación, 2016; Gysling, 2017; Xu & Brown, 2016).

Otro foco de interés de nuestro estudio fue indagar sobre la componente aplicada de la práctica evaluativa en la formación (Gysling, 2017; Pastore & Andrade, 2019; Villagra et al., 2011). Respecto de la pregunta “¿Predomina un enfoque teórico o práctico en las oportunidades de aprendizaje relativas a evaluación?” el reporte de los estudiantes indica un balance entre experiencias prácticas, de aplicación y experiencias enfocadas en lo conceptual o teórico. Esto es auspicioso, pues resulta crucial que los estudiantes de pedagogía tengan oportunidades de practicar las habilidades necesarias para evaluar aprendizajes, tales como elaborar tareas de evaluación, analizar evidencias de aprendizaje, emitir juicios, retroalimentar a los estudiantes y tomar decisiones pedagógicas.

Este resultado difiere de lo planteado por Xu y Brown (2016) en su revisión sistemática, donde señalaron que, en el ámbito de la evaluación, la formación docente suele tener un énfasis teórico y poco vinculado con las prácticas de aula. Asimismo, Gysling (2017) plantea que los futuros profesores parecen no tener la experiencia de aplicar los instrumentos que diseñan con estudiantes reales. Por lo tanto, se pierde la oportunidad de que puedan juzgar la claridad de las instrucciones, identificar tipos de respuestas posibles, determinar formas de definir puntaje, discriminar distintos niveles de desempeño, proporcionar retroalimentación a los estudiantes o enunciar posibles decisiones pedagógicas. La aparente discrepancia entre estos estudios y nuestro resultado puede radicar en el modo de concebir la pedagogía de la práctica en la formación de profesores. En nuestro estudio, incluimos entre las ODA prácticas todas aquellas que podemos conceptualizar como aproximaciones a la práctica, considerando también experiencias de simulación en contextos seguros (Grossman, Hammerness & McDonalds, 2009) y no solo las experiencias en los centros de práctica o en contextos escolares auténticos. Así, incluimos entre las oportunidades prácticas las experiencias de construir instrumentos, discriminar entre distintas alternativas de retroalimentación, analizar resultados de evaluaciones reales, etc. Bajo esta perspectiva de la formación práctica, la hipótesis inicial (que las ODA en evaluación ofrecidas por las instituciones formadoras de profesores de educación básica en Chile presentan un claro énfasis teórico, por sobre las ODA prácticas) no se ve confirmada en nuestro estudio. Sin embargo, la atención al componente práctico, entendido de este modo, requiere de diseño y seguimiento en un modelo progresivo desde aproximaciones a la práctica en contextos protegidos, hasta experiencias prácticas en contextos escolares propiamente tales.

En cuanto al dominio de la evaluación desde una perspectiva más disciplinar que general, es reconocible la necesidad de que los docentes tengan conocimientos de evaluación específicos para la disciplina que enseñan, especialmente asociados con la evaluación de habilidades tales como escritura y oralidad en Lenguaje; resolución de problemas y capacidad de razonamiento en Matemática y Física; experimentación, comprensión de figuras y tablas en Ciencias, por nombrar algunos (Zolfaghari & Ahmadi, 2016). Ahora bien, las oportunidades de aprendizaje de los futuros profesores, ¿Enfatizan las particularidades que presenta la evaluación en cada disciplina o se centran en conocimientos y habilidades generales referidos a evaluación? De acuerdo con el reporte de los estudiantes, predomina un enfoque general por sobre la atención a las especificidades de la evaluación en las asignaturas que enseñarán. Es probable que este énfasis se derive de la escasa integración de la evaluación en los cursos de didáctica de las disciplinas (Agencia de la Calidad de la Educación, 2016) y también de concebir la evaluación como eminentemente sumativa, centrada en la certificación y no en el proceso de aprendizaje (Stiggins, 2004). Por otra parte, los resultados también se podrían explicar por el énfasis que históricamente han tenido los cursos de evaluación en la FID de enseñanza básica o primaria, los cuales se ha focalizado en preparar a los futuros profesores en la elaboración de instrumentos descontextualizados, desde un enfoque más psicométrico (especialmente pruebas) (Deneen & Brown, 2016; DeLuca & Klinger, 2010), sin considerar que cada disciplina tiene habilidades y conocimientos que requieren, de parte del docente, un dominio particular (Grossman, 1990; Sanmartí & Alimenti, 2004; Tacochi & Fernández, 2014). En cambio, cuando la evaluación se centra en su propósito formativo, es imposible disociarla de su enseñanza y contenido específico, pues las actividades evaluativas se constituyen en parte del proceso de aprendizaje y no en un hito separado (Wiliam et al., 2004). Se ha reportado que la estrategia de evaluación depende de las concepciones de enseñanza-aprendizaje que tenga el docente y puede afectar las representaciones estudiantiles de la asignatura y el aprendizaje de la misma (Hofstein, Mamlok-Naaman & Rosenberg, 2006; Sanmartí & Alimenti, 2004).

Si se considera que, de acuerdo con los Estándares disciplinares de Educación Básica (Ministerio de Educación, 2012) los futuros docentes de este nivel deberían dominar las particularidades de la enseñanza y de la evaluación de al menos cuatro asignaturas, estos resultados establecen una línea de base que representa una brecha y un claro desafío de mejoramiento para la formación inicial, especialmente si se considera que los resultados de la investigaciones más recientes no muestran grandes cambios en la formación, levantando una alerta respecto de cuánto se desarrolla la evaluación en los cursos didáctico-disciplinares durante la formación (Agencia de la Calidad de la Educación, 2016; Gysling, 2017). Se confirma entonces la hipótesis que señala que las ODA en evaluación ofrecidas por las instituciones formadoras de profesores de educación básica en Chile presentan un énfasis general por sobre un enfoque específico en la evaluación de las disciplinas que los docentes enseñarán.

Estudios previos en Chile han mostrado diferencias en el reporte de los egresados o estudiantes respecto de su formación, dependiendo de la selectividad de la institución en la que estudiaron (Ruffinelli, 2014). Considerando que en el periodo en que se aplicó el cuestionario, las instituciones del CRUCh habían acordado incrementar las exigencias de ingreso estableciendo voluntariamente un puntaje mínimo de admisión, haciéndose por tanto más selectivas, podría haber resultado esperable encontrar diferencias en los reportes de los estudiantes de instituciones adscritas a este organismo respecto de los que estudiaban en casas de estudio no CRUCh. Sin embargo, esto no sucedió. Para ninguno de los análisis realizados se encontraron diferencias significativas entre ambos grupos de instituciones. Este resultado es coincidente con el estudio de la Agencia de la Calidad de la Educación que revela que los patrones de formación en materia de evaluación de aprendizajes son más bien generalizados y no se distinguen entre tipos de instituciones formadoras (Agencia de Calidad de la Educación, 2016).

Como conclusión del estudio, las ODA reportadas por los estudiantes dan cuenta de una desarticulación en la formación en evaluación entre aspectos generales y disciplinares específicos, aunque hay un aparente equilibrio entre lo teórico y lo práctico. Esta desarticulación pondría en evidencia el escaso abordaje de elementos evaluativos que se hace en los cursos de didáctica de las disciplinas, lo que levanta una alerta a considerar de manera urgente en la FID. Desarrollar la competencia de evaluar el aprendizaje no depende de un curso único en la carrera, sino que cada curso de la malla debiera ser un modelo de evaluación, además de articular estos saberes evaluativos en los cursos de didáctica y práctica. A partir de los resultados de este estudio y los hallazgos de otras investigaciones realizadas en Chile, surgen nuevas preguntas a las que es necesario que quienes forman profesores de enseñanza básica presten atención: ¿Es suficiente un curso de evaluación para desarrollar la competencia de evaluar el aprendizaje? ¿Se integra de modo suficiente la evaluación en los cursos de didáctica de las disciplinas y en las prácticas profesionales? ¿Cómo lograr una sinergia de las ODA en evaluación desde las distintas asignaturas? ¿Qué impacto están teniendo las orientaciones de política pública de la FID en la formación sobre evaluación de aprendizajes?

Finalmente, estudiar y monitorear las ODA mediante las respuestas de los estudiantes en cuestionarios como el aplicado en esta investigación es una práctica reportada a nivel internacional (Klette & Hammerness, 2016). El instrumento diseñado para este estudio es una herramienta validada que está disponible2 y que tiene utilidad potencial para que las instituciones puedan hacer un seguimiento de las ODA que están ofreciendo, a partir de información recogida de forma rápida y a bajo costo.

Limitaciones y proyecciones

Una de las limitaciones del estudio corresponde a que el número de ítems entre los índices no fue equivalente;. Esto se debe a que el cuestionario completo comprendía preguntas sobre los saberes pedagógicos y disciplinarios globales que requiere un futuro profesor y no fue pensado para medir de manera exclusiva las ODA en evaluación que ofrecen las instituciones formadoras de profesores. Un segundo aspecto se refiere a la limitación de medir las ODA ofrecidas en cada programa de formación a partir del reporte de sus estudiantes, especialmente considerando las variaciones al interior de las instituciones. Como se describió, para una misma institución los reportes son heterogéneos pues hay un grupo de estudiantes para quienes las ODA en el ámbito específico de la evaluación de aprendizajes se destaca negativamente en comparación con el conjunto de la experiencia formativa mientras que, para otro grupo, no se diferencia del resto de la formación o, por el contrario, se destaca de forma positiva. Al igual que otros similares, este estudio optó por considerar el promedio de las respuestas o bien el patrón de reporte predominante al interior de cada institución. Sin embargo, resultaría de interés examinar si las diferencias en las valoraciones que hacen distintos grupos de estudiantes al reportar sobre sus ODAs se vinculan a sus características3 o si reflejan diferencias efectivas, como sería el caso si asistieron a distintas secciones para el mismo curso.

Para profundizar en la medición y análisis de las ODA en evaluación durante la formación inicial y validar el uso de este instrumento, que se basa en el reporte que sobre ellas hacen sus estudiantes, se podría estudiar si este reporte presenta una relación con resultados en mediciones de su conocimiento o desempeño en evaluación de aprendizajes, del mismo modo en que lo hizo el estudio König y sus colegas (2017).

Una segunda proyección de este trabajo sería indagar, desde una perspectiva cualitativa, en las características que presentan aquellas instituciones que ofrecen mayores o menores ODA en evaluación, profundizando en elementos tales como las estrategias de enseñanza en la FID en el ámbito de la evaluación de aprendizajes, tanto en los cursos generales como específicos de las didácticas.

También sería de interés repetir la administración del cuestionario con profesores novatos de Educación Básica para verificar si su reporte sobre las ODA en evaluación sufre alguna modificación al ser contrastadas con las demandas del ejercicio profesional en las escuelas. Esto debido a que, según el estudio de la Agencia de la Calidad de la Educación (2016), las prácticas profesionales que realizan los futuros profesores se encuentran mediadas por los supervisores y, por lo tanto, los profesores principiantes conocen con mayor juicio de realidad el quehacer docente una vez que se desempeñan profesionalmente en las escuelas.

Por último, la proyección más importante de este trabajo es volver a medir las ODA en evaluación a partir del instrumento validado y disponible como el que aquí se presenta. Este nuevo estudio permitiría monitorear el impacto de las políticas de FID en el ámbito de la evaluación del aprendizaje, considerando los resultados acá presentados como una línea de base obtenida en el momento en el que dichas políticas estaban en una fase de implementación temprana.




Financiamiento: Proyecto FONDEF D11|1109 Elaboración, validación y aplicación de instrumentos de diagnóstico de oportunidades de aprendizaje para el logro de los estándares nacionales en la formación de profesores de educación básica.

El artículo original fue recibido el 11 de marzo de 2020
El artículo revisado fue recibido el 9 de septiembre de 2020
El artículo fue aceptado el 10 de noviembre de 2020

Referencias

Agencia de Calidad de la Educación (2016). Estudio sobre formación inicial docente en evaluación educacional. Recuperado de http://archivos.agenciaeducacion.cl/liderazgo-motivacion-lectora/Resumen_Ejecutivo_FID_en_Evaluacion_educacional.pdf

Black, P., Harrison, C., Lee, C., Marshall, B. & Wiliam, D. (2004). Working Inside the Black Box: Assessment for Learning in the Classroom. Phi Delta Kappan, 86(1), 8-21. https://doi.org/10.1177/003172170408600105

Black, P. & Wiliam, D. (2010). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 92(1), 81-90. https://doi.org/10.1177/003172171009200119

Boerr, I. (2011). Inserción profesional de los docentes, desarrollo de la mentoría en Chile. Nuevos Paradigmas de las Ciencias Sociales Latinoamericanas, 2(3), 81-86. Recuperado de https://nuevosparadigmas.ilae.edu.co/index.php/IlaeOjs/article/view/209

Calixto, R. & Herrera, L. (2010). Estudio sobre las percepciones y la educación ambiental. Tiempo de Educar, 11(22), 227-249.

Celman, S. (2005). ¿Es posible mejorar la evaluación y transformarla en una herramienta de conocimiento? En A. R. W. Camilloni, S. Celman, E. Litwin & M. C. Palou de Maté (Comp.), La evaluación de los aprendizajes en el debate didáctico contemporáneo (pp. 35-66). Buenos Aires, Argentina: Paidós.

Cofré, H., Camacho, J., Galaz, A., Jiménez, J., Santibáñez, D. & Vergara, C. (2010). La educación científica en Chile: debilidades de la enseñanza y futuros desafíos de la educación de profesores de ciencia. Estudios Pedagógicos, 36(2), 279-293. https://doi.org/10.4067/s0718-07052010000200016

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.

Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. http://doi.org/10.1037/0033-2909.112.1.155

Cohen, J. & Berlin R. (2020). What Constitutes an “Opportunity to Learn” in Teacher Preparation? Journal of Teacher Education, 71(4), 434-448. https://doi.org/10.1177/0022487119879893

Coombs, A., DeLuca, C., LaPointe-McEwan, D. & Chalas, A. (2018). Changing approaches to classroom assessment: An empirical study across teacher career stages. Teaching and Teacher Education, 71, 134-144. https://doi.org/10.1016/j.tate.2017.12.010

Darling-Hammond, L. & Bransford, J. (2005). Preparing teachers for a changing world: What teachers should learn and be able to do. San Francisco, CA: Jossey-Bass.

DeLuca, C. (2012). Preparing teachers for the age of accountability: toward a framework for assessment education. Teacher Education Yearbook XXI: A Special Issue of Action in Teacher Education, 34(5-6), 576–591. https://doi.org/10.1080/01626620.2012.730347

DeLuca, C. & Klinger, D. A. (2010). Assessment literacy development: Identifying gaps in teacher candidates’ learning. Assessment in Education: Principles, Policy y Practice, 17(4), 419-438. https://doi.org/10.1080/0969594X.2010.516643

DeLuca, C., Chavez, T. & Cao, C. (2013). Establishing a foundation for valid teacher judgement on student learning: The role of pre-service assessment education. Assessment in Education: Principles, Policy and Practice, 20(1), 107-126. https://doi.org/10.1080/0969594X.2012.668870

DeLuca, C., LaPointe-McEwan, D. & Luhanga, U. (2016). Teacher assessment literacy: a review of international standards and measures. Educational Assessment, Evaluation and Accountability, 28, 251-272. https://doi.org/10.1007/s11092-015-9233-6

Deneen, C. & Brown, G. T. L. (2016). The impact of conceptions of assessment-on-assessment literacy in a teacher education program. Cogent Education, 3(1), 1-14. https://doi.org/10.1080/2331186X.2016.1225380

Elliot, S. N. & Barlett, B. J. (2016). Opportunity to Learn. https://doi.org/10.1093/oxfordhb/9780199935291.013.70

Floden, R. (2002). The Measurement of Opportunity to Learn. En A. C. Porter and A. Gamoran (Eds.), Methodological Advances in Cross-National Surveys of Educational Achievement, (pp. 231-266). Washington, DC: National Academy Press.

Floden, R. (2015). Learning what research says about teacher preparation. En M. J. Feuer, A.I. Berman & R. C. Atkinson (Eds.), Past as prologue: The national academy of education at 50. members reflect (pp. 279-284). Washington, DC: National Academy of Education.

Förster, C. E. & Rojas-Barahona, C. (2017). Aprendizaje y evaluación: lo que no se evalúa, no se aprende. En C. Förster (Ed.)., El poder de la evaluación en aula. Mejores decisiones para promover aprendizajes (1a. ed., pp.43-74). Santiago: Ediciones UC.

Goubeaud, K. (2010). How is Science Learning Assessed at the Postsecondary Level? Assessment and Grading Practices in College Biology, Chemistry and Physics. Journal of Science Education and Technology, 19, 237-245. https://doi.org/10.1007/s10956-009-9196-9

Grossman, P. L. (1990). The making of a teacher: Teacher and teacher education. Nueva York, NY: Teachers College Press.

Grossman, P., Hammerness, K. & McDonald, M. (2009) Redefining teaching, re‐imagining teacher education, Teachers and Teaching, 15(2), 273-289. https://doi.org/10.1080/13540600902875340

Gysling, J. (2017). La evaluación: ¿dispositivo para promover el aprendizaje de todos o para seleccionar?: La formación de profesores en evaluación en Chile (Tesis doctoral, Universidad Diego Portales). Recuperado de https://openaccess.leidenuniv.nl/handle/1887/46245

Hamilton, L., Halverson, R., Jackson, S. S., Mandinach, E., Supovitz, J. A., Wayman, J. C., … & Steele, J. L. (2009). Using Student Achievement Data to Support Instructional Decision Making. Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Recuperado de https://repository.upenn.edu/cgi/viewcontent.cgi?article=1298&context=gse_pubs

Hofstein, A., Mamlok-Naaman, R. & Rosenberg, O. (2006). Varying instructional methods and assessment of students in high school chemistry. En M. McMahon, P. Simmons, R. Sommers, D. De Baets & F. Crawley (Eds.), Assessment in science (pp. 139–148). Arlington, TX: NSTA.

Klette, K. & Hammerness, K. (2016). Conceptual Framework for Analyzing Qualities in Teacher Education: Looking at Features of Teacher Education from an International Perspective. Acta Didactica Norge, 10(2), 26-52. https://doi.org/10.5617/adno.2646

Korthagen, F. (2010). How teacher education can make a difference. Journal of Education for Teaching: International research and pedagogy, 36(4), 407-423. https://doi.org/10.1080/02607476.2010.513854

Korthagen, F. & J. Kessels (1999). Linking theory and practice: Changing the pedagogy of teacher education. Educational Researcher, 28(4), 4-17. https://doi.org/10.3102/0013189X028004004

König, J., Ligtvoet, R., Klemenza, D. & Rothland, M. (2017). Effects of opportunities to learn in teacher preparation on future teachers’ general pedagogical knowledge: Analyzing program characteristics and outcomes. Studies in Educational Evaluation, 53, 122–133. https://doi.org/10.1016/j.stueduc.2017.03.001

Kurz, A. (2011). Access to what should be taught and will be tested: Students’ opportunity to learn the intended curriculum. En S. N. Elliott, R. J. Kettler, P. A. Beddow & A. Kurz (Eds.), The handbook of accessible achievement tests for all students: Bridging the gaps between research, practice, and policy (pp. 99-130). Nueva York, NY: Springer.

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. & Tomás-Marco, I. (2014). El Análisis Factorial Exploratorio de los Ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361

Magnusson, S., Krajcik, J. & Borko, H. (1999). Nature, sources and development of pedagogical content knowledge for science teaching. En J. Gess-Newsome & N. G. Lederman (Eds.), Examining pedagogical content knowledge: The construct and its implications for science education (pp. 95- 132). Boston, MA: Kluwer.

Mandinach, E. & Gummer, E. (2012). Navigating the Landscape of Data Literacy: It IS Complex. Recuperado de https://www.wested.org/online_pubs/resource1304.pdf

Mertler, C. & Campbell, C. (2015, 15 de abril). Measuring Teachers’ Knowledge and Application of Classroom Assessment Concepts: Development of the Assessment Literacy Inventory. Artículo presentado en la reunión annual de la American Educational Research Association, Montréal, Quebec, Canada. Recuperado de http://files.eric.ed.gov/fulltext/ED490355.pdf

Ministerio de Educación. (2012). Estándares orientadores para egresados de carreras de pedagogía en educación básica (2a ed.). Santiago, Chile: LOM Ediciones.

Ministerio de Educación. (2015). Informe Equipo de Tarea para la Revisión del SIMCE. Recuperado de https://www.mineduc.cl/wp-content/uploads/sites/19/2015/11/Informe-Equipo-de-Tarea-Revisi%C3%B3n-Simce.pdf

Ministerio de Educación. (2018). Política para el fortalecimiento de la evaluación en aula. Recuperado de https://bibliotecadigital.mineduc.cl/handle/20.500.12365/2255

Ministerio de Educación. (2019a). Resultados nacionales Evaluación Docente 2018. Recuperado de https://bibliotecadigital.mineduc.cl/handle/20.500.12365/14547

Ministerio de Educación. (2019b). Resultados nacionales Evaluación Nacional Diagnóstica de la Formación Inicial Docente 2018. Recuperado de https://bibliotecadigital.mineduc.cl/handle/20.500.12365/4660

Ministerio de Educación. (2020). Resultados Nacionales Evaluación Docente 2019. Recuperado de https://bibliotecadigital.mineduc.cl/handle/20.500.12365/14861

Müller, M., Álamos, P., Meckes, L., Sanyal, A. & Cox, P. (2018). Percepción de estudiantes de pedagogía en relación a las oportunidades para el desarrollo de prácticas generativas en su formación. Estudios Pedagógicos, 42(4), 145-163.

National Research Council. (2010). Preparing teachers: Building evidence for sound policy. Washington, DC: The National Academies Press.

Nunnally, J. C. & Bernstein, I. H. (1995). Teoría Psicométrica. Ciudad de México, México: McGraw Hill.

Organisation for Economic Co-operation and Development. (2005). Formative Assessment: Improving Learning in Secondary Classrooms. Recuperado de http://www.oecd.org/edu/ceri/35661078.pdf

Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura. (2010). 2021 metas educativas la educación que queremos para la generación de los bicentenarios. Recuperado de http://www.redage.org/sites/default/files/adjuntos/metas2021-2.pdf

Pastore, S. & Andrade, H. (2019). Teacher assessment literacy: A three-dimensional model. Teaching and Teacher Education, 84, 128-138. https://doi.org/10.1016/j.tate.2019.05.003

Popham, W. J. (2009). Assessment Literacy for Teachers: Faddish or Fundamental? Theory Into Practice, 48(1), 4-11. https://doi.org/10.1080/00405840802577536

Popham, W. J. (2011). Assessment Literacy Overlooked: A Teacher educator`s Confession. The Teacher Educator, 46(4), 265-273. https://doi.org/10.1080/08878730.2011.605048

Prieto, M. & Contreras, G. (2008). Las concepciones que orientan las prácticas evaluativas de los profesores: un problema a develar. Estudios Pedagógicos, 34(2), 245-262. https://doi.org/10.4067/S0718-07052008000200015

Ravela, P. (2009). Consignas, devoluciones y calificaciones: el problema de la evaluación de las aulas de educación primaria en América Latina. Páginas de educación, 2, 49-89. Recuperado de
http://paginasdeeducacion.ucu.edu.uy/inicio/item/download/14.html

Ravela, P., Leymonié, J., Viñas, J. & Haretche, C. (2014). La evaluación en las aulas de secundaria básica en cuatro países de América Latina. Propuesta educativa, 41(1), 20-45. Recuperado de
http://propuestaeducativa.flacso.org.ar/wp-content/uploads/2019/12/41-dossier-ravelayotros.pdf

Ruffinelli, A. (2014). Dificultades de la iniciación docente. ¿Iguales para todos? Estudios Pedagógicos (Valdivia), 40(1), 229–242. https://doi.org/10.4067/S0718-07052014000100014

Ruffinelli, A. (2016). Ley de desarrollo profesional docente en Chile: de la precarización sistemática a los logros, avances y desafíos pendientes para la profesionalización. Estudios Pedagógicos (Valdivia), 42(4), 261-279. https://doi.org/10.4067/S0718-07052016000500015

Sanmartí, N. (2007). 10 ideas clave Evaluar para Aprender. Barcelona, España: Graó.

Sanmartí, N. & Alimenti, G. (2004). La evaluación refleja el modelo didáctico: análisis de actividades de evaluación planteadas en clases de química. Educación Química, 15(2), 120-128. https://doi.org/10.22201/fq.18708404e.2004.2.66198

Schulman, L. (1987). Knowledge and Teaching: Foundations of the New Reform. Harvard Educational Review, 57(1), 1-23. https://doi.org/10.17763/haer.57.1.j463w79r56455411

Stiggins, R. J. (2004). Classroom assessment for student learning: Doing it right–using it well. Nueva York, NY: Pearson Education.

Sotomayor, C., Parodi, G., Coloma, C. J., Ibáñez, R. & Cavada, P. (2011). La formación inicial de docentes de educación general básica en Chile: ¿Qué se espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación? Recuperado de http://ciperchile.cl/wp-content/uploads/Formacion-Inicial-profesoreslenguaje-1.pdf

Sotomayor-Echenique, C., Coloma-Tirapegui, C. J., Parodi-Sweis, G., Ibañez-Orellana, R., Cavada-Hrepich, P. & Gysling-Caselli, J. (2013). Percepción de los estudiantes de pedagogía sobre su formación inicial. Magis. Revista Internacional de Investigación en Educación, 5(11), 375-392. https://doi.org/10.11144/Javeriana.m5-11.peps

Tacochi, M. & Fernández, C. (2014). Knowledge of assessment: an important component in the PCK of chemistry teachers. Problems of education in the 21st Century, 62, 124-147. Recuperado de
http://www.scientiasocialis.lt/pec/node/files/pdf/vol62/124-147.Tacoshi_Vol.62.pdf

Tejedor, F. & García-Varcárcel, A. (2010). Evaluación de desempeño docente. Revista Española de Pedagogía, (68)247, 453-459. 
Recuperado de https://revistadepedagogia.org/lxviii/no-247/evaluacion-del-desempeno-docente/101400010164/

Torres, M. & Cárdenas, E. (2010). ¿Qué y cómo se ha investigado sobre la evaluación de los aprendizajes en los últimos cinco años? Estado del arte de las investigaciones (2005–2010). Enunciación, 15(1), 141-156. https://doi.org/10.14483/22486798.3109

Varas, L., Felmer, P., Gálvez, G., Lewin, R., Martínez, C., Navarro, S., Ortiz, A. & Schwarze, G. (2008). Oportunidades de preparación para enseñar matemáticas de futuros profesores de educación general básica en Chile. Calidad en la Educación, 29, 64-88. https://doi.org/10.31619/caledu.n29.188

Villagra, C., Sepúlveda, S. & Cerda, P. (2011). Los desafíos de la evaluación en la formación inicial docente. Revista Investigaciones en Educación, 11(2), 35-44. Recuperado de http://revistas.ufro.cl/ojs/index.php/educacion/article/view/1038

Wiliam, D., Lee, C., Harrison, C. & Black, P. (2004). Teachers developing assessment for learning: impact on student achievement. Assessment in Education, 11(1), 49-65. https://doi.org/10.1080/0969594042000208994

Xu, H. & Brown, G. (2016). Teacher assessment literacy in practice: A reconceptualization. Teaching and Teacher Education, 58, 149-162. https://doi.org/10.1016/j.tate.2016.05.010

Zolfaghari, F. & Ahmadi, A. (2016). Assessment literacy components across subject matters, Cogent Education, 3(1), 1-16. https://doi.org/10.1080/2331186X.2016.1252561

Apéndice 1

Ítems que componen las ODA en evaluación

 

Índices

Ítems

ODA de

conocimiento pedagógico general en evaluación

ODA desde una aproximación práctica

¿En qué medida la carrera te dio oportunidades para examinar diferentes instrumentos y estrategias de evaluación de los aprendizajes (por ejemplo: analizando la formulación de pruebas, de pautas de observación, sus criterios de evaluación, su coherencia con los objetivos a evaluar, entre otros aspectos).

¿En qué medida la carrera te dio oportunidades para observar prácticas evaluativas que promueven el aprendizaje de los estudiantes (por ejemplo: describiendo cómo un profesor retroalimenta el aprendizaje o utiliza en error como fuente de aprendizaje)?

¿En qué medida la carrera te dio oportunidades para diseñar estrategias e instrumentos de evaluación, en función de las metodologías de enseñanza, los objetivos del aprendizaje y propósitos de la evaluación (por ejemplo: instrumentos de diagnóstico, formativos, sumativos)?

¿En qué medida la carrera te dio oportunidades para aplicar estrategias o instrumentos de evaluación a un estudiante o a un curso?

Respecto del uso de los resultados de la evaluación, ¿en qué medida la carrera te dio oportunidades para comunicar resultados de evaluaciones y retroalimentar el proceso de aprendizaje de los estudiantes y promover su autorregulación?

ODA desde una aproximación teórica o discursiva

Respecto de la evaluación de aprendizajes, ¿en qué medida la carrera te dio oportunidades para estudiar tipos de evaluación (por ejemplo: formal e informal, conceptual, procedimental, actitudinal, diagnóstica, formativa, sumativa).

Respecto del uso de los resultados de la evaluación, ¿en qué medida la carrera te dio oportunidades para estudiar procedimientos de análisis de resultados de evaluaciones del aprendizaje (por ejemplo: análisis estadístico, rúbricas, análisis de proceso)?

ODA de conocimiento pedagógico en evaluación de las disciplinas 

ODA desde una aproximación práctica 

¿En qué medida esta carrera te ofreció oportunidades de usar resultados de evaluaciones para diagnosticar las potencialidades y dificultades de los estudiantes en la comprensión oral?

¿En qué medida esta carrera te ofreció oportunidades de dar retroalimentación útil y oportuna a los estudiantes sobre su producción oral para ayudarlos a mejorarla?

ODA de conocimiento pedagógico en evaluación de las disciplinas 

ODA desde una aproximación práctica 

¿En qué medida la carrera te ofreció oportunidades para tomar decisiones a partir del desempeño léxico, gramatical y ortográfico de los estudiantes?

¿En qué medida la carrera te ofreció oportunidades de diseñar y/o aplicar distintos instrumentos de evaluación que permitieran observar el desarrollo de los niveles y estrategias de comprensión lectora?

¿En qué medida la carrera te ofreció oportunidades de diseñar evaluaciones considerando los errores habituales que presentan los estudiantes en el aprendizaje de diversos tópicos matemáticos (ej. considerar errores habituales para elaborar distractores en preguntas de selección múltiple)?

¿En qué medida la carrera te ofreció oportunidades de aprender a evaluar el logro de procesos matemáticos durante el desarrollo de una clase (ej. resolución de problemas, razonamiento matemático, argumentación y justificación)?

¿En qué medida la carrera te ofreció oportunidades de construir preguntas de evaluación utilizando el conocimiento sobre los errores que cometen los estudiantes al aplicar los algoritmos de la adición y la sustracción?

¿En qué medida la carrera te ofreció oportunidades de diseñar estrategias para evaluar las destrezas relativas a descubrir regularidades y expresarlas en fórmulas?

¿En qué medida esta carrera te ofreció oportunidades de elaborar instrumentos de evaluación pertinentes para monitorear los aprendizajes en CC.SS. (tales como mapas conceptuales, trabajos de investigación, debate, entre otros)?

¿En qué medida esta carrera te ofreció oportunidades de diseñar un instrumento para evaluar una investigación histórica (ej. rúbrica, escala de apreciaciones, etc.)?

¿En qué medida esta carrera te ofreció oportunidades de evaluar actitudes y valores ciudadanos en situaciones concretas (ej. debates, organización de un proyecto, trabajo colaborativo, etc.)?

ODA de conocimiento pedagógico en evaluación de las disciplinas

ODA desde una aproximación teórica o discursiva

¿En qué medida la carrera te ofreció oportunidades de tener clases expositivas, leer, estudiar o discutir sobre estrategias para evaluar tanto el proceso como el producto generado en la producción escrita de los estudiantes, considerando diversos criterios (ej. claridad, precisión de ideas, uso de léxico y recursos utilizados)?

¿En qué medida la carrera te ofreció oportunidades de tener clases expositivas, leer, estudiar o discutir sobre estrategias para evaluar el logro de aprendizaje matemático (ej. niveles de complejidad, elaboración de distractores)?

¿En qué medida la carrera te ofreció oportunidades de tener clases expositivas, discutir o leer sobre estrategias para evaluar habilidades como conjeturar y demostrar reglas de formación de patrones (niveles de complejidad, elaboración de distractores)?

¿En qué medida esta carrera te ofreció oportunidades de tener clases expositivas, leer, estudiar o discutir sobre instrumentos de evaluación para evaluar el aprendizaje de ciencias naturales (tales como KPSI, ideas previas, rúbrica para corrección de informes de laboratorio)?


1. https://www.consejoderectores.cl/universidades

2. Previa solicitud a las autoras.

3. Ver por ejemplo el estudio de Cohen y Berlin (2020), que revela una relación entre las características de personalidad de los estudiantes de FID y su reporte de oportunidades de aprendizaje en los cursos de la carrera.