Czytaj książkę: «El liceo en tiempos turbulentos», strona 7

Método: estudiando el mejoramiento escolar en educación media

Cristian Bellei, Mariana Contreras, Juan Pablo Valenzuela, Xavier Vanni, Claudio Allende

El objetivo de la investigación «Comprendiendo el mejoramiento escolar sostenido en educación secundaria en Chile», en que se basa este libro, fue comprender cómo algunos establecimientos de educación media en el país han mejorado su capacidad para ofrecer más y mejores oportunidades de aprendizaje a sus alumnos durante la última década, en diferentes contextos sociales e institucionales, iniciando sus procesos desde diferentes niveles de desempeño escolar. El propósito final del estudio fue producir conocimiento útil para que tomadores de decisiones políticas, administradores de liceos, directivos y docentes cuenten con evidencia rigurosa y reciente contextualizada en la realidad nacional. En este capítulo describimos cómo se llevó a cabo.

Aproximación general: estudios de caso

Los «estudios de caso» son una opción acerca de qué se quiere estudiar, y están definidos por el interés global en el caso, en tanto entidad social delimitable, no por los métodos de indagación usados (Stake, 1998; Bryman, 2012). En esta investigación, los casos fueron definidos como liceos que hubieran experimentado un mejoramiento sostenido de su desempeño educativo durante la década anterior. Así, cada establecimiento educacional constituyó una unidad de análisis particular a ser estudiada intensivamente, lo cual implicó describir detalladamente su evolución y modo actual de funcionamiento, sus características y procesos internos, y sus vínculos con el contexto, siguiendo una línea de investigación desarrollada en enseñanza básica (Bellei et al., 2014; Bellei et al., 2015).

En concreto, los objetivos específicos de los estudios de caso fueron:

 Describir en profundidad las características, procesos y cambios desarrollados por los liceos que han mejorado durante la última década.

 Analizar dichos procesos, identificando dimensiones y elementos que permitan explicar sus trayectorias de mejoramiento en la última década.

 Identificar los factores que permitieron iniciar, sustentar y profundizar sus trayectorias de mejoramiento.

 Profundizar en el rol de los líderes escolares y los equipos docentes en dichos procesos de mejoramiento.

Explotando lo característico de los estudios de caso, se buscó alcanzar una comprensión holística de cada liceo en función de la pregunta de investigación, lo que supuso adicionalmente elaborar hipótesis para interpretar la evolución experimentada durante la década anterior (Creswell, 2007). En consecuencia, dos desafíos importantes fueron «reconstruir» retrospectivamente una cierta evolución de mediano plazo de los liceos y obtener una visión integral sobre su «calidad» educacional, más allá de los indicadores estandarizados disponibles en los que se basó el análisis inicial acerca de su desempeño (Bellei et al., 2019). Esto supuso poner especial atención a las eventuales inconsistencias o contradicciones existentes en los casos, y mantener una distancia crítica para interpretar la relación procesos-resultados desde una perspectiva comprensiva, escapando de la causalidad mecánica. Para el desarrollo de una visión comprensiva y en profundidad del caso, fue necesario utilizar diversas fuentes de información y recolectar datos de diferente tipo, combinando varias técnicas de producción de datos (análisis de documentos institucionales, entrevistas a los distintos miembros de la comunidad escolar, encuestas a estudiantes, observaciones de espacios y dinámicas), y tipos de evidencia cualitativa / cuantitativa, con el objeto de facilitar la elaboración de una comprensión profunda de la trayectoria del liceo durante la última década y media.

La investigación consistió en un estudio de casos múltiples (Stake, 1998), en que cada liceo fue seleccionado por satisfacer una definición básica de mejoramiento educacional, pero luego procurando obtener una extensa variación de casos. Los hemos considerado así, de un modo instrumental, para intentar observar nuestro fenómeno en un espectro amplio de cómo se presenta en la realidad educacional chilena. Nuestra intención fue elaborar luego interpretaciones más generales sobre cómo ocurre el proceso de mejoramiento educacional, buscar patrones comunes e identificar tipos de liceos que permitan comprender dicha variabilidad (George & Bennett, 2005). La muestra estuvo constituida por 12 liceos; para cada caso se elaboró un informe descriptivo e interpretativo, y luego se realizó un análisis colectivo que integró el conjunto de los estudios de caso.

Selección de la muestra

El primer desafío del estudio fue identificar liceos que hubieran seguido trayectorias sostenidas de mejoramiento educacional durante la década anterior. La definición operacional se realizó mediante la construcción de un Índice de Desempeño Educacional (IDE) para enseñanza media, que consistió en adaptar a este nivel una metodología previamente aplicada a la enseñanza básica (Valenzuela, Bellei & Allende, 2016).

En lo esencial, el IDE combina (mediante un análisis factorial y dando un peso estable a cada variable en el tiempo) un conjunto amplio de indicadores de logro escolar a nivel de liceos, en concreto: el promedio Simce 2° Medio¹ en Lectura y Matemática; el porcentaje de estudiantes que supera el nivel insuficiente de desempeño Simce 2° Medio en Lectura y Matemática; la variación interna de resultados Simce 2° Medio en Lectura y Matemática; el «efecto establecimiento» para Simce 2° Medio en Lectura y Matemática, estimado mediante regresión multinivel que considera características observables de los estudiantes y los liceos (incluyendo la composición socioeconómica del alumnado y la selectividad de los establecimientos); la tasa anual de repitencia; y la tasa anual de retención escolar. El IDE se calculó para todos los liceos chilenos con información disponible para el período 2001 a 2014 (usando promedios móviles entre años contiguos para dar más estabilidad a las mediciones).

Ciertamente, el IDE no es una medida completa del desempeño educativo de un establecimiento, dado que no cubre todas las dimensiones del currículum ni todos los aspectos del logro escolar, pero consideramos que representa una medida razonable de desempeño básico que los establecimientos debiesen alcanzar. La necesidad de contar con información comparable entre liceos y en el tiempo restringe severamente las posibilidades de variables disponibles para más de una década. Debido a esta insuficiencia, para la selección de la muestra se tomó en cuenta una serie de aspectos adicionales que la literatura ha relevado como importantes en un establecimiento, como explicamos más adelante.

Dado su carácter estandarizado y el hecho de usar como punto de referencia la primera medición de la serie, con el IDE se pudo comparar la evolución 2001-2014 del desempeño educativo de 2.122 liceos (el 71% del total de establecimientos con enseñanza media del país). El índice permitió estimar que, en promedio, el desempeño de la educación secundaria chilena se mantuvo invariable en el período, aunque con una importante diversidad en su interior: mientras el 27,1% de los establecimientos incrementó su desempeño, otro porcentaje similar, un 30,4%, mostró un deterioro para el mismo periodo. Además, sólo el 10,9% de los establecimientos del país con información para el periodo (232 en total) mostró una mejora sostenida (i.e. aumento significativo del desempeño en el IDE en al menos dos o tres períodos entre 2001-2014, sin retrocesos significativos o con retroceso sólo al inicio del período), y otro 2,3% mantuvo un alto desempeño a lo largo del período, siendo aún más inusual este mejoramiento sostenido entre los liceos municipales (8,0%), técnico-profesionales (7,5%) o de nivel socioeconómico bajo (6,9%).

La selección de liceos a estudiar se limitó al total de 232 establecimientos que mostraron una trayectoria de mejora sostenida a lo largo del periodo analizado. Dado el propósito del estudio, nos concentramos –dentro de ese grupo– en los 174 liceos de NSE bajo, medio bajo y medio (de acuerdo a la clasificación de la Agencia de la Calidad de la Educación); los que luego redujimos a los 106 que en el último bienio (2013-2014) obtuvieron una efectividad relativa superior a establecimientos en condiciones similares (i.e. «efecto establecimiento» igual o mayor a 10 puntos). Por último, privilegiamos aquellos establecimientos que fueran menos selectivos, dejando sólo liceos que obtuvieran un índice de selectividad (construido a partir de los cuestionarios de padres SIMCE, utilizando preguntas sobre requisitos para ingresar a los establecimientos) menor a media desviación estándar por debajo del promedio de Chile. Esto produjo un grupo de 35 liceos de interés para nuestro estudio cualitativo.

Para conformar la muestra final de 12 casos a estudiar aplicamos básicamente cuatro criterios sustantivos: que los liceos mostrasen logros adicionales a los considerados en el IDE, que no fuesen selectivos o tuviesen baja selectividad, y que fuesen heterogéneos en varios sentidos relevantes. Respecto de lo primero, observamos un amplio conjunto de otros indicadores de logro de los liceos, buscando también tendencias positivas o buenos resultados, entre ellos: que sostuvieran o mejoraran su matrícula, la asistencia a clases de los alumnos, los resultados PSU, especialmente de historia y ciencias, las tasas de titulación para liceos TP, los indicadores de desarrollo personal (IDPS) de la Agencia de Calidad (autoestima, participación, convivencia y vida saludable). También priorizamos que fuesen liceos gratuitos y que no hicieran mayores exigencias en sus procesos de admisión (i.e. que no discriminasen según características de las familias ni aplicasen tests o entrevistas a los postulantes²). Luego de preseleccionar algunos liceos, indagamos por información complementaria sobre los proyectos educativos y la oferta extracurricular de los liceos, buscando instituciones lo más comprehensivas posible. Finalmente, también buscamos que la muestra fuese heterogénea en sus características institucionales, nivel socioeconómico de sus estudiantes, ubicación geográfica, modalidad de enseñanza y nivel inicial de desempeño medido por el IDE. Así, la muestra final está conformada por nueve liceos públicos y tres privados; siete liceos HC, cuatro TP y un Polivalente; cuatro de nivel socioeconómico bajo, seis de nivel medio bajo y dos de nivel medio; dos ubicados en el norte, tres en el centro, cuatro en el sur y tres en el área metropolitana. Una descripción cuantitativa más detallada de los liceos estudiados se encuentra en el capítulo “Características generales y trayectorias de desempeño de los liceos estudiados” de este libro.

Focos de indagación: niveles y dimensiones considerados en los estudios de caso

En esta investigación los focos de los estudios de caso fueron determinados por el interés en conocer la historia reciente y la situación actual de cada liceo. Se trató de identificar y describir los procesos más relevantes sucedidos a lo largo de la década. Esto resultó desafiante, especialmente por el carácter longitudinal de la pregunta de investigación y la multidimensionalidad del fenómeno del mejoramiento educacional. Para reducir esta complejidad y basándonos en la revisión de literatura realizada, se identificó como prioritario observar tres niveles del sistema de cada establecimiento: contexto, liceo y aula; y conocer la percepción y disposición hacia el liceo de tres tipos de actores: directivos, docentes y alumnos. Por supuesto, estas dimensiones y aspectos no agotan lo relevante, pero constituyen el núcleo que permite cierta comprensión básica de los casos y facilitan luego su análisis transversal. Cada dupla de investigadores a cargo de desarrollar su estudio de caso debió luego ponderar la relevancia de profundizar sobre alguno de estos aspectos o añadir otros durante la recolección de información. A continuación, se listan los niveles y dimensiones más generales considerados en la matriz de análisis de la investigación.

Estructura de matriz de análisis para estudios de caso: niveles y dimensiones

Producción de información: fuentes y técnicas de indagación

Los estudios fueron realizados en terreno por duplas de investigadores que entrevistaron –individual y grupalmente– a un amplio grupo de miembros de esas comunidades, incluyendo docentes, alumnos, directivos y apoderados, entre otros. También aplicaron encuestas a alumnos, observaron algunos espacios y actividades, y revisaron documentación e indicadores de los liceos. El trabajo de campo se realizó durante 2016 y 2017, y ocupó una semana de cada dupla en el liceo; en muchos casos esto fue complementado posteriormente por visitas focalizadas, entrevistas telefónicas o consultas vía e-mail. Los instrumentos de recolección de información fueron elaborados para –complementariamente– cubrir los focos de indagación y permitir la triangulación de evidencia. Cada dupla debió además adaptar los instrumentos de acuerdo al interés de cada caso, según fuese emergiendo en el terreno; esto también incluyó agregar entrevistas u observaciones según estimasen conveniente. A continuación, se detalla cada una de las fuentes y técnicas de indagación comunes a todos los casos.

Entrevistas: Se combinaron entrevistas individuales (mínimo 13) y grupales (mínimo 7), incluyendo un taller de reflexión colectiva con docentes antiguos del liceo para reconstruir su historia reciente. A continuación, se listan todas ellas y se especifica su foco principal (no exclusivo) de indagación.

Entrevistas y focos temáticos.

Encuesta a alumnos sobre enseñanza en el aula y temas pedagógicos: Aplicada en 1º y 3º medio a un máximo de tres cursos por nivel. El cuestionario incluyó preguntas generales sobre tiempo, planificación y clima de aula, y diferenciadas para las disciplinas de lenguaje y matemática en los temas de estructuración de la clase e interacción pedagógica. Las preguntas seleccionadas para indagar estas dimensiones provenían de encuestas complementarias de estudios internacionales aplicadas principalmente a estudiantes de secundaria en los que Chile había participado (como PISA), permitiéndonos así comparar los resultados de los liceos de la muestra, con el promedio a nivel nacional.

Pauta de observación de aspectos básicos del liceo: Esta tuvo por objetivo facilitar un registro que permitiera: (1) Describir aspectos asociados a la infraestructura, equipamiento y funcionamiento del liceo y (2) Describir el clima de relaciones del liceo. En relación a los recursos, pone especial énfasis no sólo en su existencia, sino su uso y el tipo de interacción que se realiza en/con ellos. La información se recogió durante la visita, observando los aspectos referidos, y consultando informalmente a algún miembro de la comunidad educativa. También se indagó acerca del cambio de aspectos materiales del liceo durante el período.

Documentos básicos del liceo: Durante la visita al liceo los investigadores recolectaron al menos los siguientes instrumentos:

 Proyecto educativo institucional. Actual y alrededor del año 2010.

 Reglamentos internos, de convivencia y de evaluación. Actual y alrededor del año 2010.

 Plan de mejoramiento escolar Subvención Escolar Preferencial (2012-2016) e Informe evaluación del plan del período previo.

 Documentación clave relativa a cualquier otro proyecto o programa relevante que se haya implementado en el liceo en el período, y sus informes respectivos: PME, Plan JEC, ATE.

Ficha de caracterización del liceo: Este instrumento buscó organizar información relevante para describir las actividades y composición del liceo, en concreto, programas implementados o en desarrollo, la oferta de talleres extracurriculares, alianzas y convenios con instituciones externas, recursos humanos especializados de apoyo a los alumnos y docentes, información sobre la formación TP (tasas de egreso y titulación, distribución de alumnos por especialidades) y en general toda información que resultara importante para una buena caracterización del liceo. Esta Ficha fue completada por las autoridades del liceo y cuando fue necesario, complementada por los investigadores en terreno.

Ficha de estadísticas básicas del liceo: Al inicio del estudio, cada investigador recibió información secundaria sobre su establecimiento, incluyendo series de matrícula, desempeño académico medido a través de SIMCE y PSU (absoluto y relativo respecto de establecimientos en condiciones similares), eficiencia interna, información sobre «otros indicadores de calidad» del Mineduc, caracterización socioeconómica, entre otros.