2021 | Revista de Investigación y Evaluación Educativa-Revie, 8(1), 18-37    |http://www.revie.gob.do | https://doi.org/10.47554/revie2021.8.84

EVALUACIÓN DE IMPACTO DEL SISTEMA DE INFORMACIÓN Y VIGILANCIA DE LA

ALIMENTACIÓN Y NUTRICIÓN ESCOLAR

IMPACT EVALUATION OF THE SCHOOL FEEDING PROGRAM SISVANE

Reyes, Yshabella

Instituto Dominicano de Evaluación e Investigación de la Calidad Educativa (Ideice) – República Dominicana

Morales, Daniel

Instituto Dominicano de Evaluación e Investigación de la Calidad Educativa (Ideice) – República Dominicana

1.        INTRODUCCIÓN

La buena nutrición permite a los niños crecer, desarrollarse de forma física y cognitiva. Sin embargo, Globalmente 144 millones de niños tienen problemas de crecimiento y desarrollo físico asociado con malnutrición. En República Dominicana, los datos de la última Encuesta Demográfica y de Salud (ENDESA 2013) informan que la prevalencia de la desnutrición infantil crónica ha declinado de 16.5% (1991) a 6.9% (2013), destacándose que, en los niños más pobres, el nivel de desnutrición crónica alcanzó al 12%. La desnutrición infantil aguda, que supone un bajo peso en tallas o extrema delgadez, ha permanecido estable en un 2% de la población total desde 2002 (UNICEF, 2019).

Sin embargo, los altos niveles de desempleo y la caída de los ingresos que ha desatado la pandemia del COVID-19, pone en riesgo los avances que se han logrado. Según el Programa Mundial de Alimentos, el número de personas en los países de bajo ingresos que enfrentan inseguridad alimentaria aguda casi se duplicará a 265 millones para finales de 2020 (Headay, et al.,2020). Por igual, 1 de cada 5 niños está sufriendo de mal desarrollo producto de la malnutrición y 47 millones de niños se encuentran en bajo-peso producto de la pandemia. En este sentido, se ha hecho inminente la continuación e implementación de políticas públicas que velen por la seguridad alimentaria en la población. El gobierno dominicano, decidió repartir raciones de alimentos a través del Programa de Alimentación Escolar (PAE), que, desde su fundación en 1997, ha ido evolucionando, pasando de ser un “vaso de leche de desayuno” a un programa masivo de desayuno y almuerzo escolar, garantizando alimento a miles de niños y adolescentes a lo largo y ancho del país.

En el contexto actual se hace inminente la evaluación de políticas públicas de esta naturaleza, de forma que se pueda continuar la implementación y mejor escalamiento de estas. En la literatura empírica, hay vasta experiencia en el estudio de los impactos de la alimentación escolar en el rendimiento académico y en la salud. Por un lado, se ha encontrado que la provisión de educación nutricional en la escuela primaria tiene efectos positivos en los comportamientos nutricionales de los niños, aumentó su conocimiento nutricional (Jung, Jiacheng, Eagan & Oldenburg; Gómez del Rio, et al., 2019) y redujo su índice de masa corporal (Selmin & Yildirim, 2020). Sin embargo, el impacto positivo de la alimentación escolar en el crecimiento, cognición y rendimiento académico de niños en edad escolar que son parte de programas de alimentación escolar en comparación con los niños no alimentados en la escuela ha sido menos concluyente (Jomaa, McDonnell & Probart, 2020). Por un lado, en la India concluyeron que la exposición a almuerzos en escuelas primarias durante casi cinco años resultó en un aumento de los puntajes de las pruebas en un 18% para lectura y 9% para matemáticas en relación con niños con menos de un año de exposición (Chakrabortya & Jayaraman, 2019). Mientras que McEwan (2013) a través de una regresión discontinua encuentra que no existe evidencia de que las calorías adicionales afectan la matrícula escolar y asistencia, edad de inscripción de primer grado de los estudiantes y repetición de grado y resultados de puntajes en exámenes nacionales de matemáticas y lenguaje.

En el año 2015, el Instituto Nacional de Bienestar Estudiantil (INABIE) creó el Sistema Integral para la Vigilancia Alimentaria y Nutricional del Escolar (SISVANE), bajo el marco del Programa de Alimentación Escolar (PAE) realizando una prueba piloto en la provincia de Monte Plata República Dominicana.

El SISVANE provee información sobre el consumo de los alimentos y el estado nutricional de los escolares, con el propósito de identificar y focalizar intervenciones nutricionales en la comunidad educativa, identificando la población con mal nutrición y sus factores condicionantes, y educar a los niños, niñas y adolescentes, sobre los hábitos de ejercicio y alimentación saludable. Para esto, toman medidas antropométricas de los estudiantes a principios de cada año escolar, y aquellos que se encuentran en situación de malnutrición u obesidad, son referidos a las Unidades de Atención Primaria de su comunidad. Recientemente, el SISVANE se empezó a implementar en algunos centros de Santo Domingo, con la intención de escalarlo a nivel nacional.

Si bien, el INABIE publica reportes sobre el alcance del PAE, promueve la alimentación saludable y hace esfuerzos considerables en tomar las medidas antropométricas de los beneficiarios, a la fecha la implementación del PAE no ha estado acompañada de evaluaciones de impacto que documenten en qué medida la política mejora los niveles nutricionales de los beneficiarios, y cómo estos se relacionan con los niveles de desempeño académico alcanzado por los estudiantes. Más aún, un problema asociado a evaluar el impacto del PAE es que este se implementa en conjunto con la política de Jornada Escolar Extendida (JEE), dificultando aislar los efectos en el desempeño académico, en caso de que los haya, del PAE y de la JEE. No obstante, la variación permite relacionar el programa con los aprendizajes.

El SISVANE proporciona una oportunidad única de realizar una evaluación de impacto de este sistema, ya que el mismo, en su fase piloto, sólo fue implementado en 26 escuelas de JEE en Monte Plata, ubicado en el Distrito Escolar 1702 de la Regional Educativa 17. Si bien la asignación de los Centros Educativos al SISVANE se realizó a conveniencia, se argumenta aquí que es plausible tomar los otros Centro Educativos públicos del Distrito 1702 no intervenidos por el SISVANE más los otros de toda la Regional 17 como grupo de comparación con fines de evaluación. Para esto, utilizamos la diferencia de medias, regresiones múltiples y el método de Emparejamiento por Puntajes de Propensión, relacionando el desempeño académico en las asignaturas evaluadas en las Evaluaciones Diagnosticas de 3ero y 6to grado, con la pertenencia de los estudiantes a escuelas dentro del SISVANE en el Distrito 1702, y de toda la Regional Educativa 17.

Este trabajo está estructurado de la siguiente manera. Primero, se realiza una revisión de la literatura; segundo, se presenta la metodología; tercero, se describe la metodología utilizada; luego, se presentan los resultados y, por último, se concluye con los resultados y recomendaciones.

2.        REVISIÓN DE LA LITERATURA

La Jornada Escolar Extendida fue asumida como política de Estado desde el año 2014, bajo la Ordenanza No. 01-2014, con el objetivo de contribuir a la mejora de los niveles de logros de aprendizajes de los estudiantes. Adicionalmente, esta política contribuye a disminuir la inequidad social en la medida en que aumenta el acceso a la educación y, con la extensión del horario de clases, mejora la alimentación (por la presencia de los Programas de Alimentación Escolar vigentes en estas escuelas) y seguridad de los estudiantes.

Con intenciones similares, este programa se ha implementado en distintas partes del mundo, con resultados relevantes para la política educativa. En un contexto en que los adolescentes peruanos presentaban un bajo desempeño escolar, el gobierno de Perú, decidió implementar la Jornada Escolar Completa (JEC) con el objetivo de mejorar esta situación. Tras un año de implementación, Agüero (2016) investiga el impacto de esta política sobre el rendimiento de los estudiantes de las mil escuelas secundarias en que fue implementada durante el 2015. Con la metodología de regresión discontinua y utilizando la Evaluación Censal de Estudiantes de 2do año, se muestra que, en matemáticas, la JEC aumentó el rendimiento académico entre 14% y 23% de un desvío estándar. Sin embargo, los resultados no fueron tan concluyentes para los resultados de la asignatura “Comunicación”. Adicionalmente, se evidenciaron impactos mayores en los colegios ubicados en los distritos más pobres, aun cuando no se encontró un mayor nivel de esfuerzo tanto por parte de los padres como de los maestros. 

Hincapié (2016) analiza el impacto de la implementación de una jornada escolar extendida sobre el rendimiento estudiantil en Colombia. Para identificar este impacto, su estudio aprovecha una variación exógena del horario escolar. Utilizando datos de las calificaciones obtenidas en los exámenes de los alumnos de quinto y noveno grado en 2002, 2005 y 2009, junto con los datos administrativos de las escuelas, Hincapié utiliza modelos de efectos fijos para estimar variación en los puntajes promedio de las pruebas en cohortes para escuelas que pasaron de tener un “medio día” escolar a uno de jornada completa o viceversa. Concluye que las cohortes expuestas a jornada escolar completa tienen puntajes de exámenes que son aproximadamente una décima parte de una desviación estándar mayor que las cohortes que asistieron a la mitad de los días escolares. El impacto de asistir a la jornada escolar completa es mayor para las matemáticas que para la asignatura de Lenguaje, y por igual, es mayor para el noveno grado que para 5to grado. Adicionalmente, se encontró que los efectos son mayores entre las escuelas más pobres y las zonas rurales.

Por otro lado, la literatura empírica ha logrado proveer evidencia de que los niños mejor alimentados tienen un mejor desempeño en la escuela (Glewwe, Jacoby & King, 2001; Winicki & Jemison, 2003; citados por Frisvold 2015). Las políticas de alimentación en las escuelas han sido implementadas en múltiples países, con el objetivo de garantizar alimento a los estudiantes, de forma que esto no afecte su rendimiento escolar. Además, en el contexto de los países en desarrollo, en el que abundan estudiantes con carencias alimenticias en los hogares, este tipo de política genera un incentivo a la asistencia escolar.

En República Dominicana, desde el año 1997, el Programa de Alimentación Escolar (PAE) busca suplir las necesidades nutricionales de la población escolar para contribuir al aprendizaje, rendimiento y permanencia escolar. En sus inicios, el programa se limitaba a proveer un vaso de leche en algunas comunidades del país, hasta que en 2004 logro una cobertura nacional, en tornos al marco de un programa con cuatro modalidades: PAE Urbano compuesto por pan, leche y jugo; PAE Fronterizo a través de la cual se sirve a escuelas de la zona fronteriza del país y desayuno-almuerzo; PAE Real (raciones alimentarias con alimentos locales), el cual ofrece desayuno-almuerzo en centros educativos ubicados en zonas rurales y, por último, la modalidad Jornada Escolar Extendida, la cual sirve desayuno, almuerzo, y merienda a centros educativos a nivel nacional.

Chakrabortya & Jayaraman (2019) estudiaron el efecto del programa de alimentación escolar de la India los resultados de aprendizaje de los niños. El proceso escalonado de implementación de los programas de almuerzo escolar gratuito en las escuelas primarias públicas, generó una variación exógena plausible en la exposición del programa a través de diferentes cohortes de nacimiento. Los autores explotaron esto para estimar el efecto de la exposición del programa en los puntajes de las pruebas de matemáticas y lectura de niños en edad escolar primaria. Concluyeron que la exposición a almuerzos del mediodía durante casi cinco años de aumento de la escuela primaria puntajes de las pruebas en un 18% para lectura y 9% para matemáticas en relación con niños con menos de un año de exposición.

McEwan (2013) evaluó el impacto de comidas altas en calorías sobre los resultados educativos de las escuelas públicas, rurales y sus estudiantes. Aplica un diseño de regresión discontinua para evaluar este programa que otorga raciones de comida con contenido calórico variable a las escuelas, dependiendo de su "vulnerabilidad". El artículo se centra en un subconjunto de escuelas públicas y rurales, que reciben 1000 kcal por raciones diarias en lugar de 700 kcal. La investigación concluye que no existe evidencia, a través de una gama de especificaciones y muestras, de que las calorías adicionales afectan la matrícula escolar y asistencia, edad de inscripción de primer grado de los estudiantes y repetición de grado y resultados de puntaje de la prueba de cuarto grado incluyendo exámenes nacionales de matemáticas y lenguaje.

Masangcay (2015) estima el efecto de los jóvenes que participan en el Programa Nacional de Almuerzo Escolar (NSLP por sus siglas en inglés) sobre las tasas de graduación en escuelas de todo Estados Unidos en 2010, con apoyo evidencia de los años 2000 y 2005. Los resultados empíricos muestran que el NSLP tiene un impacto positivo y creciente en el tiempo sobre las tasas de graduación y brinda a los estudiantes acceso a mejores niveles de nutrición a lo largo de los años. Cuando las escuelas participan en el NSLP, las tasas de graduación aumentan hasta cierto punto, luego se observa un efecto decreciente. Este hallazgo muestra que mejorar la nutrición es importante, pero depender de que las escuelas para proporcionen demasiado en términos de alimentación por estudiante por año puede tener un efecto perjudicial en el estudiante logro observado en todos los años probados.

Alderman, Buttenheim & Friedman (2011) evaluaron los programas de alimentación escolar en tres distritos del norte de la República Democrática de Laos. Idealmente, los formatos de alimentación escolar tendrían que haber sido asignado al azar a las escuelas, de modo que cualquier diferencia identificada en los resultados podría ser atribuido a los programas de alimentación escolar (Heckman y Smith, 1995 citado por Alderman, Buttenheim & Friedman 2011). Por lo que, el estudio se enfrenta a varios desafíos para la identificación de un contra factual adecuado. Primero, las circunstancias políticas y logísticas dictaron que los formatos de alimentación escolar (alimentación en el sitio, raciones para llevar a casa, o ambos) podrían asignarse al azar solo a nivel de distrito. Segundo, el distrito de control (sin recibir intervención) tuvo que ser seleccionado de una provincia vecina, como todos los demás distritos en la provincia de intervención ya participaban en la alimentación escolar. Un tercer desafío evaluativo es la adopción selectiva de la intervención dentro de los tres distritos de intervención, las aldeas eligieron participar en el programa de alimentación escolar ofrecido. Para abordar estas limitaciones, los autores utilizan los estimadores de diferencia en diferencia con ponderación de puntaje de propensión para construir dos contrafactuales plausibles. Encuentran mínima evidencia de que los esquemas de alimentación escolar aumentaran inscripción o mejora del estado nutricional de los niños.

Adrogue & Orlicki (2013) estima el efecto de los programas de alimentación escolar sobre el rendimiento académico en Argentina, utilizando los puntajes de las pruebas estandarizadas y el abandono escolar. Para esto, utilizaron un modelo de Diferencias en Diferencias, en el que aprovecharon el cambio a lo largo del tiempo en cuanto al suministro de programas de alimentación escolar durante el final de los noventa. Sus hallazgos sugieren que el programa se ha dirigido exitosamente a las escuelas más desfavorecidas. Sin embargo, solo se ha encontrado una mejora parcial en el rendimiento escolar. Los resultados de las pruebas de lenguaje fueron los únicos que mostraron una mejora estadísticamente significativa, sin efectos notorios reportados en los resultados de matemáticas y abandono escolar.

Frisvold (2015) estima el efecto del Programa de Desayuno Escolar sobre las habilidades cognitivas de los estudiantes. Para esto, el autor utiliza dos estrategias diferentes de estimación: Diferencias en Diferencias y Regresión Discontinua. Para Diferencias en Diferencias, compara estudiantes en escuelas con porcentajes altos y bajos de participación en el programa con otros estados que tienen umbrales más altos y más bajos. Por otro lado, en la Regresión Discontinua, compara estudiantes justamente encima del umbral (10-40%) con los que están justamente por debajo. Los resultados sugieren que los mandatos estatales han sido eficaces para aumentar la disponibilidad de los Programas de Desayuno Escolar en las escuelas, y que esto a su vez, repercute en la mejora de la nutrición de los estudiantes y efectivamente, en el desempeño de estos.

En cuanto a la literatura sobre programas de supervisión a Programas de Alimentación Escolar, Galaa & Saaka (2011) resaltaron la importancia de “institucionalizar” la estructura de la parte involucrada en los Programas de Alimentación Escolar, dígase los suplidores, los Comités de Supervisión del Programa y toda la logística de este, para la sostenibilidad y efectividad de estos programas. Por esto, esta investigación se propone evaluar el impacto sobre el desempeño académico de los estudiantes de la implementación del Sistema de Vigilancia de Alimentación y Nutrición Escolar (SISVANE), en el Distrito 17-02 que pertenece a la Regional 17.

3.        METODOLOGÍA

Dado que la asignación de escuelas para este programa no se realiza de forma aleatoria, y pertenecen todas a un solo distrito, cualquier comparación tiene asociado un problema de identificación. Para tratar de sobreponer o arreglar los problemas de estimación asociados a estos sesgos, se presentan resultados de diferencias usando tres métodos estadísticos: diferencias de medias con el estadístico t-student, análisis de regresión con el método de Mínimos Cuadrados Ordinarios (MCO) y un emparejamiento o Pareamiento de las Propensiones a Participar (o Propensity Score Matching, en Inglés).

Cada metodología brinda una perspectiva distinta del posible impacto del SISVANE sobre el desempeño de los estudiantes. Con sus limitaciones, la diferencia de medias nos brinda indicios de si efectivamente hay diferencias significativas entre las calificaciones de los estudiantes beneficiados o no por el SISVANE. Por otro lado, el análisis de regresiones aporta una idea de cómo cada variable incide en el puntaje de los estudiantes, en particular, como ser un estudiante de un Centro Educativo que se encuentra beneficiado por el SISVANE incide en obtener un mayor o menor puntaje en cada asignatura. Por último, como metodología para sobreponerse a los sesgos en que se incurren al no establecerse un criterio de comparación para la selección de las escuelas del SISVANE, el Pareamiento de las Propensiones a Participar, estima el impacto del SISVANE comparando con estudiantes de características similares que no beneficiados por este, aportando conocimiento de las implicancias que tendría la expansión del programa a nivel nacional.

Para el análisis de las regresiones, se planteó el siguiente modelo:

y_ijmg=α+δT_j+βX_ijg+ϵ_(i,j)

Donde:

        y son los puntajes en las Evaluaciones Diagnósticas, para el estudiante i, de la escuela j, para la asignatura m, del grado g (3ero o 6to grado).

        T_1 es una variable dicotómica o dummy que adquiere el valor de 1 si el estudiante se encuentra en Centro Educativo en el que funciona el SISVANE y 0 en el caso contrario.

        X_ijg es un vector de variables que describe las características del estudiante y su escuela como el quintil socioeconómico al que pertenece, sexo, si el estudiante se encuentra en condición de sobre edad y la ubicación del Centro Educativo.

Para el segundo grupo de regresiones, comparamos el efecto de pertenecer a un Centro Educativo dentro del SISVANE con el hecho de pertenecer al distrito 17-02 y estar dentro del SISVANE. Para esto, se incluyeron las variables ya mencionadas, con la adición de una variable dicotómica que toma el valor de 1 si el estudiante pertenece al distrito 17-02 y 0 en el caso de que pertenezca a cualquiera de los otros distritos dentro de la regional 17. Por igual, se incluyó una variable dicotómica que toma el valor de 1.

En la literatura económica de evaluación de impacto se ha hecho énfasis en la aleatorización como una medida para evitar incurrir en un sesgo de selección y que, por consiguiente, los resultados que se obtengan sean condicionados a las características propias de este subgrupo. Sin embargo, a la hora de evaluar el impacto de políticas o programas de forma ex post, y para las cuales no se tiene una regla de asignación clara (como una asignación aleatoria o un índice de elegibilidad) que explique por qué algunos individuos están bajo el programa y otros no, la metodología del “Pareamiento” consiste en una alternativa plausible.

Para esta investigación, se utilizaron los resultados de la Evaluación Diagnostica de 3ero y 6to Grado, las cuales fueron impartidas durante el año escolar 2017 y 2018 respectivamente, y estudiantes que se encuentran en Centros Educativos dentro de la Regional 17, y que están dentro de la Jornada Escolar Extendida.

En la Tabla 1, se muestran la cantidad de estudiantes dentro y fuera de la Jornada Escolar Extendida en la Regional 17. Es evidente que, aproximadamente, un 75% de los Centros Educativos de esta Regional, se encuentran dentro de la Jornada Escolar Extendida.

En la Tabla 2, se presentan las características de los estudiantes utilizados en nuestra muestra. En particular, se evidencia que tanto para 6to como para 3er Grado, hay más niños que niñas en cada clase, la mayoría de los centros se encuentra en zonas rurales y solo el 20% de los estudiantes no se encuentran en la edad teórica correspondiente a su grado.

Tomando en cuenta el quintil socioeconómico, en la Tabla 3 se evidencia cierta homogeneidad entre ambos grados: Más del 50% de los estudiantes se concentran entre los quintiles socioeconómicos 1 y 2, correspondientes a los estratos más vulnerables.

4.        RESULTADOS

DIFERENCIA DE MEDIAS

Con miras a identificar si existe una diferencia significativa en los puntajes de los estudiantes que participan en el SISVANE y aquellos que no, en la Tabla 4 se presentan los resultados de la diferencia de medias de las calificaciones de 3er Grado, dentro del mismo distrito 17-02. Encontramos que los estudiantes de 3er Grado que están dentro del SISVANE obtienen 14.3 puntos más en Español que aquellos que no lo están. En cuanto al puntaje en Matemáticas se encuentra un resultado similar: Los estudiantes del SISVANE obtienen 13.34 puntos más que aquellos que no están.

En la Tabla 5, se presentan los resultados para 6to Grado: en Español los estudiantes dentro del SISVANE obtuvieron 14.3 puntos más que aquellos que no estaban; en Matemáticas el impacto es aún mayor, ya que aquellos dentro del SISVANE obtiene 17.36 puntos más; para Naturales y Sociales, la diferencia es menor pero igual significativa.

Una de las limitaciones de este tipo de análisis, es que no se le puede atribuir estos resultados directamente a la participación de los estudiantes dentro del SISVANE, ya que hay otras variables que pueden incidir sistemáticamente en estos resultados.

ESTIMACIÓN CON MÍNIMOS CUADROS ORDINARIOS

Hasta el momento, esta investigación no ha tomado en cuenta variables que pudieran incidir en puntaje de los estudiantes en cada asignatura. Por esto, desarrollando un modelo de Mínimos Cuadrados Ordinario (MICO) estimaremos el impacto del SISVANE sobre el puntaje de los estudiantes, tomando en cuenta características de estos y del contexto en que se ubican los Centros Educativos al que pertenecen.

Como se puede verificar en la Tabla 6, los estudiantes de 3er Grado que se encuentran en la Jornada Escolar Extendida, que pertenecen a la regional 17 y cuyos centros educativos son parte del programa del SISVANE, obtienen 9.8 puntos más en la prueba de Español que aquellos que no lo están. Esta situación se incrementa y mantiene significativa para las Matemáticas, en la que los estudiantes obtienen 14.91 puntos más que aquellos cuyos centros educativos no están dentro del SISVANE. Adicionalmente, se evidencia que tanto para Español como Matemáticas, las niñas obtienen 14.68 y 13.35 puntos más que los niños.

Por otro lado, para el puntaje de Español, los estudiantes que tienen más edad que la edad teórica del curso obtuvieron 11.18 puntos menos que aquellos que se encuentran en la edad requerida para su grado. Sin embargo, se encontró un impacto negativo, pero no significativo para el puntaje de las matemáticas.

Para ambos casos, al controlar por quintil socioeconómico de los estudiantes y por la ubicación del Centro, no se encontró un impacto estadísticamente significativo.

Para el segundo set de regresiones, se incluyó una variable dummy que indica si el estudiante se encuentra en el Distrito 17-02 (que es donde está la concentración de escuelas del SISVANE) Al tomar esto en cuenta, encontramos que, comparado con los estudiantes de los demás distritos, estos tienen 21 puntos menos que la del resto de los estudiantes de la regional en Español. Sin embargo, si bien se observa que los estudiantes dentro del SISVANE obtienen 14.05 puntos más en la prueba de Español que aquellos que no están y los que se encuentran en el distrito 17-02 obtienen 21 puntos menos que los que están en otro distrito, resulta que los estudiantes que están dentro del SISVANE y en el distrito 17-02 en realidad obtienen sólo 6 puntos menos en esta asignatura que aquellos estudiantes que no están en el SISVANE dentro de este distrito. Lo mismo sucede para las Matemáticas: Los estudiantes dentro del SISVANE obtienen 16.54 puntos más que aquellos que no lo están, si en cambio, tomamos en cuenta el hecho de que están dentro este distrito, obtienen solo 4 puntos menos.

Por otro lado, se encuentra que las niñas obtienen 10 puntos más que los niños tanto en Español como en Matemáticas. Además, los estudiantes que se encuentran en una edad mayor a la edad teórica del curso, obtienen 8 puntos menos en Español y 5 en Matemáticas que aquellos que se encuentran en la edad correcta. A diferencia del set de regresiones anterior, en la que la ubicación del centro no tuvo un impacto significativo, los estudiantes que estudian en un centro educativo ubicado en una zona urbana obtienen 14.42 puntos menos que aquellos que se encuentran en una zona rural. Adicionalmente, controlando por quintil socioeconómico del estudiante, los que pertenecen a un quintil más alto, obtienen 2 puntos más en Español y 1.72 en Matemáticas.

La Tabla 7 presenta los resultados de las calificaciones en las asignaturas Español, Matemáticas, Naturales y Sociales para los estudiantes de 6to grado, cuyos centros educativos están dentro de la regional 17 o en particular, en el Distrito Educativo 17-02. Específicamente, las regresiones de la 1 a la 4, estiman el impacto de la participación de los Centros Educativos dentro del SISVANE respecto al resto de estudiantes que están dentro de la regional.

Dicho esto, se evidencia que, para la prueba de Español, los estudiantes cuyos centros educativos se encuentran dentro del SISVANE, obtienen 11.29 puntos más que aquellos que no. Este resultado es similar tanto para las pruebas de Matemáticas y Naturales, en la que obtuvieron 14.4 puntos y 7 puntos respectivamente. Por igual, se evidencia que ser del sexo femenino sostenidamente implica tener mayor puntaje que los niños en todas las pruebas. Por igual, los estudiantes en condiciones de sobre edad obtienen hasta 18 puntos menos en todas las pruebas.

Por otro lado, controlando por la ubicación del centro educativo, solo se encontró evidencia estadísticamente significativa sobre los puntajes de matemáticas y sociales, para los cuales los estudiantes cuyo Centro Educativo se encuentra en una zona urbana, estos obtienen 7.65 puntos menos que aquellos ubicados en las zonas rurales.

En cuanto al quintil socioeconómico, solo se encontró resultados estadísticamente significativos para el puntaje de Español, indicando que a mayor quintil socioeconómico pertenece el estudiante, este obtiene 2.66 puntos más.

Para el segundo set de regresiones, se encontró un impacto estadísticamente significativo de los estudiantes que asisten a un centro educativo que participa en el SISVANE sobre el Puntaje de Español, Matemáticas y Naturales, en las que obtienen 12.27, 15.54 y 5.84 puntos más que aquellos que no están dentro del SISVANE. Nuevamente, las estudiantes del sexo femenino obtienen hasta 17 puntos más en todas las pruebas que los del sexo masculino. La sobre edad resulto significativa para el puntaje de Español (14.34 menos) Matemáticas (3.23 menos) y Naturales (5.49 menos).

ESTIMACIONES CON PUNTAJES DE PROPENSIÓN A PARTICIPAR

El “Pareamiento” o “Matching” es una metodología que parte de técnicas estadísticas para construir un grupo de comparación artificial para cada unidad que recibe tratamiento. Tomando en cuenta las características observables de los estudiantes dentro del programa, se encuentra a un grupo de estudiantes con características similares que no participaron en programa, y estos fungen como el contrafactual. Sin embargo, mientras más requisitos se requieran para identificar una pareja similar dentro y fuera del programa, se puede caer en la llamada “maldición de las dimensiones”. Este fenómeno puede ser resuelto al utilizar la metodología de “Pareamiento de las Propensiones a Participar”, ya que para cada unidad del grupo de estudiantes dentro del programa y fuera de este, se computa la probabilidad o propensión a participar mediante los valores observado de sus características.

En la Tabla 8, se evidencia que el efecto promedio del SISVANE sobre los estudiantes que participan en él, implica obtener 4.973 puntos menos en la prueba de Español de 3er Grado, que aquellos estudiantes con las mismas características que no participaron en el programa. Adicionalmente, para Matemáticas, no se evidencio un impacto estadísticamente significativo.

En la Tabla 9, se muestra que el efecto promedio del SISVANE sobre los estudiantes que participan en él, resulta en obtener 8.74 puntos más en la prueba de español de 6to Grado, que aquellos estudiantes con las mismas características que no participaron en el programa. Adicionalmente, para Matemáticas, el impacto promedio fue de 5.91 puntos más en la prueba de Matemáticas y 5.3 puntos más en los puntajes de naturales. Para la prueba de Sociales, no se evidencio un impacto estadísticamente significativo, aunque por igual, fue positivo.

5. DISCUSIONES

Esta evaluación de impacto encuentra posibles efectos positivos del Sistema de Integral para la Vigilancia Alimentaria y Nutricional del Escolar en los aprendizajes. Ahora bien, poco se puede decir sobre los posibles mecanismos que podrían estar interviniendo en la aparición de esas diferencias. Por un lado, la información nutricional o antropométrica sólo toma a los beneficiarios del SISVANE, por la que esta no podemos demostrar que existe una diferencia entre los estudiantes que participan dentro de este programa comparados a aquellos que no están. Por otro lado, un sistema de vigilancia puede afectar otros elementos de la escuela más allá de la nutrición, como la gestión del centro educativo. Sin embargo, es esperanzador que estas diferencias sean positivas a favor de los estudiantes beneficiarios con el SISVANE.

Baker, et al. (2020) abogan por promover programas efectivos basados en paneles de expertos en educación nutricional, que, en conjunto con investigadores, logren consenso en mejores prácticas agrupadas. Ellos identifican en 28 mejores prácticas en 5 dominios (Diseño de programa, entrega del programa, características del educador, capacitación y evaluación del educador). De manera particular, las mejores prácticas que se proponen en cuanto al dominio de evaluación se encuentran que la evaluación debe ser formativa, identificar medidas de comparación y ser sostenible. El SISVANE todavía tiene mucho que aprender de sí mismo antes de escalar, y si quiere impactar los aprendizajes y la nutrición de forma focalizada y en atención a la equidad.

Esto implica un rediseño de la implementación del SISVANE, que tome en cuenta la obtención de datos nutricionales y antropométricos de estudiantes en Centros Educativos beneficiados por el PAE pero no supervisados por el SISVANE. Más aún, y dada la evidencia preexistente, se debe focalizar en escuelas que tengan bajos niveles de desempeño y de estratos socioeconómico más desfavorecidos. Las Evaluaciones Diagnósticas que realiza en Ministerio de Educación en la República Dominicana, al ser censal, dan cuenta del listado de escuelas con esas características, por lo que se debe partir de ahí. 

Aunque la presente evaluación hace un avance, no pueden tomarse como evidencia de una dirección de causalidad que va de la vigilancia en la implementación del PAE al desempeño educativo; ahora bien, el hecho de que la relación sea positiva abre un espacio de reflexión para guiar futuras expansiones del SISVANE que permitan hacer estudios de causalidad que entreguen evidencia científica irrefutable, más aún, en atención a los inevitables retrocesos motivados por el COVID-19. Esto nos debe llevar a plantear la necesidad de invertir en diseños de evaluación que incorporen logísticas de medición que permitan la identificación empírica de los impactos potenciales, o la identificación de innovaciones que hagan que estos programas sean más costos efectivos, y estén focalizados.

6. CONCLUSIONES

El SISVANE junto al PAE, son políticas públicas con una tarea importante para los estudiantes, y las familias que encuentran un alivio en la carga económica del hogar, garantizando alimentos a los beneficiarios. Si bien el SISVANE se relaciona con resultados positivos en aprendizajes, no es posible explicar si esa relación positiva depende de esa condición o de otra.

El sello distintivo del diseño de evaluación de impacto es lograr un buen grupo de comparación que le permite medir simultáneamente lo que sucedió después de la exposición al programa con lo que hubiera ocurrido en ausencia de exposición al programa, por lo que, para las futuras expansiones de esta intervención acompañadas con las medidas paliativas que se están planificando post COVID-19, puedan evaluarse y contar con un grupo de comparación seleccionado ex ante en una línea de base, en la que se tomen medidas antropométricas y nutricionales tanto a los estudiantes de escuelas intervenidas como a las de los grupos de comparación.

Además, debe incluir escuelas no intervenidas por el PAE que recoja también una línea de base de medidas antropométricas y nutricionales. De esta manera, podrían elaborarse una generación de evaluaciones de impacto que generen evidencia científica en la que se pueda basar la política educativa.

REFERENCIAS

Adrogue, C., & Orlicki, M. E. (2013). Do In-School Feeding Programs Have Impact on Academic Performance and Dropouts? The Case of Public Argentine Schools. Archivos Analíticos de Políticas Educativas=Education Policy Analysis Archives, 21(50), 1-23.  https://doi.org/10.14507/epaa.v21n50.2013

Agüero, J. M. (2016). Evaluacion de Impacto de la Jornada Escolar Completa. Revista Iberoamericana de Evaluación Educativa, 1(1), 124-139.

Baker, S. Auld, G. Ammerman, A. Lohse, B. Serrano, E., & Wardlaw, M. (2020). Identification of a Framework for Best Practices in Nutrition Education for Low-Income Audiences.  Journal of Nutrition Education and Behavior, 52(5), 546-552. doi: 10.1016/j.jneb.2019.12.007    

Bundy, D., Burbano, C., Grosh, M. & Gelli, A., Jukes, M., Drake, L. & Bank, World. (2009). Rethinking School Feeding: Social Safety Nets, Child Development, and the Education Sector. World Bank.

Buttenheim, A. M., Alderman, H., & Friedman, J. (2011). Impact Evaluation of School Feeding Programs in Lao PDR . World Bank.

Chakraborty, T., & Jayaraman, R. (2019). School feeding and learning achievement: Evidence form India's midday meal program. Journal of Development Economics, 139, 249-265. https://doi.org/10.1016/j.jdeveco.2018.10.011

Drake, L., Fernandes, M., Aurino, E., Kiamba, J., Giyose, B., Burbano, C., . . . Gelli, A. (2018). School Feeding Progams in Middle Childhood and Adolescence. World Bank.

Del Río, N.G. et al. (2019). Effects of a Gamified Educational Program in the Nutrition of Children with Obesity. J Med Syst 43, 198. https://doi.org/10.1007/s10916-019-1293-6

EDUCACIÓN, D. D. (2018). Resultados de la Evaluación Diagnóstica Nacional de 6to Grado de Primaria.

Frisvold, D. (2015). Nutrition and Cognitive Achievement: An Evaluation of the School Breakfast Program. Journal of Public Economics, 124, 91-104. https://doi.org/10.1016/j.jpubeco.2014.12.003

Galaa, S. Z., & Saaka, M. (2011). Running an Effective and Sustainable School Feeding Programme: Factors worth considering. Journal of Social Development in Africa, 26(2).

Headey, D., Heidkamp, R., Osendarp, S., Ruel, M., Scott, N., Black, R., . . . Walker, N. (2020). Impacts of COVID-19 on childhood malnutrition and nutrition-related mortality. The Lancet, 396, 519-521.

Hincapié, D. (2014). Do Longer School Days Improve Student Achievement?  IDB Working Paper Series, 679

Instituto Nacional de Bienestar Estudiantil. (2020). Obtenido de www.inabie.gob.do

Jomaa, L. & Mcdonnell, E. & Probart, C. (2011). School feeding programs in developing countries: Impacts on children's health and educational outcomes. Nutrition reviews, 69(2), 83-98. https://doi.org/10.1111/j.1753-4887.2010.00369.x

Jung, T., Jiancheng, H., Eagan, L., & Oldenburg, D. (2019). Influence of school-based nutrition education program on healthy eating literacy and healthy food choice among primary school children. International Journal of Health Promotion and Education, 57(2), 67-81. https://doi.org/10.1080/14635240.2018.1552177

Masangcay, E. J. (2015). The Effect of the National School Lunch Program on Educational Attainment.  Policy Anal Manage, 29(3), 479-505. https://doi.org/10.1002/pam.20506

McEwan, P. J. (2013). The impact of Chile's school feeding program on education outcomes. Economics of Education Review, 32, 122-139. https://doi.org/10.1016/j.econedurev.2012.08.006

Naciones Unidas (2020). Policy Brief: The Impact of COVID-19 on Food Security and Nutrition. Obtenido de: shorturl.at/eoxO3

Selmin, K., & Yildrim, G. (2020). The Effect of a Nutrition Education Program on Nutrition Behavior and Body Mass Index of Secondary School Students. International Journal of Caring Sciences, 10(10). https://doi.org/10.3390/nu10101439

UNICEF. (2019). Se reduce la desnutrición infantil crónica en República Dominicana y se incrementa el sobrepeso y la obesidad afectando al 33% de los niños en edad escolar. Unicef [Nota de prensa] shorturl.at/dKZ23

CÓMO CITAR:

Reyes, Y. & Morales, D. (2021). Evaluación de impacto del sistema de información y vigilancia de la alimentación y nutrición escolar. Revista de Investigación y Evaluación Educativa-Revie, 8(1), 18-37. https://doi.org/10.47554/revie2021.8.84  

ANEXO