Pronunciamiento
La Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto impacto en el Contexto Académico y Profesional Costarricense, y el Colectivo Mujeres por Costa Rica, comunican:
Que la información oficial suministrada públicamente por el Ministerio de Educación Pública (MEP), sobre los resultados de las Pruebas Nacionales Estandarizadas (PNE) para estudiantes de primaria y de secundaria, donde se clasifica a las personas estudiantes en tres niveles, llamados Básico, Intermedio y Avanzado, habiéndose evaluado cada asignatura con un máximo de ocho ítems de selección única, y sin ninguna explicación sobre la metodología utilizada, imposibilita cualquier intento de generar, en forma válida, interpretaciones útiles y confiables para diagnosticar el logro educativo, por parte del estudiantado. A todas luces, lo que puede evaluarse con un número tan escaso de ítems, es solo un fragmento muy reducido del conjunto de aprendizajes meta establecidos en los programas de estudio vigentes.
Tampoco se ha explicado la justificación para los nombres, tan contundentes, dados a estos niveles de desempeño, pues la denominación de básico, intermedio o avanzado en una disciplina de estudio particular, no debe ser arbitraria y debe basarse en un sólido marco de referencia. Asimismo, la analogía, pueril y simplista, brindada por las autoridades del MEP para explicar su significado por medio de los tres colores de un semáforo, solo contribuye a reforzar su ausencia de utilidad educativa y rigurosidad científica.
Aunado a lo anterior, el reportar únicamente los resultados agregados a nivel del centro educativo y no por estudiante, impide que las personas docentes, y el mismo estudiantado, puedan valorar y atender de manera individual el desempeño estudiantil, con el propósito de mejorar sus aprendizajes.
Más aún, la escasa cantidad de ítems de selección única utilizados para evaluar cada asignatura, muy probablemente está provocando que una parte relevante de los resultados estén afectados por el mero azar, al existir, para cada pregunta, una probabilidad de respuesta correcta de un tercio, cuando se elige una de las tres opciones al azar, es decir adivinando.
Así las cosas, los resultados reportados pueden conducir a conclusiones equivocadas, dejando a la imaginación de cada persona lectora su posible significado. A partir de esta situación es posible prever la generación de consecuencias negativas para el proceso educativo estudiantil y en la toma de decisiones de política educativa.
Debe recordarse, además, que estas pruebas tampoco contaron previamente con una tabla de especificaciones, que incluyera los contenidos y los procesos a evaluar, así como la ponderación o puntuación para cada ítem, ejercicio o pregunta.
En comunicados anteriores nuestros equipos ya habían alertado sobre las deficiencias técnicas de estos exámenes y lo presentado hasta ahora confirma nuestras valoraciones iniciales.
En esas comunicaciones previas, también indicamos que las descripciones sustantivas de desempeño, generadas con la necesaria rigurosidad técnico-científica, son uno de los elementos esenciales con que debe contar una prueba estandarizada educativa.
Así, la prueba estandarizada educativa debe proveer, además de la nota numérica, una descripción cualitativa, válida y confiable, de lo que representan esos puntajes numéricos en términos del desempeño estudiantil, es decir, contestar a la pregunta, ¿qué puede o no hacer la persona examinada de acuerdo con el puntaje obtenido? Evidentemente tales descripciones son relevantes para la toma de decisiones sobre las personas examinadas y para las autoridades responsables de la política educativa.
Especialmente si se trata de fines diagnósticos, tal como era el alegado propósito de estas pruebas, se requiere que la prueba contenga un número suficiente de ítems o preguntas para representar adecuadamente los niveles de desempeño que se pretenden interpretar, máxime si se trata de contenidos curriculares que abarcan ciclos lectivos completos.
Además, es importante que, para el análisis de los resultados se empleen modelos de medición que permitan generar esas descripciones de manera confiable y científicamente defendible, como por ejemplo el modelo de Rasch.
Para ilustrar, en el caso de las pruebas PISA para el área de Alfabetización Científica, se definen seis niveles de desempeño que claramente describen las competencias específicas requeridas para ubicar allí a una persona examinada. Por ejemplo, se indica que las personas en el nivel 4 “trabajan con eficacia en situaciones y problemas que pueden involucrar fenómenos explícitos requeridos para hacer deducciones sobre el papel de la ciencia o la tecnología. Seleccionan e integran explicaciones de diferentes disciplinas de ciencia o tecnología, y vinculan estas explicaciones directamente con los aspectos de la vida cotidiana. Las personas estudiantes en este nivel reflexionan sobre sus acciones y comunican sus decisiones utilizando el conocimiento y la evidencia científica[1].”
Entonces, según se infiere de la información que se ha hecho pública, es preocupante que de los escasos recursos destinados a la educación se haya gastado una cantidad considerable en la construcción y aplicación de pruebas que no brindan evidencia de utilidad sustantiva para la toma de decisiones y la mejora de los aprendizajes del estudiantado, y que más bien pueden conducir a conclusiones equivocadas sobre estos. De igual manera, lamentamos todo el tiempo y esfuerzo empleados en la aplicación de estas pruebas, con tantas deficiencias técnicas, cuando se pudieron dedicar a los procesos de enseñanza y aprendizaje, canalizando recursos para elaborar planes, debidamente fundamentados, que orienten la recuperación educativa.
En este contexto, algunos de los principales cuestionamientos que el MEP y el Consejo Superior de Educación están obligados a responder ante la sociedad costarricense son:
1- ¿Qué evidencia de validez puede proveer para justificar una evaluación diagnóstica de cada estudiante, con únicamente entre 6 y 8 ítems de selección única por asignatura, y cubriendo los aprendizajes correspondientes a ciclos lectivos completos?
2- ¿Qué metodología se siguió para la creación de los tres niveles de desempeño que se reportan y cuál es su validez técnico-científica?
3- ¿Qué justificación técnico-científica fundamenta la decisión de nombrar esos tres niveles de desempeño como Básico, Intermedio y Avanzado?
4- ¿Qué evidencia existe sobre el grado de validez de contenido de estas pruebas?, es decir ¿en qué medida cubren apropiadamente los aprendizajes establecidos en los programas de estudio, los cuales están diseñados según habilidades?
5- ¿Cuál es la justificación para definir únicamente tres niveles de desempeño cuando la mayoría de las pruebas estandarizadas educativas a nivel internacional utilizan al menos cinco niveles, con el propósito de arrojar información más precisa?
6- ¿Qué uso y qué utilidad se espera que den los centros educativos y las personas docentes a los resultados reportados de las pruebas?
7- ¿De qué forma el MEP y el Consejo Superior de Educación utilizarán los resultados reportados de las pruebas para realimentar las políticas educativas que contribuyan al mejoramiento de nuestro sistema educativo?
8- Estas pruebas solo evaluaron, en cada estudiante, fragmentos muy reducidos de todos los aprendizajes propuestos en los programas de estudio. ¿De qué forma se va a obtener información, válida y confiable, sobre el logro de esos otros aprendizajes, que son la gran mayoría, y no están representados en estos exámenes? Dichos aprendizajes no solo incluyen dimensiones cognitivas sino también actitudinales.
9- ¿Qué criterios se utilizaron para justificar que se excluyeran de la realización de estas pruebas a personas estudiantes en condición de discapacidad y a personas migrantes?
Hacemos un llamado a la opinión pública, especialmente a docentes, estudiantes, padres y madres de familia, para que, asumiendo su legítimo derecho a una educación de calidad, exijan al MEP y al Consejo Superior de Educación, evaluaciones educativas estandarizadas con rigurosidad científica y equidad, que permitan mejorar los aprendizajes del estudiantado de manera integral, y que no perjudiquen sus posibilidades de promoción en la educación regular, considerando las grandes desigualdades en sus oportunidades de aprender.
Por la Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto Impacto en el Contexto Académico y Profesional Costarricense:
Graciela Ordóñez Gutiérrez. Doctora en Educación, máster académica en Evaluación Educativa
María Julieta Solórzano Salas. Doctora en Ciencias de la Educación, máster en Evaluación Educativa
Eiliana Montero Rojas. Doctora en Evaluación Educativa
Diana Arce Flores. Doctora en Ciencias de la Educación, máster en Evaluación Educativa, administrativa-docente
Sandra Zúñiga Arrieta. Máster en Evaluación Educativa, educadora
Allen Quesada Pacheco. Doctor en Currículo e Instrucción, M.Sc. en Tecnología Educativa, Programa de Evaluación en Lenguas Extranjeras (ELM)
Katalina Perera Hernández. Docente e investigadora, doctora en Educación con énfasis en Mediación Pedagógica
M.Sc. María del Rocío Ramírez González. Analista curricular
MTE. Juan Carlos Mora Hernández. Máster en Tecnología Educativa (ITESM), educador pensionado
Dra. Vanessa Smith Castro. Psicóloga, Instituto de Investigaciones Psicológicas, Escuela de Psicología, Universidad de Costa Rica
María Paula Villarreal Galera. Máster en Evaluación Educativa
Yency Calderón Badilla. Profesora, máster académica en Evaluación Educativa
Luis Miguel Rojas Torres. Doctor en Educación, máster en Estadística, Escuela de Matemática e Instituto de Investigaciones Psicológicas, Universidad de Costa Rica
Laura Jiménez Umaña. Máster en Evaluación Educativa, investigadora y evaluadora
Por el Colectivo Mujeres por Costa Rica:
Dra. Susan Francis Salazar
Dra. Alicia E. Vargas Porras
Dra. Yamileth González García
Dra. Yolanda Rojas Rodríguez
Dra. Lupita Chaves Salas
Dra. Tania E. Moreira Mora
M.Ed. Melania Monge Rodríguez
Lic. Josefina Pujol Mesalles
Dra. Virginia Ramírez Cascante
Lic. Vera Sancho Mora
M.Sc. Karla Salguero Moya
Dra. Eiliana Montero Rojas
San José, 24 de julio de 2023.
[1] Tomado de “El programa PISA de la OCDE: Qué es y para qué sirve.” https://www.oecd.org/pisa/39730818.pdf