Guía rápida para evaluar propuestas educativas

El mundo educativo vive en la actualidad un auténtico aluvión de propuestas para mejorar la calidad de los procesos de enseñanza y aprendizaje, el rendimiento escolar, el bienestar emocional del alumnado e incluso su éxito futuro. Familias y docentes estamos expuestos a esta lluvia constante que fomenta, e incluso en ocasiones exige, cambios más o menos profundos en los métodos, recursos, orientaciones, organización escolar, etc. En general en todas las propuestas se asimila cambio con innovación y, paralelamente, cambio con mejora de la calidad educativa. Sin embargo, esto no siempre es cierto. No todo cambio es beneficioso o, al menos, no más beneficioso que lo que ya veníamos haciendo (Chalmers, I. (2003).

A la hora de valorar la información que nos rodea sobre diferentes propuestas educativas es aconsejable contar con herramientas que nos permitan analizar de forma sistemática y objetiva las condiciones bajo las cuales dichas propuestas ofrecen mayores posibilidades de éxito. ¡Ojo! ninguna condición garantiza, por sí sola, que una propuesta sea acertada. Ni siquiera si se cumplieran todas las condiciones tendríamos el éxito asegurado. Las ciencias de la educación, al trabajar con personas, no gozan de ese nivel de exactitud. Pero, cuantos más elementos de rigor consideremos, más probable será que hagamos una valoración precisa de la propuesta. A continuación, vamos a presentar una sencilla guía en forma de preguntas que nos ayudará en este proceso de evaluación.

En primer lugar, debemos valorar la procedencia de cada propuesta, esto es, quién la publica. Por lo general, las propuestas más rigurosas provienen de fuentes que no están sometidas a un conflicto de intereses. Es obvio que aquella persona o entidad que crea una propuesta educativa, cree en ella y la valora positivamente. Pero cuando son profesionales que no han participado en su creación o distribución los que juzgan sus beneficios, es mucho más probable que ese juicio sea objetivo y ecuánime.

No se trata de restar valor a las opiniones de los promotores de una propuesta educativa. Su conocimiento es posiblemente el más completo y exhaustivo, pero difícilmente será imparcial. Todos los seres humanos estamos sometidos al sesgo de confirmación (Nickerson, R. S. (1998), que nos hace favorecer de modo involuntario aquella información que confirma nuestras creencias. Por ello debemos recurrir, en la medida de lo posible, a las evaluaciones que realicen profesionales independientes. También puede ocurrir que la propuesta implique algún tipo de inversión en material u otros recursos formativos que estén sometidos a monopolio, es decir, que solo puedan conseguirse de una fuente que es, además, la que está difundiendo y fomentando su implantación. En ese caso también debemos valorar cuidadosamente la objetividad de aquello que se nos presenta.

En segundo lugar, debemos examinar la información que acompaña a la propuesta. Cuando ésta se presenta en un lenguaje claro y preciso, recoge las opiniones de diferentes personas expertas y se asienta sobre datos concretos, independientes y contrastables es mucho más confiable. Las propuestas sin fundamento científico sólido suelen caracterizarse por un lenguaje hipertécnico, confuso y farragoso (Lilienfeld, S. O., Ammirati, R., and David, M. (2012). En lugar de sustentarse en datos contrastados, lo hacen en opiniones de los promotores y en experiencias personales aisladas. En otras ocasiones, la propuesta se ampara en la valoración de un único experto (o pequeño grupo de expertos) como referente absoluto. Es lo que conocemos como “falacia de autoridad”. La realidad es que las pruebas que justifican la idoneidad de una práctica educativa de calidad no pueden provenir de experiencias u observaciones personales, ni de datos anecdóticos, ya sean de ciudadanos anónimos o de expertos académicos. Es el consenso, el grado de acuerdo científico, el que determinará si una práctica es adecuada, confiable y de calidad.

En tercer lugar, es importante evaluar el tipo de pruebas presentadas. Esta cuestión está muy relacionada con la idea anterior. Idealmente, una propuesta educativa debe estar respaldada por estudios científicos de calidad. Se espera que estos estudios incluyan un grupo experimental, sobre el que se pone a prueba la propuesta educativa, y un grupo de control. Este segundo grupo realiza una tarea similar a modo de placebo, es decir, una tarea que se parece a la que queremos evaluar, pero que no tiene efectos reales. Asimismo, se espera que estos estudios sean sometidos a una “revisión por pares”, es decir, una evaluación independiente e imparcial de varios expertos antes de ser publicados. Si además los estudios son numerosos, tanto mejor, aunque en el caso de propuestas novedosas es obvio que esto no es siempre posible. Por último, debemos estar especialmente alerta ante aquellos estudios que presentan beneficios sin matices, que funcionan siempre, bajo cualquier circunstancia, aquellos que no tienen “letra pequeña”.

En cuarto lugar, es aconsejable analizar si los estudios que respaldan una práctica concreta han verificado que la causa del éxito reside en sus características y no en elementos externos. Para ello, lo correcto es que estos estudios comparen la eficacia de la práctica educativa concreta con la de otra práctica similar. Si, por el contrario, la comparan con no intervenir estarán pasando por alto que en educación hacer algo suele ser siempre mejor que no hacer nada. De igual forma, pueden cometer el error de atribuir a la intervención unos beneficios que podrían explicarse mejor por otras razones. Es lo que ocurre cuando se utiliza, por ejemplo, una práctica educativa con alumnado de entornos socioeconómicos medio-altos y familias altamente implicadas y se concluye con rotundidad que los buenos resultados se deben a la práctica.

Si no se comprueba que esta misma práctica arroja los mismos resultados satisfactorios en alumnado procedente de entornos socioeconómico medio-bajos, ¿podemos aseverar que su eficacia es independiente de las condiciones socioeconómicas y culturales de los aprendices? En esta misma línea, es importante no perder de vista que “correlación no implica causalidad”, es decir, que dos hechos correlacionen no quiere decir que el primero sea causa del segundo. Podría ser al revés. Es más, podría ocurrir que ambos hechos fueran la consecuencia de un tercer factor desconocido. O que ambos fueran dos hechos totalmente independientes que, de modo azaroso, correlacionan entre sí.

En quinto y último lugar, es importante valorar cómo encaja una propuesta educativa con el mejor conocimiento disponible en cada momento. No podemos olvidar que la ciencia cabalga a hombros de gigantes, esto es, avanza gracias al conocimiento acumulado durante años por expertos de diferentes disciplinas (como la psicología, la pedagogía, la sociología o la neurociencia, en el caso de la educación). Y, en ese sentido, se va actualizando, completando y ampliando de modo progresivo, paso a paso. Pese a que en ocasiones se muestra el avance científico de un modo revolucionario, lo habitual es que la ciencia avance lentamente y a pequeños pasos. Todo nuevo conocimiento se apoya sobre datos, teorías y fundamentos anteriores. Si una propuesta se presenta como rompedora, debemos comprobar con especial cuidado si lo que ocurre en realidad es que está al margen de la ciencia, concretamente, de sus mecanismos de seguridad y control.

Una vez hayamos analizado la propuesta educativa que nos interesa a la luz de estas preguntas, estaremos en condiciones de emitir un juicio más ponderado. No se trata de aceptar cualquier propuesta que cumpla todos los requisitos de calidad aquí presentados ni de rechazar de plano cualquiera que no los cumpla. Se trata, por contra, de tener información suficiente para poder formarnos una opinión seria como docentes o como familia y tomar decisiones con garantías. El fin último es contribuir a formar y participar de una sociedad más crítica e informada en materia educativa. Es nuestro derecho y nuestra responsabilidad.

Si tras leer este artículo, os han surgido preguntas, uniros a un Twitter Chat en nuestra cuenta de Twitter (@FECYT_Ciencia) el próximo lunes, 21 de septiembre, a partir de las 19:00 h. Podréis hablar con las autoras del artículo en directo.