Entre el 13 de agosto y el 4 de septiembre de 2002, el equipo de béisbol de los Atléticos de Oakland tuvo una racha de 20 juegos consecutivos ganados. Su entrenador Billy Beane, con la cartera más baja de la liga (40 millones de dólares), conformó un equipo de jugadores con talentos ignorados por otros entrenadores, pero que él supo aprovechar utilizando las estadísticas. Esta herramienta también lo ayudó a identificar y explorar ineficiencias en sus oponentes.
Michael Lewis escribió un libro sobre la estrategia implementada por Beane y la denominó Moneyball. La obra se convirtió en un bestseller; trata sobre cómo tomar decisiones y asignar recursos escasos con base en números y evidencia sólida. Sus ideas revolucionaron la forma de ver el deporte y dieron pie a un cuestionamiento sobre su aplicación en el sector público: ¿pueden los datos y la evidencia revolucionar la gestión pública?
La respuesta es sí. El libro Moneyball for government, escrito por Kelly Ayotte, Mark Warner, Michele Jolin, Glenn Hubbard, entre otros autores, explica a detalle cómo. Permíteme compartirte algunas lecciones valiosas de la obra.
Portada del libro Moneyball for Government de Kelly Ayotte, Mark Warner, Glenn Hubbard, Gene Sperling, Melody Barnes, John Bridgeland, Kevin Madden y Howard Wolfson
El especialista en políticas públicas realiza su tarea con base en datos y evidencia. Sin estos insumos, su trabajo pierde valor. Es por esto, que decidí compartirles las ideas centrales de uno de los capítulos que más me gustaron del libro.
La clave para mejorar el desempeño de los programas sociales es comprender qué funciona y qué no. De eso se trata Moneyball y, aunque esta práctica ya es utilizada por el gobierno, no se ha aprovechado al máximo en la valoración de programas sociales, es decir, todavía existen áreas de oportunidad por cubrir.
¿Todos los datos evidencian “algo”?
Un error muy común es que servidores públicos de todos los órdenes de gobierno confunden datos con la evidencia. Cuando se dice que el gobierno carece de evidencia que compruebe si sus programas funcionan o no, no significa que tampoco disponga de datos. En realidad, recopila muchos datos y de diferente tipo.
El número y costo de los beneficiarios de un programa social son datos que, de ningún modo, revelan cuánto o cómo ha cambiado la vida de las personas; es decir, no evidencian el éxito del programa. Déjame explicártelo con un ejemplo:
Imagina que hay un programa que consiste en reducir el número de alumnos en las clases de tercer grado de primaria, con el objetivo de mejorar, en el corto plazo, la atención y educación brindadas por el docente y, en el largo plazo, la eficiencia terminal en el nivel secundaria.
El éxito del programa, en el corto plazo, podría medirse comparando indicadores como el porcentaje de alumnos que aprobaron todas las materias con el obtenido un año antes. Calcular y analizar los resultados inmediatos de la intervención no sería un problema; sin embargo, medir sus efectos en un horizonte más lejano, sí.
No podría decirse que el programa fue un éxito en el largo plazo si, de la primera generación en la que se implementó, el 75 por ciento se graduó de la escuela secundaria, ¿por qué? Porque este efecto puede ser consecuencia de otros factores.
Podría ser que el municipio donde se aplicó el programa esté ubicado en una colonia próspera, con altos salarios y bajos costos de viviendas, que atrae a docentes muy preparados y capaces de lograr los mismos resultados con clases de 10, 20 o 30 alumnos; por lo tanto, el porcentaje de estudiantes graduados de la secundaria podría deberse a esta situación y no al programa. Entonces, ¿cómo conocer si un programa es efectivo? Una opción es realizando una evaluación de impacto.
¿En qué consiste una evaluación de impacto?
Realizar una evaluación de impacto tiene cierto grado de complejidad; en algunos casos, implica efectuar un ensayo controlado aleatorio sobre un conjunto de personas para analizar los efectos de una intervención, con base en una hipótesis, por ejemplo:
Un médico investigador quiere probar la efectividad de una píldora para perder peso. Lo ideal sería evaluar al mismo individuo en dos realidades: una en la que toma la pastilla y otra en la que no, pero esto solo pasa en las películas. Así que mejor decide llevar a cabo una evaluación de impacto.
Para que los resultados sean contundentes, el investigador debe conformar dos grupos, uno de control y otro de tratamiento, con individuos seleccionados de manera aleatoria, pero con las mismas características: nivel educativo, peso, historial médico, hábitos de ejercicio, entre otras, para que sean lo más parecidos posible. Lo único diferente es que uno deberá tomar la píldora (tratamiento) y otro no (control). Valorar los resultados en ambos grupos, antes y después, nos permitirá conocer la efectividad de la medicación.
En la práctica, las evaluaciones de impacto suelen ser costosas, en términos de tiempo y dinero, sin embargo, son una herramienta muy útil para conocer la efectividad real de un programa.
¿Por qué lo recomiendo?
Porque explica cómo puede recolectarse evidencia sólida para saber si un programa social funciona o no y también cómo pueden aprovecharse mejor los recursos asignados para valorar las intervenciones públicas. En mi opinión, las conclusiones más relevantes del libro son:
Independientemente del tipo de evaluación de política pública que desees realizar, te tienes que asegurar de hacer una evaluación inteligente. Pero, ¿qué es una evaluación inteligente? Es aquella que te permite aprender durante el proceso, comprender con certeza, formular nuevas ideas y tomar decisiones sobre un programa o política pública. Para lograr esto, propongo los […]
¿Qué contiene el libro? Este libro responde cuatro preguntas clave: ¿Cuáles son las opciones o alternativas disponibles y cómo puedo encontrarlas? Los autores aconsejan examinar todas las opciones posibles antes de tomar una decisión, es decir, ir más allá de las alternativas evidentes u obvias. Para ello, proponen dos pasos: 1) comprender la situación actual […]
No existe un solo tipo de evaluación. Así como existen múltiples definiciones y razones para evaluar, también hay diversas clases de evaluación. ¡No te preocupes! No es necesario atiborrarte de toda esa información. Hay tipologías ampliamente usadas en manuales y guías de organismos multilaterales, instituciones gubernamentales, agencias de cooperación y fundaciones que operan programas de […]
