INTRODUCCIÓN

La evaluación es una herramienta para mejorar la gobernanza; es decir, asumiendo que la política pública es para resolver problemas específicos, la efectividad de la evaluación está en la medida en que los cambios a la política, programa o proyecto público, pueden atribuirse total o parcialmente a la evaluación realizada. Por ello, desde una visión comprehensiva, el uso de la evaluación es esencial para cerrar el ciclo de política pública y la gobernanza.

La literatura también refiere el uso como utilización o efectividad con múltiples clasificaciones como instrumental, conceptual, aprendizaje, procesos, simbólico y político. Sin embargo, en el sistema de Monitoreo y Evaluación (M&E) en México, el uso de la evaluación toma formas más simples para mejorar, modificar o cancelar programas públicos. También es relevante para el aprendizaje institucional, fortalecer la transparencia y rendición de cuentas, y en cuanto al proceso presupuestario la evaluación es una herramienta para la asignación de recursos públicos, aunque puede prevalecer el status quo o no tomar una decisión, lo cual tiene relación con el uso político y se explica más adelante.

Lo anterior se relaciona con la política basada en evidencia, concepto asociado a la Nueva Gestión Pública (NGP) y clasificado en tres tipos de conocimiento: político, práctico y científico. A este último pertenece la evaluación a programas públicos por considerar la valoración y el análisis sistemático de estos programas, mediante metodologías específicas. En otro apartado se describen las condiciones y barreras para el uso de evidencia en el Congreso y examina la naturaleza política de la evaluación que orienta las decisiones públicas de los actores políticos.

Con base en lo anterior, el objeto de este artículo es conocer el uso de la evidencia evaluativa de estos programas públicos en el Congreso mexicano para cumplir con su función legislativa y el debate parlamentario. El estudio parte de un análisis cualitativo de las evaluaciones a programas públicos del sector salud en el periodo 2007-2014. Sin embargo, la investigación se extiende hasta 2018 para examinar el trabajo legislativo, mediante una revisión documental de dictámenes, diario de los debates, iniciativas de ley y presupuestos de egresos. También se incluyeron un conjunto de entrevistas a congresistas y funcionaria(o)s de distintas Comisiones y el Centro de investigación del Congreso y Auditoría Superior de la Federación para conocer si en el debate y la agenda legislativa se utilizaron las evaluaciones.

Con base en los resultados, se confirma un uso limitado de la evidencia evaluativa en el Congreso. Las conclusiones apuntan hacia la naturaleza política de la evaluación y otros factores institucionales que influyen en estas decisiones. Por ejemplo, aun cuando la evaluación requiere de incentivos como el presupuesto para vincular los resultados con las asignaciones presupuestarias (Wiesner, 2002), la evidencia muestra que solamente en el ejercicio fiscal del Proyecto de Presupuesto de Egresos de la Federación PPEF 2011 se asignaron los recursos a partir de sus resultados. Este fue un caso aislado y no se identifica otro ejercicio presupuestario previo o posterior al 2011.

Algunas premisas sugieren el posible uso político de la evaluación de congresistas, quienes responden en gran medida a los intereses de los partidos de donde provienen y cuya racionalidad está influida por la autoridad jerárquica y la agenda política de estas organizaciones. Incluso, decidir no actuar forma parte del proceso decisorio por las consecuencias políticas de ciertas decisiones públicas. Otros factores que limitan el uso son la calidad y oportunidad de la información, así como la autonomía del ente evaluador.

Finalmente, se presentan algunas propuestas para incidir en la toma de decisiones de actores políticos del Legislativo como la interacción entre especialistas y académicos con las Comisiones que integran el Congreso para acercar la evidencia al debate parlamentario. Además del involucramiento de Organizaciones No Gubernamentales (ONG) y ciudadanía para exigir que la evidencia evaluativa sea considerada en la agenda legislativa.

EL USO DE LA EVALUACIÓN

Como se ha mencionado, la efectividad de la evaluación está en la medida en que las mejoras o cambios al programa público pueden atribuirse total o parcialmente a la evaluación realizada. De esta forma, la efectividad radica en su uso, es decir, a partir de la evaluación, las recomendaciones deben orientar las decisiones públicas de usuarios potenciales como operadores de programas, funcionaria(o)s públicos y actores políticos para valorar el desempeño de estos programas.

Para Dahler-Larsen (2005), la utilización está basada en la premisa de que las evaluaciones se realizan para tener un rol en el futuro «situaciones de acciones prácticas» (p. 623), aunque estas no son usadas siempre. Essama-Nssah (2013: 1) señala: «La evaluación efectiva debe producir información de lo que funciona, lo que no y por qué», y responder preguntas como ¿se están haciendo las cosas correctas y en la forma adecuada? Lo que se está haciendo, ¿funciona y vale los costos?, y ¿los resultados aportan información cuando los responsables de la formulación de políticas la requieren?

La literatura refiere el uso como utilización, efectividad, política basada en evidencia o teoría de la evaluación focalizada en su uso, esta última desarrollada por Patton (2004) y se clasifica en:

No obstante, la complejidad para identificar estos usos radica en la capacidad de los actores involucrados para asimilar su importancia, efectos y documentarlos como resultado de los procesos evaluativos. Además, en la práctica observada del sistema M&E de políticas, programas y proyectos públicos del gobierno mexicano, el uso de la evaluación toma formas más simples que la taxonomía señalada, aunque está relacionada. Por ejemplo, la figura muestra el uso de la evaluación para mejoras, modificaciones o eliminación de programas, incluyendo la fusión de dos o más programas para lograr su eficiencia, lo cual puede vincularse al uso instrumental.

También es relevante para el aprendizaje institucional, la transparencia y rendición de cuentas, y en cuanto al proceso presupuestario, la evaluación es una herramienta para la (re)asignación de recursos públicos, esto es, el uso conceptual, de procesos o persuasivo. Por último, los decisores pueden optar por el status quo, es decir, no tomar acción o decisión pública, lo que puede corresponder con el uso político de la evaluación.

USOS DE LA EVALUACIÓN

Es pertinente mencionar que este sistema M&E se fortaleció con la Reforma hacendaria de 2006 y el modelo Presupuesto basado en Resultados (PbR), el cual vincula el diseño, la planeación e implementación de programas públicos con el proceso presupuestario, mediante la evaluación; y con el Sistema de Evaluación del Desempeño (SED), que incluye indicadores de gestión y estratégicos para monitorear el desempeño gubernamental -ver artículos 25, 110 y 111 de la Ley Federal de Presupuesto y Responsabilidad Hacendaria, LFPRH (DOF, 20/05/2021). Este modelo pretende modificar la forma tradicional del proceso presupuestario, es decir, asignar recursos de manera inercial, con base en el PEF del año previo.

La LFPRH establece que la evaluación es obligatoria para todos los poderes de la Administración Pública Federal (APF) y entes autónomos que ejerzan recursos públicos, y el artículo 134 constitucional (DOF, 28/05/2021) reconoce la obligatoriedad para los gobiernos locales. La coordinación del proceso evaluativo de programas públicos del poder Ejecutivo central está a cargo de la Secretaría de Hacienda y Crédito Público (SHCP) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), y los usuarios de las evaluaciones son los operadores de estos programas, funcionarios públicos y otros actores políticos, como congresistas, quienes utilizan las evaluaciones para el proceso presupuestario y otros fines vinculados a su función legislativa. Desde otro frente, la evaluación es potencialmente útil para las ONG, academia y ciudadanía para valorar el desempeño gubernamental.

LA POLÍTICA BASADA EN EVIDENCIA

El uso de las evaluaciones también se relaciona con un concepto más amplio definido como política, investigación o práctica basada en evidencia -conocida en inglés como evidence-based policy, evidence-based policy and practice, evidence-based policy research, evidence-based policy making. Para Head (2010: 80), «es un movimiento que promueve el análisis riguroso de políticas y servicios para proveer insumos a los operadores de políticas en el desarrollo y mejora de programas públicos».

Este concepto se identifica desde la década de los noventa en países como Estados Unidos (EE. UU.), Reino Unido y otros de Europa (Head, 2008; 2010), y organizaciones como Cochrane Collaborations, Economic & Social Research Council, Campbell Collaborations, US Commission on Evidence-based Policymaking, UK Parliamentary Office of Science and Technology, post, European Parliamentary Technology Assessment, EPTA, para promover el enfoque y uso de evidencia en sectores de la política social, salud, educación, empleo, etcétera. Sin embargo, en países emergentes como México, la literatura se relaciona principalmente con la Medicina Basada en Evidencia (MBE), salud pública y ciencias médicas (Boucourt, 2003; Fresno, 2001; González et al., 2009), aunque también hay evidencia en el campo policial y de criminalística (Cardozo, 2021).

La evidencia se asocia con un enfoque teórico de valor positivo, vinculada principalmente a la medición cuantitativa y conceptos como objetividad, rigurosidad, cientificidad, experiencia, modelos, datos robustos, cuasi experimentación o estandarización y se complementan con la técnica cualitativa (Cardozo, 2021). Bracho (2010) agrupa la evidencia en revisiones sistemáticas, estudios sobre proyectos específicos, piloto y de caso, las cuales son producto de investigación aplicada original o precedente.

También la evaluación puede influir la política según los enfoques utilizados. Desde el enfoque constructivista, la evidencia perjudica la política porque establece jerarquías, favoreciendo cierto conocimiento (modelos estadísticos) sobre otros (etnografía, opiniones, experiencias); además, se enfoca más en el proceso y el juicio racional, en lugar de las interpretaciones y la visión humanista, lo que no es deseable ni democrático, mientras que el enfoque racionalista/positivista adopta una visión normativa y filosófica donde la evidencia es central para el diseño e implantación de la política pública, y su uso genera resultados exitosos de la política en beneficio de la ciudadanía (Newman, 2017), retroalimenta el sistema político (Karlsson y Conner, 2006).

Por el contrario, para Cardozo (2021) esta corriente positivista asociada con el desarrollo de evaluaciones en países como Colombia, Chile y México, delimita la evidencia a información cuantitativa e.g. bases de datos, información, estadísticas oficiales y pruebas, por encima de los métodos cualitativos, asociado al enfoque constructivista, y agrega que la evidencia conclusiva no existe, debido a que las evaluaciones muestran aspectos positivos y negativos que no son categóricos.

Por ello, Newman (2017) asegura que no hay tal debate y los argumentos se complementan más que oponerse para incrementar el uso de información en la resolución de problemas sociales. Desde un enfoque cultural, la evaluación responde a principios organizacionales para legitimar un programa o para el debate público de líneas de acción del gobierno, aunque también puede adulterarse cuando se mezclan la evaluación y el contexto político (Karlsson y Conner, 2006).

Para Head (2008), este concepto de evidencia tiene una connotación de eficiencia y efectividad relacionada con los postulados de la NGP y se clasifica en: I) conocimiento político, es el análisis y juicio de los actores políticos e incluye estrategias, tácticas, formulación de agenda, persuasión, apoyo, coalición, negociación, etc.; II) conocimiento práctico, es la experiencia empírica de los profesionales en la comunidad, relacionado con la información cualitativa sobre las percepciones, experiencias, actitudes, valores de los programas, beneficiarios y usuarios de servicios evaluados, y III) conocimiento científico o basado en investigación, es el análisis sistemático del presente, pasado y relaciones causales de las condiciones y tendencias, e incluye la valoración de programas y enfoques metodológicos. Este último incluye el uso de métodos científicos, como estudios controlados aleatorizado o metaanálisis (Cairney, 2016).

A partir de estas definiciones, la evaluación a programas públicos, también entendida como evidencia evaluativa, está dentro del conocimiento científico, por considerar la valoración y el análisis sistemático de políticas y programas públicos mediante metodologías específicas según el tipo de evaluación. En este nivel de conocimiento también se pueden considerar los estudios, auditorías y evaluaciones a programas públicos que realizan la Auditoría Superior de la Federación (ASF) y su Centro de estudios; los informes generados por los Centros de estudios desde el poder Legislativo, que se describen más adelante; la evaluación de la gestión gubernamental, a cargo de la Secretaría de la Función Pública (SFP), y los censos, estadísticas y encuestas del Instituto Nacional de Estadística y Geografía (INEGI). Finalmente, la evidencia puede incluir investigaciones y estudios desarrollados por la academia y organizaciones, siempre y cuando cumplan con el rigor científico y metodológico.

Desde otra posición, Bracho (2010) asevera que cuando no se considera la evidencia en el ciclo de política surgen: I) políticas que no consideran la evidencia (evidence-ignorant policy); II) políticas que conocen la evidencia, pero no la aplican (evidence-aware policy), y III) políticas que consideran la evidencia, pero no están influidas (evidence-related policy).

LOS FACTORES INSTITUCIONALES EN EL USO DE LA EVALUACIÓN Y LA POLÍTICA BASADA EN EVIDENCIA

Como se observa en la siguiente tabla, de la diversidad de condiciones necesarias para implementar una política basada en evidencia destacan el clima organizacional orientado hacia la cultura de la evaluación, el entendimiento entre investigadores y actores que toman decisiones (Head, 2010), esto es lo que Cairney (2016) refiere como relaciones entre operadores de programas y grupos de interés. Desde una visión divergente, la falta de decisiones colaborativas y coordinación con el poder Ejecutivo son barreras institucionales identificadas por Hart et al. (2008) en su revisión del Congreso de EE. UU.

Estas condiciones y barreras se asemejan a las capacidades para la institucionalización de sistemas m&e. Por ejemplo, el fortalecimiento con actores políticos para liderar el proceso como el Congreso y un sistema democrático (Gaarder y Briceño, 2010). En un régimen político democrático, la evaluación como herramienta de contrapeso y rendición de cuentas es relevante para conocer si las acciones del gobierno son congruentes con las planeadas y mantener la confianza en la burocracia (funcionarios públicos).

Este proceso se extiende a los actores políticos, quienes ganan legitimidad ante el electorado, mediante las acciones públicas y sus resultados, por lo cual la evaluación es un tema que concierne a gobernantes y gobernados. Sin embargo, en democracias imperfectas (Índice de democracia, 2020), frágiles o en proceso de consolidación, los sistemas M&E se utilizan principalmente como medida de control político sobre los recursos.

También debe incluir mecanismos para vincular la demanda y oferta de evaluación y la utilización. Feinstein (2012) señala que la oferta debe considerar las capacidades técnicas provistas por universidades, ONG, consultorías o sector público, mientras la demanda es el incentivo para generar evaluaciones como ejercicio de rendición de cuentas que puede surgir desde distintos niveles de gobierno, sindicatos, ong u organismos internacionales. En ese sentido, en países como Alemania y Francia, el poder Legislativo es esencial porque las áreas de evaluación apoyan al Congreso (Navarro, 2014).

En México, la oferta de evaluaciones es impulsada principalmente desde la shcp por el control político y la tendencia internacional de reformas neogerenciales en favor de un PbR, mientras que la demanda surge, entre otros, desde el Legislativo, el cual requiere de información sobre desempeño para tomar decisiones (Head, 2010) sobre el proceso presupuestario y realizar su función legislativa. Por último, la autonomía de la evaluación es otra condición para lograr independencia respecto al programa evaluado.

No obstante, estos especialistas excluyen la importancia de la ciudadanía como usuario de la evaluación para conocer el desempeño de los programas, exigir gobiernos más eficientes e impulsar el uso desde el Congreso, sobre el cual no existe un ente superior que vigile su funcionamiento.

LA NATURALEZA POLÍTICA DE LA EVALUACIÓN

Aunado al reconocimiento de las condiciones y barreras en el uso de la evaluación, se debe examinar la naturaleza política de la evaluación, entrelazada por una infinidad de factores que influyen las decisiones públicas. En su libro El comportamiento administrativo, Simon (1972) refiere que hay una falsa concepción dentro de la teoría política que señala a los individuos como seres generalmente racionales, pero la realidad confronta a quienes deben tomar una decisión racional, considerando el fin y comparándolo con medios alternativos, no siempre neutrales, por lo cual la tarea de decidir implica estudiar las estrategias alternativas, sus consecuencias y valorarlas comparativamente.

En ese sentido, la función de las organizaciones es esencial, ya que proporcionan las directrices de actuación de sus miembros, establecen prácticas y adoctrinamiento ejerciendo su autoridad jerárquica de arriba abajo, transmitiendo las decisiones a través de canales de comunicación formales e informales (Simon, 1972). En una democracia presidencial, el Parlamento es la división interna en fracciones o partidos y sus comisiones, y «representa la diversidad de un pueblo dividido pluralistamente y en cierto modo es un espejo, un foro amplio de la nación…» (Häberle, 2016: 199). En el poder Legislativo, las y los congresistas responden en gran medida a los intereses de estas organizaciones de donde provienen y la racionalidad está moldeada por las doctrinas establecidas al interior y los mecanismos de influencia organizativa.

Otras limitaciones para la decisión racional están relacionadas con la falta de conocimiento de las consecuencias de cada elección (Simon, 1972), por el bajo valor de la evidencia, por no responder a las necesidades de la política, por ser estudios cualitativos o casos, los cuales no suelen ser útiles para los políticos, por estar desfasada de los tiempos de la política o por mostrar una realidad tan compleja que no la resuelve una política de corto plazo (Bracho, 2010), o la necesidad de respuestas rápidas. Al respecto, Head (2010) señala un reporte de la Academia Británica, donde más del 60% del presupuesto asignado a investigaciones de la Oficina del Gobierno Británico se dirigió a proyectos de corto plazo para cumplir con las demandas políticas y administrativas.

Incluso, en este proceso decisorio existe el riesgo de que los actores políticos opten por evidencia científica «conveniente» para una decisión pública previamente acordada. En algunos casos, desde los órganos del Legislativo y Ejecutivo, se opta por evaluar las políticas, ya sea para conocer su efectividad o evitar el fracaso político de un programa sin resultados, mientras que los oponentes políticos pueden ordenar la evaluación precisamente para generar una situación política embarazosa (Howard y Gunn, 1984).

Este punto ha sido observado por el Comité de ciencia y tecnología del Parlamento británico (Scientific advice, risk and evidence based policy making, 7th report of session 2005-06, House of Commons), el cual señala que el gobierno debe desistirse en aseverar que todas las decisiones de política son basadas en evidencia, por los riesgos, sesgos, compromisos políticos, posiciones morales o respuestas urgentes a circunstancias específicas.

Por lo cual, el Comité incluyó un «principio o enfoque precautorio», cuando hay sospechas razonables de daño, falta de certeza científica, consenso o consecuencias irreversibles en la racionalidad de las políticas, y concluyen que el gobierno debe ser transparente cuando una política no está basada en evidencia, es débil, existen contradicciones o las decisiones se basan en otros factores diferentes a la científica. Aunque sugiere fortalecer la investigación y evidencia, mediante departamentos multidisciplinarios.

Otro elemento poco analizado es que existen situaciones en las que no tomar una decisión, decidir no actuar o elegir el status quo, forma parte del proceso decisorio. Bachrach y Baratz (1963) lo definen como un modelo de decisiones y no decisiones que debe ser valorado, e incluye conceptos como poder, influencia, fuerza (poder ejercido) y autoridad. Estos autores afirman que en un escenario donde los valores, reglas del juego y relaciones de poder están definidos, pero no parecen influir en las decisiones; se puede decir que existe una situación donde no se toma una decisión, y aunque las no-decisiones sean invisibles, ni se presenten hechos observables, deben analizarse como parte del proceso de toma de (no)decisiones.

En efecto, la existencia de las evaluaciones no es suficiente para orientar las decisiones públicas de los actores políticos; un ejemplo es cuando las recomendaciones a un programa sugieren realizar cambios sustanciales o la cancelación del programa o la política, por lo cual tomar una decisión representa un riesgo político que se traduce en votos, lo que puede resultar en una falta de acción o decisión por estos actores, debido a las consecuencias políticas. Al final, toda decisión pública forma parte de la naturaleza política de la evaluación.

EL CONGRESO Y EL PAPEL DE LA EVALUACIÓN EN LA FUNCIÓN LEGISLATIVA

El Parlamento es el principal órgano legitimado dentro del Estado constitucional democrático, cuyas tareas son electivas, expresivas, educativas, informativas y legislativas, y representa el pluralismo de la sociedad (Häberle, 2016), mediante la activa participación de los partidos políticos como defensores del interés público y contrapeso del Ejecutivo, Judicial y órganos autónomos. Para Rose et al. (2020), las legislaturas a nivel internacional realizan funciones como: i) facilitar el debate público de cualquier tema de interés público; ii) crear y cambiar normatividad (legislación); iii) vigilar programas (escrutinio), y iv) revisar y aprobar el gasto e impuestos (presupuesto).

En cuanto al sistema M&E, el Congreso ejerce doble función. Por un lado, debe contar con un sistema para medir su desempeño, y aunque desde 2017 se aprobaron los Lineamientos para la implementación del Sistema de Evaluación de Diputados (DOF, 06/03/2017), este no ha operado. Recientemente, estos Lineamientos fueron actualizados (DOF, 24/03/2021) y la Dirección General de Programación, Presupuesto y Contabilidad será responsable para implementarlo en la presente Legislatura LXV 2021-2024.

Por otro lado, el Congreso es usuario de la evidencia científica generada por el Centro de Estudios de las Finanzas Públicas (CEFP), Centro de Estudios de Derecho e Investigaciones Parlamentarias (CEDIP), Centro de Estudios Sociales y de Opinión Pública (CESOP), Centro de Estudios para el Logro de la Igualdad de Género (CELIG), Centro de Estudios para el Desarrollo Rural Sustentable y la Soberanía Alimentaria (CEDRSSA), así como el Instituto Belisario Domínguez (IBD) y el Centro de Estudios Internacionales Gilberto Bosques (CEI) del Senado. Sin embargo, la evidencia se refiere a estudios e informes, pero no evaluaciones.

Por ello, es muy importante su papel como usuario de las evaluaciones coordinadas por la SHCP y el Coneval, esenciales para revisar y aprobar el presupuesto federal, reformas constitucionales o a proyectos de leyes, decretos y comparecencias, y «Realizar la evaluación periódica de las políticas públicas y los programas respectivos, en lo concerniente al área de su competencia» (artículo 158, Reglamento de la Cámara de Diputados, DOF, 18/12/2012), así como monitorear la política sectorial, a través de las comisiones ordinarias o especiales.

Esto es similar a lo observado en el estudio de Bogenschneider et al. (2010) en congresos de Estados Unidos, quienes señalan que los legisladores usan información para sus decisiones de política cuando requieren promulgar leyes o rechazar cierta legislación. En suma, las evaluaciones son una herramienta para cumplir su función legislativa.

RESULTADOS. EL USO DE LA EVIDENCIA EVALUATIVA EN EL CONGRESO

Derivado del análisis y las fuentes de información revisadas, sólo en el Proyecto de Presupuesto de Egresos de la Federación del ejercicio fiscal PPEF 2011 (exposición de motivos) fueron identificados nueve programas evaluados del sector salud, incluyendo sus indicadores, los cuales tuvieron un efecto en el proceso presupuestario (tabla 4 anexa).

De estos nueve programas, tres no cumplieron sus metas y les redujeron los recursos por el bajo desempeño de sus indicadores, mientras que los seis restantes cumplieron sus metas, por lo cual la SHCP propuso incrementar su presupuesto. Un ejemplo fue el programa E010 «Formación de recursos humanos especializado para la salud (hospitales)», cuyos indicadores y la evaluación fueron positivos -aunque esta evaluación fue realizada en 2009. Así, mientras en el PEF 2010 obtuvo 1 863.9 millones de pesos, en el PEF 2011, el Congreso aprobó una ampliación presupuestal de 48%, equivalente a 2 873.3 millones de pesos.

Destaca en este ejercicio fiscal que ambos poderes, Ejecutivo (SHCP) y Legislativo, utilizaron la evidencia evaluativa, incluyendo indicadores para vincular el desempeño de los programas con el proceso presupuestario, es decir, asignar los recursos públicos a partir de sus resultados. Esto a pesar de que todas las evaluaciones de este sector fueron desarrolladas en 2009 (tabla 3 anexa). Sin menoscabo de lo anterior, este esfuerzo por implementar un PbR es un caso aislado, debido a que no se identifica otro ejercicio presupuestario similar en años previos o posteriores al 2011.

Este es un riesgo de la política (evidence-aware policy) que, aun conociendo la evidencia, no se aplica (Bracho, 2010), una disrupción del ciclo de política entre el proceso de evaluación y la agenda de formulación de política, «debilidades inesperadas en relación con la falta de involucramiento de los actores en los ejercicios evaluativos» (Teirlinck et al., 2013: 370).

Este hecho es particularmente relevante considerando que desde el año 2006 el Congreso fue partidario y defensor de las evaluaciones, a través de la Reforma Hacendaria y el PbR, pero eventualmente fue desestimando la evaluación dentro del proceso presupuestario, continuando con las inercias ya señaladas.

Al respecto, se observa una asignación inercial de recursos públicos al sector salud; por ejemplo, los PEF 2012, 2013 y 2014 reflejan un incremento de 14% aproximadamente, es decir, pasaron de 418.7 millones de pesos (MDP) en 2012 a 443.7 mdp en 2013, con un fuerte aumento de 485.2 mdp en 2014. Lo anterior demuestra que solamente en el PEF 2011 el poder Ejecutivo consideró la evidencia sobre desempeño y evaluaciones para asignar el presupuesto, mientras que el Legislativo lo aprobó o desaprobó en función del mismo propósito.

En resumen, la evaluación no ha cumplido su función de alimentar sistemáticamente el proceso de política pública, y probablemente lo que se observó en el PEF2011 fue el uso político de las evaluaciones por las y los congresistas, cuyas decisiones «racionales» responden a los intereses de los partidos, los cuales dan las directrices de actuación mediante sus mecanismos de influencia. Esto es, aunque las decisiones son individuales, responden a las reglas generales del partido, lo que no necesariamente es una elección racional. «Los tomadores de decisión tienen compromisos ideológicos y no cambiarán sus opiniones sólo con información» (Bracho, 2010: 310).

En la práctica, las decisiones públicas no siempre son congruentes con los valores y principios de los actores políticos, quienes calculan los riesgos potenciales, la arena política, autoridad jerárquica, agenda pública, así como los efectos de estas decisiones. Head (2010: 83) asevera: «En el mundo real, las decisiones políticas no surgen de modelos empírico-analítico, sino de políticas y juicios en la práctica».

También puede ser una decisión para no actuar en ambos poderes, quienes eligen el status quo para continuar con inercias burocráticas y políticas en las decisiones públicas, incluso frente a los esfuerzos de reformar el proceso presupuestario, y aunque las evaluaciones son ordenadas por el gobierno, generalmente la(o)s operadores de programas públicos, actores políticos y funcionaria(o)s no están involucrados en cerrar el ciclo de la política.

La falta de resultados coincide con el Informe de la Cuenta Pública 2012 de la ASF (apartado de evaluación del SED), el cual señala que los recursos financieros de 17 programas fueron asignados sin criterios de desempeño. Otro informe (ASF, 2013) recomienda a la SHCP implementar mecanismos institucionales para utilizar las evaluaciones en la programación-presupuestación y vincular los resultados con el ciclo presupuestario. Este tipo de recomendaciones se repiten en las auditorías de otros años (ASF, 2008, 2009, 2010, 2011, 2014, 2015, 2016, 2017 y 2018); por ejemplo,

Los argumentos acerca de la efectividad van en ambos sentidos. Hill (2009) y Dahler-Larsen (2005) señalan que escasamente hay una conexión entre la evaluación y la mejora de la política, por lo que difícilmente se cancelan. Incluso, cuando existe evidencia negativa (Dye, 2011). Sin embargo, algunos contraargumentos refieren que hay evidencia acerca de la utilización de las evaluaciones, en especial por parte de los políticos, aunque hacen poco uso de estas (Pollitt, 2006), mientras que el estudio de Askim (2007) confirma que la información de desempeño y las evaluaciones son utilizadas en el proceso de toma de decisiones.

En cambio, para Cairney (2016), aunque no existe un vínculo directo entre la evidencia científica, las decisiones políticas y los resultados, tampoco la política basada en evidencia es percibida como patológica o no se utiliza para las decisiones públicas; incluso, los científicos pueden ayudar a identificar problemas y valorar la efectividad de soluciones propuestas.

Sin embargo, el uso cambia notablemente bajo ciertas circunstancias, sectores de la política y países. Por ejemplo, Askim (2007: 464) concluye que la «utilización es mayor entre los concejales [regidores] que trabajan en áreas de cuidados a adultos mayores y cuestiones administrativas y educativas», y es constante e incremental en sectores relacionados con cuestiones administrativas y servicios técnicos.

Al respecto, y como se ha señalado, la utilización de las evaluaciones por el Congreso no se limita a las decisiones presupuestarias; también son útiles para verificar el cumplimiento de los programas públicos. Sin embargo, la revisión documental de los diarios de los debates, dictámenes, iniciativas de ley, decretos y otros reportes del sector salud durante el periodo 2007-2018, desestiman el potencial de las evaluaciones de programas del sector salud en el proceso de política pública.

Por ejemplo, en el año 2013, para fortalecer la política de empleo y salud, la discusión legislativa de las iniciativas de la ley de pensión universal y del seguro de desempleo (CEFP, 2013) no consideró las evaluaciones (tabla 3) a programas, como «Atención curativa eficiente» o «Recaudación eficiente de ingresos obrero patronales» a cargo del IMSS, «Suministro de claves de medicamentos» del ISSSTE, «Prestación de servicios en los diferentes niveles de atención a la salud» o «Seguro popular» de la SSA.

Tampoco mencionan si habían afectado o beneficiado la política de salud. Incluso, en un informe, la ASF (2017) le sugiere a la Cámara de Diputados que «evalúe» por conducto de las Comisiones e incluya en el PEF temas relacionados con el bono demográfico, educación, capacitación, empleo, productividad, salud, seguridad social y juventud.

Por otra parte, de las entrevistas a congresistas de diversos partidos, destaca que el 50% de la(o)s entrevistada(o)s no conocen -o no expresan- qué tipo de relación existe entre los poderes Legislativo y Ejecutivo en cuanto a la evaluación. Respecto a quienes dieron su opinión, señalan que la relación se restringe al proceso presupuestario, como señala la LFPRH, y las evaluaciones deben ser enviadas por el Ejecutivo para ese propósito. En general, afirman que, aunque la evaluación para el presupuesto está disponible, su uso es limitado debido a que está desactualizada. Es decir, la programación del presupuesto es con base en información del año previo, mientras que la evaluación es realizada con datos recolectados de dos años anteriores.

Este desfase de información es una de las principales razones para no utilizar las evaluaciones; como señala un político entrevistado, la falta de oportunidad en la información enviada al Congreso no es útil para el ciclo presupuestario. Para esta(o)s congresistas, lo importante es conocer si el programa redujo o aumentó sus recursos y las modificaciones propuestas (C8, comunicación personal). Esto coincide con Howard y Gunn (1984), respecto a que la evaluación no se utiliza porque no se ajusta al calendario para la toma de decisiones, y no se señala la importancia del uso de las evaluaciones con oportunidad; son barreras de tipo sistemáticas (Hart et al., 2018) identificadas en los congresos de EE. UU. y el Reino Unido.

Un hallazgo importante es que algunos políticos (C4, C7, C8, comunicación personal) prefieren ser usuarios de la información generada por la ASF o el CEFP (ambos pertenecientes al Legislativo). Sin embargo, resulta paradójico que, de acuerdo con la entrevista a la funcionaria del CEFP, los informes enviados al Congreso hacen uso de las evaluaciones coordinadas por la SHCP y el Coneval, esto es, a partir de la misma fuente. Adicionalmente, para los entrevistados, la calidad de las evaluaciones es relevante, aunque la mayoría consideraba estas evaluaciones de dudosa confiabilidad porque el Ejecutivo las coordinaba.

En ese sentido, la autonomía es un factor necesario para el uso de la evaluación y en el caso de México opera de una forma peculiar. Por una parte, el Coneval es una entidad descentralizada del sector social con algunos rasgos de autonomía e.g. técnica y de gestión, que coordina las evaluaciones de este sector (Relación de entidades paraestatales de la APF, DOF 13/08/2021). Por otra parte, la SHCP, como dependencia del poder Ejecutivo, coordina el resto de las evaluaciones. Sin embargo, la autonomía técnica del proceso de evaluación está en los evaluadores externos independientes contratados, como instituciones de educación superior, de investigación científica u organizaciones no lucrativas -revisar el artículo 73 de la Ley General de Desarrollo Social (DOF, 25/06/2018).

No obstante, de acuerdo con la(o)s legisladores entrevistados, la autonomía es una aspiración, preferentemente separada del poder Ejecutivo. Una congresista respondió: «debería ser el cuarto poder» (C5, comunicación personal), mientras otro señalaba que «la autonomía en México es un mito» y los Órganos Constitucionales Autónomos (OCA) deben ser la excepción, no la regla; como actualmente operan, «no deben ser empleados del Ejecutivo» (C8, comunicación personal). Esto confirma que alguna(o)s entrevistada(o)s consideran al Coneval como autónomo, aunque sometido al poder Ejecutivo y tal vez es uno de los argumentos para no utilizar las evaluaciones como se establece en las conclusiones.

CONCLUSIONES

Con base en los resultados, se puede concluir que no existe un proceso sistemático para utilizar la evidencia evaluativa en el Congreso, por lo que la apropiación de la evaluación por los actores políticos continúa siendo una tarea difícil. Además, en sistemas administrativos tan grandes (como el mexicano) es muy complejo aislar los efectos causales de la evaluación (Dahler-Larsen, 2000), por lo que la revisión de este caso no puede atribuir las (no) decisiones a factores específicos para establecer una cadena causal que explique el limitado uso. Adicionalmente, este estudio está restringido al uso de evaluaciones del sector salud y los resultados no pueden generalizarse, por lo que se requiere una visión comprehensiva de otros sectores.

Para estudiosos como Wiesner (2002), existen razones para asumir que la clave para desarrollar la evaluación desde el lado de la demanda es asegurar la vinculación entre los resultados y las asignaciones presupuestarias como incentivo; «Dada la enorme importancia de los factores institucionales, la evaluación saldrá fortalecida si tiene un respaldo legal sólido y si se la ubica institucionalmente cerca de los procesos presupuestales» (p. 146). Por ello, el pef 2011 apuntaba en ese sentido; sin embargo, fue un caso aislado.

Desde otro punto de vista, se prevé el fin de la NGP y las reformas gerenciales previo a la gestación del PbR, donde la evaluación es parte de sus componentes. Guerrero (2009) señala que el neoliberalismo llegó a su límite y el «desastre administrativo» se debe -en parte- a que no desaparecieron las antiguas estructuras políticas, administrativas y jurídicas en los cambios propuestos al sistema. Por ejemplo, el PbR se mezcló con la forma tradicional de poder y control de los recursos públicos y decisiones.

Esto lleva a plantear si el escaso uso de las evaluaciones es directamente proporcional a la autonomía del Congreso como vigilante. En democracias plenas, el Congreso tiene la autonomía para prevenir este limitado uso de las evaluaciones por su independencia respecto al Ejecutivo para imponer sanciones a quienes no la utilizan, incluyendo a los coordinadores (SHCP, Coneval). En contraste, en democracias frágiles, el presidente tiene fuerte influencia en el proceso presupuestario, mediante el ministerio de finanzas y control del Congreso, por lo cual este poder no opera como contrapeso, ni supervisa el cumplimiento de las recomendaciones para verificar sistemáticamente si las evaluaciones aportan a la mejora de los programas públicos. Esto es probablemente el reflejo de la agenda política de congresistas que, aunque al inicio promovieron el PbR, eventualmente operan según los intereses del partido.

Partiendo de este balance, algunas propuestas de Bogenschneider et al. (2010) son identificar los problemas de políticas públicas y el interés de la(o)s legisladores y sus asesores, las soluciones de política basada en evidencia, en colaboración con expertos como académicos, representantes del gobierno y personal de los Comités (Comisiones) y, por último, evaluar y clasificar estas soluciones con base en su factibilidad.

Otra forma para incidir en el uso de las evaluaciones, sugiere una congresista de Kirguistán (Semana de Evaluación Asiática, 2020), es a través de las distintas comisiones que integran el Congreso. Esto coincide con Jacob et al. (2015), quienes afirman que, aunque los parlamentos son los más débiles en institucionalizar la evaluación y es difícil rastrear su influencia, cuando ocurre es dentro de los Comités (Comisiones), donde los actores políticos con conocimiento utilizan la evidencia para políticas específicas. Además, se debe considerar que los legisladores tienen mayor interés en temas pendientes por legislar, incluso sobre aquellos con alto nivel de prioridad (Bogenschneider et al., 2010).

En este sentido, la participación activa de la academia, grupos de expertos, como Ciencia en el parlamento y 3ie International Initiative for Impact Evaluation, así como ONG, ciudadanía o especialistas en temas de evaluación, presupuesto, legislativos y parlamento abierto, pueden apoyar en este proceso y ejercer presión sobre los actores políticos para que las evaluaciones sean consideradas.

Esta participación es un efectivo mecanismo de vigilancia sobre las legislaturas, las cuales, a su vez, son el control y contrapeso de los otros poderes, órganos autónomos y entes públicos. Además, no hay un ente superior que ejerza presión sobre las y los congresistas para promover el uso de la evidencia evaluativa, ni sanciones administrativas, solamente la sanción política desde la ciudadanía. Por ello, parece que la efectividad de la evaluación depende de la ciudadanía o del interés del presidente en el tema, con lo cual se mueven los actores políticos desde diferentes frentes.

También el papel de los centros de investigaciones pertenecientes al poder Legislativo debe ser más proactivo para incidir en el uso de la evidencia evaluativa, además de los estudios e informes propios. Al respecto, Head (2010) refiere que los investigadores deben tener mayor acercamiento en los debates públicos, comunicando los hallazgos, patrones de causalidades, tendencias y principales problemas encontrados en los programas, pero también otorgándole valor a la experiencia empírica de los proveedores de servicios acerca de las complejidades observadas en el terreno, por lo que la forma de difundir la evidencia es importante; por ejemplo, Smith, 1991 y Weiss, 1987 (en Bogenschneider et al., 2010) señalan que, a partir de una larga tradición oral en los órganos legislativos, los actores políticos prefieren la palabra hablada que la escrita.

No obstante, siempre está presente el factor político y la forma en que se toman las decisiones; como señalan Karlsson y Conner (2006), la política en la evaluación y viceversa no son temas ampliamente discutidos. Sin embargo, «La evaluación por su naturaleza, realiza declaraciones políticas como esas que cuestionan la legitimidad de los objetivos de algunos programas o la implementación de estrategias» (p. 228). Un ejemplo es el PbR, el cual opera a partir de factores políticos, gracias a la habilidad de las y los diputada(o)s de cada comisión para defender partidas presupuestales de sectores y programas específicos, sin criterios claros para asignar los recursos públicos (incremento o decremento), intentando maximizar los beneficios para el partido al que pertenecen, en lugar de las prioridades nacionales.

En este proceso, es indispensable incidir desde una visión comprehensiva donde la evidencia evaluativa se utilice para cerrar el ciclo de política pública, legitimar decisiones públicas, principalmente cuando están relacionadas con las asignaciones de recursos públicos o cancelación de proyectos, fondos, programas y políticas públicas. Incluso, para empoderar la evaluación se requiere una teoría de cambio para conocer si algunos factores fueron ignorados o monitoreados lo suficiente, evitar fallas en el futuro, identificar elementos que los actores políticos deben considerar y asegurar que el programa está funcionando según lo previsto (Bogenschneider et al., 2010). En cuanto al Congreso, la evidencia evaluativa debe ser una herramienta esencial para cumplir su función legislativa y mejorar la gobernanza.