Los tipos de evaluación, el seguimiento a los resultados y la difusión de las evaluaciones

1.    Tipos de evaluación

Para garantizar la evaluación orientada a resultados y retroalimentar el Sistema de Evaluación del Desempeño, se aplicarán los siguientes tipos de evaluación:

      I.    Evaluación de Programas Federales: las que se aplican a cada programa, las cuales se dividen en:

a)    Evaluación de Consistencia y Resultados: analiza sistemáticamente el diseño y desempeño global de los programas federales, para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores;

b)    Evaluación de Indicadores: analiza mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa federal para el logro de resultados;

c)    Evaluación de Procesos: analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestión;

d)    Evaluación de Impacto: identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa federal;

e)    Evaluación Específica: aquellas evaluaciones no comprendidas en el presente lineamiento y que se realizarán mediante trabajo de gabinete y/o de campo, y

    II.    Evaluaciones Estratégicas: evaluaciones que se aplican a un programa o conjunto de programas en torno a las estrategias, políticas e instituciones.

Las evaluaciones a que se refieren las fracciones anteriores se llevarán a cabo por evaluadores externos con cargo al presupuesto de la dependencia o entidad responsable del programa federal, o por el Consejo en el ámbito de su competencia y cuando éste así lo determine.

La evaluación de los programas federales y sus resultados formarán parte del Sistema de Evaluación del Desempeño así como del programa de mejoramiento de la gestión, y se articularán sistemáticamente con la planeación y el proceso presupuestario.

El Consejo en el ámbito de su competencia, la Secretaría y la Función Pública establecerán conjuntamente un Programa Anual de Evaluación en el que a partir de los tipos de evaluación señalados en el lineamiento anterior, se determinarán qué evaluaciones se llevarán a cabo o comenzarán cada año y a qué programas aplicarán.

Dicho programa se emitirá cada año conforme al calendario de actividades del proceso presupuestario y podrá establecer las acciones de verificación en campo sobre la pertinencia de aquellos indicadores que así lo requieran.

2.    La evaluación de consistencia y resultados

La evaluación de consistencia y resultados deberá ser realizada mediante trabajo de gabinete, y el informe correspondiente deberá incluir un análisis conforme a los siguientes criterios:

I. En materia de diseño:

a)    Si el programa federal identificó correctamente el problema o necesidad prioritaria al que va dirigido, y está diseñado para solventarlo;

b)    La contribución del programa federal a los objetivos estratégicos de la dependencia o entidad responsable del mismo;

c)    Si existe evidencia científica, nacional o internacional, que muestre que el tipo de bienes y/o servicios que brinda el programa federal, contribuye positivamente a la consecución de su Fin y Propósito;

d)    La lógica vertical y horizontal de la matriz de indicadores del programa federal;

e)    La definición de población potencial y objetivo con base en la distribución de la necesidad que busca solventar el programa federal y si cuenta con mecanismos de selección de dicha población;

f)     La justificación por la cual los beneficios se dirigen específicamente a dicha población potencial y objetivo;

g)    Los criterios y mecanismos aplicados para seleccionar las unidades de atención del programa (regiones, municipios, localidades, hogares y/o individuos, en su caso);

h)   En su caso, la estructura del padrón de beneficiarios del programa federal conforme a las disposiciones aplicables;

i)     Las reglas de operación o normativa que explique el funcionamiento y operación del programa federal;

j)     Las posibles coincidencias, complementariedad o duplicidad de acciones con otros programas federales;

II. En materia de planeación estratégica:

a)    Los mecanismos y herramientas de planeación del programa federal;

b)    Los mecanismos para establecer y definir metas e indicadores;

c)    El avance en el desarrollo de mecanismos de seguimiento y monitoreo del programa federal;

d)    Las herramientas enfocadas a implementar y desarrollar una gestión para resultados;

e)    El impacto presupuestario y las fuentes de financiamiento del programa federal;

f)     El seguimiento e implementación de los resultados y recomendaciones de las evaluaciones externas realizadas;

III. En materia de cobertura y focalización:

a)    La cuantificación de la población potencial y objetivo, en términos geográficos, demográficos, o por características particulares, así como por el tipo de beneficiario;

b)    La existencia de métodos para cuantificar y determinar su población potencial y objetivo;

c)    La población atendida respecto a la población potencial y objetivo, desglosando el análisis por las características socioeconómicas y/o niveles geográficos pertinentes. Esta información deberá analizarse para el periodo del 1 de enero del ejercicio inmediato anterior al 30 de abril del ejercicio en que se realice la evaluación, con excepción de los periodos que se establezcan para determinados programas federales en el Programa Anual de Evaluación correspondiente;

d)    La estrategia de cobertura y focalización del programa federal, en caso de existir, señalando su efectividad;

e)    El funcionamiento de los mecanismos de selección y focalización aplicados por el programa federal;

IV. En materia de operación:

a)    La observancia de las reglas de operación y otras disposiciones normativas aplicables al programa federal;

b)    Las acciones de mejora y simplificación regulatoria realizadas en el programa federal;

c)    Los mecanismos de organización y gestión del programa federal;

d)    La administración financiera de los recursos;

e)    La eficacia, eficiencia y economía operativa del programa federal;

f)     La sistematización de la información;

g)    Los mecanismos de actualización y depuración del padrón de beneficiarios o listados de beneficiarios, tratándose de programas federales que deban operar con dichos padrones o listados;

h)   El cumplimiento y avance en los indicadores de gestión y de productos;

i)     La rendición de cuentas y difusión de información estratégica;

V. En materia de percepción de la población objetivo:

a)    Los instrumentos disponibles que le permiten al programa federal medir el nivel de satisfacción de la población objetivo y de otros actores clave respecto de los bienes y/o servicios que entrega el programa federal;

b)    Con base en dichos instrumentos, el nivel de percepción en la población atendida en el logro de los beneficios otorgados por el programa federal, y

VI. En materia de resultados:

a)    Los instrumentos disponibles que le permiten al programa federal medir los resultados alcanzados en el ámbito de sus propósitos y fines;

b)    La calidad de las evaluaciones de impacto que se hayan realizado tanto en el ámbito de Fin como de Propósito, considerando la metodología aplicada, el impacto logrado en el bienestar de la población, los resultados identificados, así como el uso y aplicación de los mismos;

c)    Si el diseño y operación del programa federal permite realizar una evaluación de impacto rigurosa;

d)    La difusión de los resultados y evaluaciones del programa federal;

e)    La utilización de la información generada para mejorar su desempeño.

Dichos criterios integrarán los términos de referencia para la contratación de la evaluación de consistencia y resultados.

La evaluación de consistencia y resultados deberá contener adicionalmente, una comparación con los resultados encontrados en la evaluación de consistencia y resultados que se haya efectuado con anterioridad.

3.    Las evaluaciones de impacto

La metodología y los términos de referencia de la evaluación de impacto deberán ser revisados y, en su caso, aprobados por la Secretaría, la Función Pública, y el Consejo en el ámbito de sus atribuciones, de forma previa al procedimiento de contratación de los evaluadores externos, cuando sea el caso.

4.    La evaluación de los programas nuevos

Las dependencias y entidades deberán elaborar un diagnóstico que justifique la creación de nuevos programas federales que se pretendan incluir dentro del proyecto de presupuesto anual o, en su caso, que justifique la ampliación o modificación sustantiva de los programas federales existentes, precisando su impacto presupuestario y las fuentes de financiamiento.

En el diagnóstico se deberá especificar de qué manera el programa propuesto contribuye al cumplimiento de los objetivos estratégicos de la dependencia o entidad y, en su caso, las previsiones para la integración y operación de su padrón de beneficiarios conforme a las disposiciones aplicables.

Asimismo, las dependencias y entidades deberán elaborar una matriz de indicadores del programa propuesto

Dicho diagnóstico, así como la matriz de indicadores, deberán entregarse a la Secretaría, y en el ámbito de su competencia al Consejo, para su revisión, al menos un mes antes de que la dependencia o entidad responsable incluya el programa propuesto en su proyecto de presupuesto anual.

Durante el primer año de operación de los programas nuevos, se deberá llevar a cabo una evaluación en materia de diseño, en los términos que se establecen en el lineamiento décimo octavo, fracción I, del presente ordenamiento. Dicha evaluación deberá entregarse de conformidad con el calendario de actividades del proceso presupuestario.

Asimismo, las dependencias o entidades deberán realizar, durante el primer año de ejecución, un análisis del funcionamiento y operación de los siguientes procedimientos:

                      I.    Los mecanismos de elegibilidad para la selección de proyectos y/o beneficiarios, así como de las áreas geográficas en las que se ejecute el programa nuevo;

                    II.    La integración y operación de su padrón de beneficiarios;

                   III.    Los mecanismos de atención del programa nuevo;

                  IV.    La entrega o distribución del apoyo del programa nuevo;

                   V.    El registro de operaciones programáticas y presupuestarias;

                  VI.    La rendición de cuentas, transparencia y difusión de información, y

                 VII.    Otros aspectos que soliciten la Secretaría, la Función Pública, y el Consejo en el ámbito de su competencia, de forma coordinada o que las dependencias o entidades consideren conveniente que incluya el programa.

Los resultados de este análisis deberán ser considerados para mejorar el diseño y la operación del programa nuevo, realizando los ajustes necesarios en las reglas de operación del siguiente ejercicio de aquellos programas sujetos a las mismas.

Las dependencias y entidades deberán elaborar un proyecto de evaluación para sus programas nuevos y presentarlo para su aprobación a la Secretaría, a la Función Pública, y al Consejo en el ámbito de su competencia. Una vez aprobado, el proyecto se integrará al Programa Anual de Evaluación correspondiente.

5.    Las evaluaciones complementarias

Las evaluaciones complementarias a programas federales serán de aplicación opcional de acuerdo con las necesidades e intereses de las dependencias y entidades, siempre y cuando no se encuentren previstas en el Programa Anual de Evaluación, con el fin de mejorar su gestión y obtener evidencia adicional sobre su desempeño.

Las propuestas y proyectos de las evaluaciones que correspondan, se presentarán ante el Consejo para su opinión.

6.    El seguimiento a los resultados y recomendaciones de las evaluaciones

Las dependencias y entidades deberán dar seguimiento a los aspectos susceptibles de mejora de los programas federales derivados de las evaluaciones realizadas, conforme al convenio de compromisos de mejoramiento de la gestión para resultados que celebren.

Las dependencias y entidades que requieran suscribir el convenio a que se refiere este numeral, deberán apegarse al modelo de convenio que den a conocer la Secretaría, la Función Pública, y el Consejo en el ámbito de su competencia.

7.    La difusión de las evaluaciones y sus resultados

Las dependencias y entidades deberán dar a conocer de forma permanente a través de sus respectivas páginas de Internet, en un lugar visible y de fácil acceso, los documentos y resultados de todas las evaluaciones externas de sus programas federales dentro de los 10 días hábiles siguientes de haber sido entregados a las instancias a que se refiere el lineamiento vigésimo noveno del presente ordenamiento.

Las dependencias y entidades deberán difundir en sus respectivas páginas de Internet la información siguiente:

          I.    Sus objetivos estratégicos;

        II.    El texto completo, el resumen ejecutivo y los anexos correspondientes de las evaluaciones realizadas a sus programas federales, resaltando la evaluación más reciente;

       III.    En un apartado especial, los principales resultados de dichas evaluaciones;

      IV.    En su caso, las reglas de operación vigentes de los programas federales, y

       V.    En su caso, el convenio de compromisos de mejoramiento de la gestión para resultados.

Adicionalmente, esta información deberá difundirse a través del portal del Sistema de Evaluación del Desempeño, en los términos que para el efecto determine la Secretaría, en coordinación con la Función Pública, y el Consejo en el ámbito de su competencia.

Para cada evaluación externa, las dependencias y entidades deberán dar a conocer en sus páginas de Internet la siguiente información:

          I.    Los datos generales del evaluador externo, destacando al coordinador de la evaluación y a su principal equipo colaborador;

        II.    Los datos generales de la unidad administrativa responsable de dar seguimiento a la evaluación al interior de la dependencia o entidad;

       III.    La forma de contratación del evaluador externo, de acuerdo con las disposiciones aplicables;

      IV.    El tipo de evaluación contratada, así como sus principales objetivos;

       V.    Las bases de datos generadas con la información de gabinete y/o de campo para el análisis de la evaluación;

      VI.    Los instrumentos de recolección de información: cuestionarios, guión de entrevistas y formatos, entre otros;

     VII.    Una nota metodológica con la descripción de las técnicas y modelos utilizados, acompañada del diseño muestral, especificando los supuestos empleados y las principales características del tamaño y dispersión de la muestra utilizada;

   VIII.    Un resumen ejecutivo en el que se describan los principales hallazgos, las fortalezas y oportunidades, debilidades y amenazas, y las recomendaciones del evaluador externo, y

      IX.    El costo total de la evaluación externa, especificando la fuente de financiamiento