Modelo de Evaluación, Aprendizaje y Mejora

   

    La evaluación del desempeño y funcionamiento de las instituciones publicas y los programas   y políticas se han convertido en una actividad integral y clave en el trabajo de la administración pública moderna. Tal evaluación, sea ejecutada por la institución misma en cuestión (autoevaluación) o por una agencia exterior evaluadora, ayuda en mejorar la calidad de las políticas y programas diseñados, en incrementar la transparencia y rendición de cuenta, y en mejorar la capacidad de los gestores, políticos y empleados públicos en modificar sus procesos de formar políticas que responden a las necesidades de los ciudadanos. Además, la evaluación es un bloque de construcción de la estrategia de regulación inteligente, que establece los planes de las administraciones para mejorar aún más la calidad de la regulación. Según la Comisión Europea, la evaluación ayuda en asegurar la mejor calidad posible de la legislación e identificar oportunidades para la simplificación y la reducción de la carga administrativa.

        La evaluación no es un proceso nuevo, como tuvo sus comienzos en los EE.UU en los años 60 cuando fue entendiendo como una medición y cuantificación de los resultados de la gestión pública, y en los años 70 la evaluación fue utilizada para describir los programas, mientras que a partir de los años 80, la evaluación fue considerada como el método de investigación de programas y políticas. Los países europeos fueron influidos por la experiencia de los EE.UU e incorporaron la evaluación desde los años 60, en principio en programas nacionales de auditoría y de control hasta que cubre hoy en día todas las políticas y programas públicos. España, tal como los otros países europeas empezó a priorizar la evaluación y orientar al trabajo publico hacia la calidad. El Real Decreto 951/2005 tiene por objeto establecer el marco general para la mejora de la calidad en la Administración General del Estado y regular los aspectos básicos de los programas que lo integran. El Decreto incluyó el marco general para la mejora de la calidad en la Administración General del Estado los siguientes programas:

1. Programa de análisis de la demanda y de evaluación de la satisfacción de los usuarios de los servicios.
2. Programa de cartas de servicios.
3. Programa de quejas y sugerencias.
4. Programa de evaluación de la calidad de las organizaciones.
5. Programa de reconocimiento.
6. Programa del Observatorio de la Calidad de los Servicios Públicos.

     Esta atención y enfoque al aspecto de mejorar la calidad allanó el camino para la resolución de 6 de febrero de 2006 de la Secretaría General para la Administración Pública, que aprobó directrices para el desarrollo de los programas del marco general para la mejora de la calidad establecido en el Real Decreto mencionada. Los modelos de gestión de calidad reconocidos, incluyen el Modelo EFQM de Excelencia», el «Marco Común de Evaluación» y el Modelo de Evaluación, Aprendizaje y Mejora (EVAM) diseñado por el Ministerio de Administraciones Públicas.

Modelo de Evaluación, Aprendizaje y Mejora EVAM

    EVAM “representa una metodología sencilla y asequible que permite conocer el nivel de calidad en la gestión y resultados de las organizaciones, realizar, a modo de una autoevaluación asistida, un primer análisis de la madurez organizacional y del nivel de prestación de los servicios y orientar el camino a seguir, poniendo a disposición de las organizaciones, herramientas para la mejora de su rendimiento”. Este modelo de autoevaluación tiene 5 ejes principales de política, planificación y estrategia a través del liderazgo; procesos principales; alianzas y recursos; papel de las personas y políticas de los recursos humanos y los resultados, todos de que tiene el mismo pes. Al lado de los ejes, el modelo tiene 16 aspectos y 34 cuestiones. El proceso seguido en esta evaluación es al principio comprobar a través de modelo de aproximación al cuestionario si las ejes mencionadas arribas sí cumplen y evidencian para cada uno de los 16 ejes los aspectos de la evaluación, y en el caso contrario, una recomendación – en la forma de un documento de marco de actuación y manuales de actuación – se manda al departamento en cuestión. El cuestionario de evaluación por su parte con sus 34 preguntas intenta convertir la información cuantitativa a cualitativa a través de una puntuación de 100, con una guía para determinar el grado para otorgar.

    De alto interés es el eje de resultado, que enfoque a los resultados en clientes o ciudadanos que benefician de los servicios, los resultados en las personas o otros resultados claves. Las cuestiones sobre la percepción de los ciudadanos de los servicios presentados, la satisfacción de los usuarios, la percepción de las personas de los empleados de la organizaciones, los indicadores internos en relación con el rendimiento y participación y desarrollo de capacidades, los indicadores del rendimiento económicos y financiero y no económicos, todos ayudan a evaluar – con un cierto nivel de neutralidad - el trabajo de la organización. El factor humano es de alta importancia y solo este factor puede dar sentido a este proceso de evaluación. Por una parte, cuando los clientes/usuarios de los servicios están contentos con la calidad del servicio y su prestación, al lado de que son informados sobre los aspectos relacionados con este servicio (coste, gestión etc.) y que pueden expresar sugerencias y quejas en este sentido es un factor clave para el éxito de cualquier política, programa o incluso servicio. Medir la satisfacción de los empleados por otro lado por el desempeño de la organización, por su desarrollo profesional y por el crecimiento de habilidades y calidad de tareas también es un indicador clave para evaluar el funcionamiento general de la organización. Aún los indicadores del rendimiento económico y no económico (como prestigio general de la organización, participación en proyectos internacionales etc.) pueden indicar el rendimiento general de la organización, evaluar con precisión y con integralidad el funcionamiento de la organización en cuestión debe tomar el factor humano en cuestión.

EVAM: Buena Práctica para otras Instituciones Públicas?

      El Ministerio de Planificación y Cooperación Internacional de Jordania estableció en el año 2010 un departamento de evaluación y valoración de impacto que tiene el objetivo de evaluar los programas de desarrollo en el país. Siendo que el Ministerio es el coordinador de todos los programas y proyectos, al lado de los fondos internacionales, su papel de asegurar la buena coordinación de los proyectos la complementaridad, el respeto al plan de desarrollo pluri-anual y el cumplimiento con las normativas internacionales relacionadas con los fondos de ayuda para el desarrollo, el departamento nuevo jugará un papel clave en ayudar la administración jordana en mejorar su diseño de políticas y programas y en evaluar el desempeño y rendimiento general de las instituciones.

       De los objetivos del departamento son: institucionalizar el proceso de evaluación en los procedimientos de pedir fondos para financiación; evaluar el impacto de los programas y comparar los objetivos con los resultados; arrojar la luz sobre los indicadores claves en el programa ejecutivo de desarrollo 2011-2013; mejorar las capacidades de los empleados involucrados en el proceso de evaluación en los ministerios; diseñar un programa anual de evaluación; y mandar los informes y recomendaciones a las entidades en cuestión para beneficiar de ellas y modificar sus políticas y estrategias. Observando los objetivos del departamento – tal como fue mencionado en la página web del Ministerio – se nota que hay tres aspectos importantes ausentes:

1. No hay ninguna referencia a un modelo de evaluación para seguir, lo que indica que puede ser el proyecto en sus fases de diseño o que simplemente que no hay un modelo uniforme para que sea utilizado y que “modelos/mecanismos ad hoc” se establecerán. Esto, en mi opinión, resultará en el seguimiento de un proceso no uniforme y uno que sigue los intereses y las directrices de la entidad en cuestión, no uno bien diseñada y planificado para tener resultados verdaderamente útil y reflexivos de la realidad pública-
2. No se especifica como se puede acceder a tales informes de evaluación, que según la página web del Ministerio, se manda a las “entidades relevantes”. La comunicación abierta y transparente es necesaria, sea por parte del publico las agencias no estatales, donde la confiscación de información va a ser countraproducente.
3. Tampoco hay ninguna referencia a la percepción de los empleados públicos o los ciudadanos en relación con los servicios/programas públicos y desempeño de las instituciones.

     El eje de resultados de EVAM en este sentido puede servir como ejemplo al Ministerio, especialmente en lo que está relacionado con el punto numero 3 mencionado arriba. Sea la recomendación del Guía del Modelo EVAM 2009 de elaborar encuestas para identificar las necesidades de los clientes, medir su satisfacción, obtener indicadores y metodología para la gestión de quejas, cumplimiento de estándar de calidad, errores en prestar servicios, o el diseño de encuestas para medir las necesidades o expectativas de los empleados públicos en la organización en cuestión, indice de rotación, participación en actividades de formación, y motivación, todos ayudarán en elevar la calidad del proceso de evaluación y incrementar su transparencia y eficacia.

    Para concluir, el propósito de la evaluación es el análisis regular, por las propias organizaciones, de sus procesos y resultados de gestión para identificar los puntos fuertes y las deficiencias y determinar los oportunos planes de mejora. La evaluación debe acompañar todos los pasos de la formulación de programas y políticas, desde las fases iniciales hasta la terminación del programa. La evaluación del desempeño de la institución debe ser institucionalizada y ejecutada en forma continua, donde la calidad del trabajo y sel servicio tiene que ser el principio rector.

Referencias

Ministerio de Planificación y Cooperación Internacional de Jordania: http://www.mop.gov.jo/arabic/pages.php?menu_id=422&local_type=0&local_id=0&local_details=0&local_details1=0

Agencia de Evaluación y Calidad - Guía de Evaluación Modelo EVAM  http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/Guias/Guias_Marco_General_Mejora_Calidad/evam.html

Leipart's Decision...Egyptian Version

     

       The military coup that just took place in Egypt, ousting the democratically elected leader from his position in the name of democracy and protection of freedoms reminded me of a question raised by one of my professors in a course I was taking. His question went as follows:

At the end of 1932, the German President Von Hindenburg named General Von Schleicher the new Chancellor. At the time, the National Socialist Party of Germany and the German Communist Party represented the majority at the parliament, but the mutual hate and animosity between them both deemed an alliance or coalition impossible. The new Chancellor understood that little time was left to save the constitutional order in the country and decided to meet with Leipart, the Secretary General of socialist syndicates, and ask him to keep the syndicates' militants and organizations inactive for a few days whilst the army arrests Nazi leaders based on pending judicial orders. Both men understood that the attempt to detain Nazi leaders would be resisted with force and would result in blood spilling. The Chancellor was willing to take the risk in order to liquidate the National Socialist party that posed great danger on Germany, and save the democracy. Leipart, a religious and ethical man requested to be given a few days to think the plan over. A few days later, they met again, and Leipart explained that he understood the dangers posed by Hitler, but his conscience would not allow him to engage in an act that would lead to the death of Germans. Von Schleicher tried to convince him that the Nazis only understand one language, and if they get to power, that would be a tragedy for Germany and Europe. Leipart insisted on his position. Weeks later, on the 30^th of January 1933, Hitler became the new Chancellor and in 1934 after the death of President Von Hindenburg, a number of SS members arrived at the house of his enemy Von Schleicher and brutally assasinated him. Today, many debate the “Leipart decision” and whether it was a correct choice not to support the plan of Chancellor Von Schleicher. Was it?

    Impulsively, and in the excitement of engaging in a debate on an issue that was not quite well known or debated, and considering that the main theme of the subject of study was ethics and politics, I first attacked Leipart's passiveness. Thinking about it more and more, I started to defend his decision, and so did many of my colleagues. It goes without saying that Hilter and his party were one of the biggest disasters in modern history, and I am positive that all the colleagues that shared my vision also wish that Hilter never got to power and used it barbarically. Nonetheless, Leipart understood that as appealing as it would have been to take part in the arrest and liquidation of the party, what was being proposed was illegal and against democratic values and the rule of law. People voted for Hitler...people listened to his twisted logic and followed his rationalization of world and national realities and “how to solve the German problem”. They chose him. Millions did. And they kept on supporting him even during that atrocities he made during World War II. Even though a part of the population did not support Hitler and would have appreciated seeing him jailed or dead, Leipart - as well others I am positive - understood that resorting to illegal mechanisms to oust a democratically elected Hilter was not an ethical act, and hence Leipart's refusal to take part in the plot.

      What happened in Germany nearly 80 years ago reflects the current dilemma in Egypt. Morsi has his opponents, who are rightfully upset with his policies and ineffectiveness. But does the military have a right to intervene? Does it have a right to make a decision on the behalf of Egyptian citizens? Will the military have the upper hand in every political decision? Are elections, parties, the parliament and cabinet a facade and the military establishment  the sole actor?

      I strongly beleive that civilization has taught us how to resort to reason and rule-of-law when confronting our problems. Violence and coercion are cousins. As pacific as his ousting appeared, there is no doubt that the army would not have hestitated to use force should Morsi have decided to stand his ground...and a bloody coup could have taken place. We must all think of innovative and intelligent mechanisms to express our discontent and create change. My father always said “Dina, two wrongs never made a right”. Years later, his advice proved to be immaculately accurate and wise. Perhaps we should think ethically and then act politically...it would have avoided us much of the ugliness that happened.