3. Medir
3¿Qué herramientas e indicadores se pueden utilizar para medir lo que ha cambiado y cómo ha cambiado?
Es importante que los indicadores que se definan en el plan de seguimiento y evaluación sean realistas. A la hora de elegir los indicadores, tendemos a ser demasiado ambiciosos o a seleccionar indicadores que pueden no ser pertinentes para los “beneficiarios directos” del proyecto.
“Los enfoques participativos están ayudando cada vez más a salvar la brecha entre ejecutores de proyectos y partes interesadas, y a aumentar el diálogo. Trabajar con comunidades de un modo participativo e igualitario desde el comienzo y luego a lo largo de todo el proyecto es esencial para entender qué cambios se quieren conseguir y cuáles se han producido.” – Herramienta de seguimiento y evaluación participativos de Equal Access
Indicadores SMART:
Un indicador es una medida cuantitativa o cualitativa utilizada para dar seguimiento a la consecución de un resultado previsto: por ejemplo, “número de personas que asisten a talleres de seguimiento y evaluación”. El indicador puede ser un número, un porcentaje, una ratio, un índice, etc. La medición se realiza con una herramienta que permita recoger los datos necesarios. Los indicadores nos dicen si estamos consiguiendo los objetivos del proyecto, cómo estamos avanzando y hasta qué punto estamos alcanzando nuestras metas. Sin embargo, no nos dicen por qué se está produciendo el cambio ni si nuestro proyecto está teniendo impacto.
Para ayudarnos a elegir los indicadores, habitualmente se utilizan los criterios SMART, que promueven la elección de indicadores que tengan las siguientes características:
Nota: Los criterios SMART son los más adecuados cuando se necesitan indicadores cuantitativos.
Indicadores SPICED:
El modelo SPICED permite elaborar indicadores junto con las partes interesadas. La idea es que estas puedan definir los indicadores y usarlos para someter el proyecto a rendición de cuentas, interpretar el avance y conocer los cambios que está produciendo el proyecto. Este enfoque hace referencia a cómo deben usarse los indicadores:
El modelo SPICED es una herramienta muy útil para pensar sobre cómo establecer indicadores participativos. Es un enfoque cualitativo: valora los significados locales del cambio y es una buena herramienta para reflexionar sobre la importancia de trabajar con comunidades. Pone de manifiesto el hecho de que distintas personas tienen ideas distintas sobre lo que significa el cambio.
- Subjetivos: Los informadores tienen una posición o experiencia especial que les proporciona un conocimiento único que puede incrementar significativamente el rendimiento de los investigadores. El valor de la fuente hace que una información otros consideran “anecdótica” tenga un valor esencial.
- Participativos: Los objetivos y los indicadores deben elaborarse junto con quienes ocupan un lugar más adecuado para evaluarlos, lo que requiere implicar en el proceso a los beneficiaros últimos del proyecto, y, en algunos casos, a personal y otras partes interesadas locales.
- Interpretables y comunicables: Cuando los objetivos/indicadores se definen en el ámbito local, es posible que no sean significativos para otras partes interesadas, por lo que a menudo es necesario explicarlos.
- Contrastados y comparados: Es preciso contrastar la validez de la evaluación comparando los distintos objetivos/indicadores y el avance, y utilizando métodos, informadores e investigadores distintos.
- Empoderadores: El proceso de establecer y evaluar los objetivos/indicadores debe ser empoderador en sí mismo y permitir a grupos e individuos reflexionar de manera crítica sobre su situación cambiante.
- Diversos y desglosados: Se debe llevar a cabo un esfuerzo expreso por buscar distintos objetivos/indicadores de una serie de grupos, especialmente hombres y mujeres.