Experiencias en América Latina: el desafío de evaluar programas de seguridad ciudadana

29 información sobre presencia de estructuras criminales, mercados ilegales (principalmente lugares de expendio y consumo de droga) y espacios que presentan dinámicas conflictivas relacionadas con el consumo de alcohol, el trabajo sexual, los juegos de azar y “zonas rosas” y comerciales. • El tratamiento Como se mencionó anteriormente, el diseño experimental de la evaluación de impacto, implica la división de las unidades de análisis entre un grupo de control y otro de tratamiento con características similares, donde el grupo de tratamiento recibe la intervención del PNVCC. Teniendo en cuenta que la formación del personal se identificó como un factor crítico de éxito del plan y un dinamizador del mismo, se diseñó un modelo de evaluación basado en un programa de capacitación aleatorio y escalonado. Con base en este programa de capacitación, que aborda las debilidades encontradas en materia de habilidades y competencias, se establecieron los grupos de intervención y control 5 . Así, se entiende como cuadrante intervenido, aquel cuyo personal (comandantes y policiales) ha participado en el proceso de capacitación, en un momento determinado. Se espera que este personal cuente con herramientas adicionales que le permitan ejecutar el PNVCC de forma más eficiente y eficaz, que el personal que no la ha recibido. Se diseñó un proceso de capacitación escalonado, es decir que se desarrolla en tres etapas espaciadas en el tiempo durante 14meses, al final del cual el 100% del personal de los cuadrantes recibirá el entrenamiento. La selección de los cuadrantes a ser capacitados o tratados en alguna de estas etapas se realizó de manera aleatoria 6 . 5 Actualmente la PONAL cuenta con 22 equipos móviles de capacitación conformados por un total de 80 personas, que se encargan de realizar las diferentes capacitaciones para todo el personal a nivel nacional. Adicionalmente, la policía cuenta con 52 docentes de las escuelas de formación entrenados para realizar la capacitación en el plan. 6 Lasaleatorizacionesrealizadasparadefinireltratamientofueron lassiguientes: Una aleatorización con una distribución uniforme dentro de la misma ciudad, una aleatorización con una distribución uniforme dentro del mismo quintil, definido por la tasa de homicidios promedio y una aleatorización en dos niveles, teniendo en cuenta el estrato y la tasa de homicidio. Se dividió el estrato en tres niveles y la tasa de homicidio en dos, para finalmente crear cuatro grupos en dos cohortes. • Método de estimación del impacto Se establecieron dos niveles para la evaluación de impacto: el primero, la estimación del impacto y el segundo, la identificación de los mecanismos de transmisión, esto es, los factores de la implementación del plan y otros del entorno que explicarían el impacto observado. Esto resulta clave pues la evaluación no sólo permitirá determinar si hubo o no impacto y su magnitud, sino también si las prácticas en la gestión del plan y la disposición del personal se relacionan con el efecto estimado y/o existen otras variables de contexto que explican dicho impacto. Para estimar el impacto de la implementación del PNVCC se utiliza el modelo de diferencias en diferencias. Este modelo permite captar las diferencias en las variaciones respecto de las líneas de base entre las unidades tratadas y las de control. En este modelo se observan dos unidades de análisis basadas territorialmente (en este caso se utiliza la manzana como unidad geográfica) en dos momentos del tiempo y se determina si tienen comportamientos distintos como resultado de la intervención. Se tienen entonces las unidades de análisis A y B en los tiempos t= (t 0 , t 1 ) y la variable a observar Y= (Y A t0 , Y A t1 , Y B t0 , Y B t1 ).De esta forma, ∆ Y A = (Y A t1 - Y A t0 ) constituye el cambio en la variable de resultado para la manzana A de tratamiento, entre el tiempo t 1 y la línea base t 0 y ∆ Y b = (Y b t1 - Y B t0 ) constituye el cambio en la variable de resultado para la manzana B de control, entre el tiempo t 1 y la línea base t 0 . Dado que la selección de los grupos de tratamiento y control se realizó de manera aleatoria, se espera que antes del momento t 0 ambos grupos tengan la misma tendencia en cuanto a la variable de resultado. Este hecho se puede observar con mayor claridad en el gráfico. Es necesario que las tendencias sean iguales antes de la intervención, para evitar que los resultados de la intervención no sean espurios, lo cual se garantiza mediante la aleatorización de las unidades a ser tratadas. Por otro lado, las 3 etapas que componen el tratamiento (la capacitación) permiten a su vez medir efectos de aprendizaje, ya que cada momento de la capacitación escalonada constituye un t 1 en el que se puede realizar de nuevo la medición del impacto. Esto se expresa en la siguiente ecuación: TRATAMIENTO PERSONAL COMANDANTES CAPACITACIÓN ESCALONADA A Y t 0 t 1 B (crimen t1 tratamiento - crimen t0 tratamiento )-(crimen t1 control - crimen t0 control ) = k k < 0