Experiencias en América Latina: el desafío de evaluar programas de seguridad ciudadana

10 en evidencia y buenas prácticas tienen historias distintas – que corren por caminos paralelos – y también manifiestan algunos puntos de encuentro que, a través de este Concurso y sus versiones futuras, queremos reforzar y potenciar. Enloquesigueserevisansomeramentelasnocionesdeintervenciones basadas en evidencia y buenas prácticas, poniendo de relieve sus diferencias. Luego, se propone una integración entre ambas al sugerir que, los actores involucrados – autoridades de gobierno, hacedores de políticas públicas, profesionales, técnicos y equipos a nivel local – pueden hacer uso de ambas nociones de manera diferenciada, considerando su nivel de responsabilidad y siguiendo el ciclo de las políticas públicas. Intervenciones basadas en evidencia La noción de intervenciones basadas en evidencia remite a aquellos modelos de intervención que han sido evaluados utilizando metodología experimental o cuasi experimental. Si bien el método experimental es una antigua tradición de investigación, la novedad fue introducida por gestores de políticas públicas, especialmente de salud pública en Inglaterra 2 , a partir de la década del 60, cuando se propuso hacer de los estudios basados en evidencia el insumo principal para la toma de decisiones de política pública en varios ámbitos. Por ejemplo, Donald Campell 3 sostenía que es posible diferenciar “aquello que funciona de aquello que no funciona” en políticas públicas a partir de la experimentación. De allí que los tratamientos probados mediante experimentos se erigiesen como las alternativas más convincentes para invertir el dinero público. Hoy en día, esta lógica investigativa aplicada al sector público goza de prestigio y legitimidad y se ha trasladado de la salud pública a diversos ámbitos, entre ellos, la educación y la prevención del delito. Siguiendo a Mulone (2010), el principio básico de la metodología experimental es la comparación entre un grupo “experimental” (sobre el cual se interviene) y un grupo control (sin intervención), teniendo como condición fundamental que exista una distribución aleatoria de los participantes en ambos grupos. Esta distribución aleatoria de los participantes en ambos grupos permite atribuir los efectos a la intervención y no a sesgos de selección o a condiciones previas de los participantes. Con miras a cuantificar las modificaciones propias de la intervención, se incluyen dos momentos de mediciones, previo al comienzo de la intervención, se miden las variables importantes en los sujetos y luego, una vez finalizada la intervención, se vuelven a medir las mismas variables en los sujetos. Además, se recomienda multiplicar el número de experimentos las veces que sea posible siguiendo los mismos procedimientos. 2 Es importante destacar que en un inicio, el equivalente al modelo de intervencióneran,porejemplo, lasvacunaso laaplicacióndeflúorenelaguapotable,donde efectivamente es posible aislar y administrar el tratamiento y, con algunas dificultades, establecer grupos control y experimental. 3 Los aportes de Donald Campell dieron lugar a The Campell Colaboration, una red de investigación internacional, ubicada en Oslo, Noruega. Ella se dedica a desarrollar revisiones sistemáticas en 5 áreas, una de ellas es crimen y justicia. El trabajo de la red es ampliamente recocido por entregar información científica a quienes diseñan las políticas públicas criminal en los países desarrollados. Más información en http://www. campbellcollaboration.org/. Cuando no es posible seguir el esquema propuesto por la metodología experimental, se recomienda la aplicación de sus principios básicos y así surge la metodología cuasi experimental. Ello ocurre cuando no es posible asignar aleatoriamente a los sujetos a los grupos control y experimental porque el universo de beneficiarios es muy amplio, no conocido exhaustivamente 4 , o bien, porque no es facultad del evaluador la asignación a uno u otro grupo. Si no se puede asegurar la aleatoriedad, al menos se recomienda establecer mecanismos de comparabilidad de ambos grupos, es decir, ofrecer las máximas garantías posibles de que ambos grupos son equivalentes. Finalmente, el informe de evaluación de un tratamiento (o iniciativa de prevención del delito) sometido a experimentación arrojará, entre otros aspectos, una cuantificación de las diferencias – si es que las hubiera – entre los grupos experimental y control en términos de las variables relevantes para medir los cambios registrados. Por ejemplo, un informe de evaluación puede indicar que en los grupos experimentales – luego de la intervención – se registraron dos veces menos consultas a la atención primaria de salud comparados con los grupos de control en un lapso de un mes. Ahora bien, los estudios basados en evidencia, permiten conocer los efectos o impacto de una intervención en un contexto determinado, pero ello no necesariamente nos faculta para generalizar los efectos de un contexto a otro. Para conocer y sopesar los efectos de un mismo tipo de intervención en términos universales, se utiliza la metodología de las revisiones sistemáticas , que nació en el seno de la salud pública. Estametodología exige revisar y conocer críticamente todo lo que se ha publicado sobre aquello que funciona en un determinado problema. Así, es posible emitir un juicio comprensivo sobre toda la evidencia disponible, a partir demúltiples investigaciones (por lo general estudios experimentales y cuasi-experimentales). De esta manera, podemos determinar cuáles serían los denominadores comunes en aquellos modelos exitosos en más de un contexto, lo que, sin duda, amplía el nivel de generalización con respecto a un único estudio experimental. En ciertas ocasiones, las revisiones sistemáticas incluyen un meta- análisis, técnica estadística que permite relacionar y jerarquizar los datos de las diversas investigaciones revisadas, estableciendo un ranking de las más a las menos exitosas. En suma, las intervenciones basadas en evidencia son aquellas para las cuales la comunidad científica cuenta con estudios experimentales o cuasi experimentales que demuestran los efectos positivos de éstas. Es decir, los estudios experimentales o cuasi experimentales generan evidencia sobre el nivel de eficacia de una determinada intervención, en términos del nivel de logro de los objetivos con que se diseñó su modelo. Habrá que explorar caso a caso bajo qué condiciones contextuales el modelo ha sido testeado, para determinar el nivel de generalización de las conclusiones de los estudios, a través de revisiones sistemáticas. Adicionalmente, debieran emprenderse otros estudios económicos para determinar la relación costo-efectividad de una determinada alternativa en comparación con otras. 4 Recuérdese que para una asignación aleatoria es condición conocer exhaustivamenteeluniversodetalmodoquecadasujetotenga lamismaprobabilidaddeser asignado a uno u otro grupo. La asignación aleatoria es tan importante en evaluación puesto queellopermitegarantizar laequivalenciade losgruposydeesemodo, lasdiferenciasentre ambos grupos al término de la intervención, serían atribuibles a la intervención y no sesgos en la asignación de los sujetos a uno u otro grupo.