Experiencias en América Latina: el desafío de evaluar programas de seguridad ciudadana

12 Hacia una integración entre el “buen hacer” y la fundamentación en la evidencia Más allá de las amplias ventajas que tienen las metodologías experimentales para construir conocimiento, estableciendo y cuantificando la relación entre intervención y cambios observados, estas metodologías no abordan el proceso mismo de implementación, ni las dinámicas de relaciones de los equipos ejecutores con otras instituciones u otros aspectos temporales que dicen relación con “cómo es que funciona aquello que funciona”. Por ello se puede explicar, en parte, el avenimiento de los estudios de buenas prácticas en el seno de la prevención del delito. No obstante, es posible apreciar una cierta incomodidad para con los estudios de buenas prácticas como si éstos fuesen un sucedáneo de los estudios experimentales, tal como se aprecia enesta cita que forma partede la introduccióndeun compendio de buenas prácticas en prevención de la violencia juvenil: “En teoría, las prácticas óptimas se basan en el conocimiento extraído de las exhaustivas evaluaciones de los informes sobre intervenciones que aparecen en la literatura revisada sobre este tema. No obstante, algunos factores hacen que este enfoque sea algo complicado para identificar las prácticas óptimas en los esfuerzos para la prevención de la violencia juvenil. (…) En primer lugar, se han realizado pocos estudios longitudinales y de control aleatorio, dado que la investigación en el campo de la prevención de la violencia juvenil es muy reciente (…) En virtud de que la violencia juvenil es preocupación prioritaria en el área de salud pública y dado que pueden transcurrir años antes de que se pueda ofrecer un número significativo de prácticas óptimas con base científica, consideramos importante incluir en este libro de referencia tanto las pocas prácticas científicamente comprobadas como aquellas que prometen dar buenos resultados.” (Thomton, N., Craft, C., Dahlberg, L, Lynch, B. & Baer, 2000, p. 42; énfasis añadido). Esmuy posible que las dificultades para contar conmás ymejores estudios basados en evidencia en el ámbito de la prevención del delito sean de tal envergadura que no sean tan fáciles de subsanar sólo con el paso del tiempo. Existen otros motivos de peso para cuestionar el uso ortodoxo de metodologías experimentales y cuasi experimentales en la evaluación de iniciativas de prevención del delito, así como en otras áreas del comportamiento humano, ya sea por cuestiones éticas – no es defendible desde la autoridad de gobierno ofrecer un tratamiento a unos y no a otros con fines de investigación –; o prácticas, algunas veces simplemente no es viable delimitar enqué consiste el tratamiento o estandarizarlo cuando éste pasaporlatemporalidaddelosprocesossocialesylacalidaddelosvínculos en las relaciones humanas. En este contexto, ya no es posible defender acríticamente que los métodos experimentales sean la única alternativa en la evaluación de las iniciativas de prevención. Al menos, la mayoría de los investigadores están de acuerdo en la necesaria complementariedad de metodologíasexperimentalesycomprensivasocualitativasparadarcuenta de la complejidaddel cambio necesario en la prevención del delito. Por otra parte, es posible sostener que mientras las intervenciones basadas en evidencia remiten a unmodelo abstracto que ha sido puesto a prueba científicamente, con lo que de hecho nos encontramos son prácticas siempre únicas e irrepetibles, algunas con mejores resultados que otras. En el proceso de implementación, en mayor o menor grado, los equipos ejecutores hacen propios los modelos, transformándolos e imprimiéndoles un sello particular. Inclusive en los estudios basados en evidencia no hay forma de escapar a lo anterior. Estos estudios toman datos de iniciativas o prácticas concretas, intentando depurar los aspectos contingentes y particulares de las mismas, a través de la aleatorizaciónde los sujetos en los grupos control y grupo experimental, la realización de varios experimentos y reiteradas mediciones en el tiempo, de modo de fortalecer el argumento de que los cambios se deben al modelo de intervención y no a otro aspecto contingente de la implementación del modelo, pero finalmente no hay que olvidar que no habrían estudios basados en evidencias, si no hubiesen prácticas que aportaran dichas evidencias. Ahora bien, el fortalecimiento de las buenas prácticas de prevención del delito se logra también con la introducción de una cultura pro evaluación, la que puede abarcar distintas estrategias metodológicas rigurosas, aunque no todas ellas de corte experimental o cuasi experimental. Lo que es importante de subrayar es que sólo gracias a la acumulación de información organizada (registros sistemáticos de entrada y salida de beneficiarios, información de las actividades realizadas, notas de reuniones, etc.) es posible la acumulación de conocimiento con respecto a las prácticas de prevención del delito en y para América Latina y sus diversas realidades locales. Sólo así podremos efectivamente aprender de aquello que funciona y cómo es que funciona, ya que una buena práctica es también aquella que se da a conocer, que tiene visibilidad pública y está disponible para el escrutinio y análisis de otros, quienes pueden aprender de ésta. Si la noción de buenas prácticas tiene un énfasis más pragmático, orientado a responder a los desafíos de la gestión y la administración, no es de extrañarse que las estrategias de reconocimiento de buenas prácticas sean diversas y dependan de los contextos y sentidos en los cuales se desarrollan. Una noción interesante de buenas prácticas podría ser aquella que integra la noción de iniciativas basadas en evidencia de acuerdo a los distintos momentos del ciclo de vida de un proyecto. En primer lugar, al momento de la toma de decisión inicial acerca del diseño del proyecto (¿qué podemos hacer? ¿dónde nos podemos inspirar?). Es posible recurrir a los estudios basados en evidencia en tanto una fuente de inspiración para conocer qué se ha hecho ante problemas similares, con qué resultados y bajo qué condiciones. Tomar decisiones y opciones teniendo en consideración lo descrito en la literatura especializada sería un primer paso fundamental. En segundo lugar, durante la etapa de planificación inicial del proyecto es imprescindible el diseño de las estrategias de seguimiento y evaluación de la iniciativa. Así tendremos claro qué procedimientos emplearemos sistemáticamente para construir la evidencia necesaria que permita demostrar si nuestra iniciativa fue o no eficaz. Una recomendación básica es no desdeñar la construcción de líneas bases que corresponden a la primera medición en el tiempo en el método experimental. Pero, más allá de si es posible realizarla con todos los estándares científicos (varios grupos, aleatorización de los sujetos, etc.), es altamente conveniente medir las variables importantes de una intervención – aquellas que pretendemos modificar y aquellas