La evaluación universitaria: antecedentes, desarrollo y proyecciones. 15 años de estudios técnicos del Consejo de Evaluación

274 La evaluación universitaria: Antecedentes, Desarrollo y Proyecciones. 15 años de estudios técnicos del Consejo de Evaluación Este capítulo reúne un conjunto de 8 Estudios Técnicos (ET), publicados entre 2010 y 2017, que se refieren a información y procesos de diverso tipo al interior de la Universidad de Chile entre 1999 y 2016. El hilo conductor de este grupo de estudios es la necesidad percibida por el Consejo de Evaluación, y aparentemente compartida por distintas autoridades universitarias en distintos instantes de tiempo, de contar con información que permita a dichas autoridades tomar decisiones estratégicas, y evaluar sus resultados, sobre la base de evidencia verificable. La palabra “estrategia” se usa para referirse a Procesos o Proyectos tales como la Reforma a la Docencia de Pregrado, o al Plan de Desarrollo Institucional. Un instrumento específico, cuya elaboración, implementación y vigencia aparece repetidamente es el uso de indicadores. El primero de los estudios mencionados, ET N° 2 “Modelo de Diseño y Evaluación de Procesos Estratégicos” (2010), estableció importantes bases conceptuales y metodológicas de carácter general. Estuvo orientado a proporcionar herramientas que incorporaran la evaluación como una característica permanentemente asociada a los Procesos Estratégicos y Proyectos Asociados. Se identifica cinco etapas en cada Proceso o Proyecto: i) Un análisis previo, o diagnóstico, en que se detectan fortalezas y debilidades, oportunidades y amenazas, que aconsejan el acometimiento de una tarea; ii) Diseño (incluyendo objetivos y selección de indicadores); iii) Implementación; iv) Cierre y v) Análisis de impacto post-cierre. Todas las etapas contemplan instancias de evaluación tanto endógenas como exógenas, estas últimas consideradas esenciales para evitar la autocomplacencia. El ET N° 4 “Validación de un modelo para la evaluación de procesos estratégico-institucionales a través de la evaluación de impacto de los proyectos Mecesup asociados a la Reforma de Pregrado de la Universidad de Chile” (2010), tuvo una ambición considerable: se abocó a la implementación de las ideas y métodos del modelo esbozado en el ET N° 2 en un conjunto de 21 proyectos, financiados por el programa de mejoramiento y equidad en la Educación Superior (MECESUP) del Ministerio de Educación, asociados a reformar la enseñanza de Pre-Grado en la Universidad de Chile (Uch). Una condición de borde importante para este estudio fue que los proyectos analizados ya estaban en funcionamiento o habían concluído, por lo que no habían, necesariamente, incluido la evaluación como una actividad asociada a cada una de sus etapas, desde su formulación. El período de tiempo analizado fue 1999-2004. La principal dificultad encontrada en la elaboración de este estudio fue, precisamente, la ausencia de mecanismos de evaluación asociados a los objetivos de los diferentes proyectos, especialmente de indicadores basados en evidencia verificable, que permitieran establecer una base racional para calificar como exitoso, o no, un proyecto. La herramienta utilizada, entonces, parece haber sido la entrevista personal a diversos actores involucrados en los diversos proyectos. Sobre esta base se concluyó que los proyectos orientados a la adecuación y generación de infraestructura, así como la introducción de nuevas tecnologías, a grandes rasgos fueron percibidos como exitosos. No lo fueron aquellos focalizados en la introducción de cambios curriculares. A partir de la experiencia ganada con este estudio, se llegó a la conclusión que el modelo propuesto para la evaluación de procesos estratégico-institucionales al interior de la U de Chile es factible y deseable. En línea con los ET N° 2 y N° 4, el ET N° 5 “Análisis y actualización de indicadores del Proyecto de Desarrollo Institucional de la Universidad de Chile” (2010) se abocó al análisis del Proyecto deDesarrollo Institucional de laU. deChile 2006-2016 (PDI), a la luz de lametodología propuesta. La principal constatación es que el PDI consigna áreas como estratégicas para la Universidad, pero no le asigna indicadores de desempeño. Adicionalmente, el número de indicadores consignados fue calificado como excesivo. Para suplir ambas falencias, el estudio propuso una lista, acotada, de indicadores para cada uno de los ámbitos de la Universidad. El ET N° 11 “Análisis de desarrollo de la Universidad de Chile (2006-2010) a partir de los indicadores del Anexo 4 del PDI” (2011) llevó a cabo un estudio de las tendencias del desempeño de la U.de Chile entre 2006 y 2010, a partir de la información disponible en el PDI y en el Anuario de la Universidad. Se consideraron las áreas de Cuerpo Académico, Cuerpo Estudiantil, Docencia de Postgrado, e Investigación. El estudio evidenció que en el período indicado hubo un rejuvenecimiento de la planta académica, un aumento en el número de académicos con grado de Doctor, en la productividad en términos de publicaciones ISI, en la adjudicación de proyectos Fondecyt Regular y en la cantidad de graduados con doctorado y magíster. Estas características, sin embargo, fueron calificadas como insuficientes, en números absolutos, para hacer de la UCh una institución de excelencia. También, que el progreso es muy heterogéneo entre las distintas Facultades. En cuanto a los estudiantes de pregrado, hay una constatación de que los puntajes de ingreso de los estudiantes a la UCh fue significativamente mayor que al resto de las universidades, con la excepción de la Pontificia Universidad Católica, que fue mayormente preferida, durante el período analizado, entre los postulantes que podían elegir. El ET N° 13 “Propuesta de Indicadores de Desempeño de la Universidad de Chile” (2012) propone un listado de 75 indicadores, ordenados en base a los Objetivos Estratégicos y Propuestas de Acción (OEPA) del PDI de la UCh. Es interesante notar que el ET N° 13 consigna que para algunos OEPA no se encontró información que permitiera la elaboración de indicadores. Por ejemplo, “Ser efectivamente una institución integrada y transversal”; “Desarrollar el área de investigación, creación, docencia e interacción en ciencias de la educación”; “Establecer un nuevo esquema de financiamiento y asignación presupuestaria en la Universidad”. El ET N° 14 “Propuesta de Sistema Integrado de Indicadores Estratégicos” (2011) puede considerarse una elaboración más detallada, que la implementada en el ET N° 13, de una propuesta de indicadores, así como un esfuerzo de síntesis. El estudio culmina con una lista de 30 indicadores cuantitativos globales definidos con precisión, e incluye un “Modelo de Cadena Productiva de la Información”, que indica una metodología posible a seguir para asegurar la disponibilidad de los datos necesarios para la implementación efectiva de los indicadores. Introducción