|
Murcia, Mayo de 1998 Es importante subrayar, ante todo, la filosofía que ha guiado la participación de la Universidad de Murcia en la primera convocatoria del Plan Nacional de Evaluación de la Calidad. Los responsables de la Universidad de Murcia adoptaron de partida una orientación que permitiera a la institución poner en marcha el proceso con confianza y seguridad, eludiendo la presentación de complicaciones iniciales y con la intención de adquirir una experiencia que le permitiera consolidar su participación en futuras ediciones, al mismo tiempo que se cumplían con el máximo rigor posible todos los requerimientos. Con tal finalidad, y de acuerdo con las bases de la convocatoria, se seleccionaron dos titulaciones con contenido temático y características muy similares, la titulación de Química (de ciclo largo) y la titulación de Bioquímica (de ciclo corto). En opinión del Comité de Evaluación de la Universidad, esta selección ha cumplido perfectamente los objetivos que se trazaron inicialmente. El proceso de autoevaluación comenzó formalmente la primera quincena de junio de 1996, cuando se recibió la notificación de que se había aceptado la solicitud de la Universidad de Murcia para someter a evaluación las dos titulaciones citadas. Dada la dificultad de organizar la información requerida por la Guía de Evaluación (GE), la Unidad de Evaluación procedió, en primer lugar, a realizar una Guía Resumen (GER), un documento que tenía como objetivo sintetizar los aspectos esenciales a evaluar de la titulación, haciendo en el mismo referencia a un código, que indicaba la fuente de información de que se disponía en la Universidad de Murcia, para acometer objetivamente la evaluación correspondiente. Este documento se convirtió en el material básico de trabajo a lo largo del proceso. El Comité de Evaluación de la Universidad de Murcia fue designado con objeto de asistir al proceso de evaluación seguido en el Plan Nacional de Evaluación de la Calidad de las Universidades y se constituyó oficialmente en octubre de 1996. Su composición inicial fue la siguiente:
A la sesión de constitución del Comité de Evaluación de la Universidad de Murcia se incorporaron también el decano de la facultad de Química, el secretario y los dos vicedecanos responsables de las titulaciones objeto de evaluación. Por su parte, los Comités de Evaluación de las titulaciones de Química y Bioquímica se constituyeron oficialmente en noviembre de 1996. Puesto que ambas titulaciones se imparten en una misma Facultad, su composición fue similar:
La primera reunión de los dos Comités fue conjunta. En su transcurso se decidió que los vicedecanos responsables de ambas titulaciones actuaran de secretarios de tales Comités en todas las reuniones y se encargaran a tal efecto de la redacción formal del documento de Autoinforme. En consecuencia, los Comités se reunieron desde entonces con una periodicidad semanal en la Sala de Juntas de la Facultad de Química y adoptaron como documento de trabajo la Guía Resumen (GER) preparada por la Unidad de Evaluación. La información requerida por la Guía Resumen de Evaluación fue previamente recogida y organizada desde la Unidad de Evaluación de la Universidad de Murcia utilizando las siguientes fuentes generales:
Además, en el transcurso del proceso, la Unidad de Evaluación recabó y procesó cuanta información le fue solicitada por los Comités de Evaluación de las titulaciones evaluadas. Los trabajos de los Comités de Evaluación y la redacción final del Autoinforme concluyeron el 19 de febrero de 1997. Tras su envío a todos los colectivos de la titulación y la apertura de un periodo de alegaciones, el documento fue consensuado en audiencia pública en 27 de febrero de 1997. El documento final de Autoinforme fue enviado al Consejo de Universidades en la fecha límite prevista, el 28 de febrero de 1997. El Consejo de Universidades nombró un Comité de Expertos con el objetivo de atender el proceso de evaluación externa de las titulaciones de Química y Bioquímica de la Universidad de Murcia. La composición del Comité fue dada a conocer a finales del mes de abril de 1997 y fue la siguiente:
A pesar de haber sido programada para que tuviera lugar durante el mes de junio, por problemas de agenda de sus miembros y de disponibilidad de tiempo por parte de los alumnos, la correspondiente visita de evaluación hubo que posponerla hasta comienzos del curso siguiente, cuando el curso académico se encontrara consolidado. La recepción oficial por parte de la Universidad de Murcia a los miembros del Comité de Expertos Externos tuvo lugar el 4 de noviembre de 1997. La visita se prolongó los dias 5, 6 y 7 de noviembre. Se realizó una sesión pública con miembros de ambas titulaciones a las 14.15 horas del dia 7 de noviembre. Tras consensuar el borrador del documento de Evaluación Externa con los miembros del Comité de Expertos Externos, el presidente lo envió a la Universidad de Murcia el 28 de enero de 1998. En visita personal a Murcia, el documento final de Evaluación Externa se consensuó con algunos de los miembros del Comité de Evaluación de la Universidad y del Comité de Evaluación de las titulaciones de Química y Bioquímica el 27 de febrero. La propuesta de informe final fue remitida a todos los colectivos evaluados el día 7 de abril y se celebró una audiencia pública el día 13 de mayo en la Sala de Juntas de la Facultad de Química. Una vez incorporadas las alegaciones al documento, se reunió el Comité de Evaluación, presidido por el Rector de esta Universidad, el día 27 de Mayo en la Sala de Juntas de la Facultad de Química, para emitir el informe final de la titulación de Química. 2. Valoración del Proceso de Evaluación Interna 2.1. Apoyo institucional. Es de destacar, en primer lugar, el incondicional apoyo institucional que el equipo de gobierno de la Universidad de Murcia, presidido por el Excmo. y Mgfco. Rector, ha brindado a la participación en la primera convocatoria del Plan Nacional de Evaluación de la Calidad. En primer lugar, pronosticando la necesidad de constituir una Unidad de Evaluación, que sirviera de soporte al desarrollo del Plan, con el tiempo necesario para que se dispusiera de una infraestructura operativa mínima, y en segundo lugar, dotándola de los recursos humanos y materiales necesarios para que cumpliera su función con eficacia. La Universidad de Murcia había participado en el nivel más básico en el Programa Experimental de Evaluación de la Calidad del Sistema Universidades que el Consejo de Universidades impulsó en 1993. Varios de sus responsables asistieron al encuentro sobre Evaluación de las Universidades en España que se celebró en la Universidad Internacional Menéndez Pelayo en septiembre de 1994. Como consecuencia de este interés, la Universidad de Murcia disponía, al inicio del proceso, de una Unidad de Evaluación totalmente operativa (había sido creada en febrero de 1996), que se ha encargado de la gestión de todo el proceso de evaluación, desde la preparación de la solicitud para participar en la primera convocatoria del Plan Nacional, hasta la generación del informe final, con el que se culmina el proceso. 2.2. Grado de implicación de la titulación. Otro aspecto importante a valorar en el proceso de autoevaluación concierne al grado de implicación de los miembros de la titulación evaluada. En opinión del Comité de Evaluación de la Universidad, se ha hecho un importante esfuerzo en esta línea, aunque el resultado es manifiestamente susceptible de mejora, particularmente en lo que respecta a los colectivos de alumnos. Las acciones fundamentales emprendidas para implicar a los diferentes colectivos de la titulación han sido las siguientes:
A pesar de todo, este aspecto del proceso, examinado retrospectivamente, quizá hubiera requerido un esfuerzo inicial de publicidad más incisivo, a fin de elevar en mayor medida el clima y cultura de la evaluación y la participación efectiva de todos los colectivos. El grado de implicación de los miembros de la titulación ha sido muy heterogéneo, desde una implicación máxima por parte de los responsables de la titulación hasta una implicación menor por parte del resto de los colectivos afectados por la evaluación. Uno de los objetivos que el Comité de Evaluación de la Universidad juzga esencial para futuras convocatorias del Plan Nacional es una implicación más efectiva de todos los colectivos. 2.3. El papel de la Unidad de Evaluación. El proceso de evaluación interna se rigió por las directrices marcadas en el documento Guía de Evaluación (GE) preparado por el equipo técnico del Plan Nacional. Sin embargo, puesto que este documento resultaba demasiado complejo para ser utilizado como documento básico de trabajo por los Comités de Evaluación de las titulaciones, la primera actividad que tuvo de emprender la Unidad de Evaluación fue resumir la GE con el fin de disponer de un documento operativo susceptible de ser utilizado por todos los miembros de la Comisión con el mínimo esfuerzo posible. El resultado fue un documento de 12 páginas, la Guía de Evaluación Resumida (GER), que sintetizaba los aspectos principales que debían ser objeto de evaluación y reflexión. La GER incluía un breve comentario sobre el objeto a evaluar y un código de referencia que permitía la localización rápida de la información documental que la Universidad de Murcia tenía para abordar tal evaluación. El objetivo fundamental de la elaboración de este documento fue la organización práctica de la información que debía ser recabada, facilitando las tareas de reflexión, debate y evaluación que los miembros de los Comités debían realizar. Parte de la información requerida en la Guía de Evaluación (GE-GER) relativa a aspectos de la enseñanza, la investigación y la gestión, pudo obtenerse de forma directa, por estar disponible de alguna manera en la Universidad de Murcia. Pero la mayor parte de la información requerida no podía obtenerse por el mismo procedimiento, o se requería mucho tiempo para acceder a ella por encontrarse difuminada en documentos de difícil localización, no informatizada y en ocasiones insuficientemente elaborada. Esta es, precisamente, una de las carencias que se pusieron de manifiesto a lo largo de las reuniones de los Comités de Evaluación de la titulación: la Universidad de Murcia carecía de las bases de datos de información sobre aspectos de la enseñanza, la investigación y la gestión que son necesarios para abordar con rigor un proceso de autoevaluación. Ante esta evidencia, la segunda actividad que emprendió la Unidad de Evaluación fue la recogida de la información que no era directamente accesible, con el fin de sistematizar progresivamente una base de datos inicial que fuera utilizable por el Plan Nacional de Evaluación. Con tal objetivo en perspectiva se desarrollaron tres tipos de cuestionarios donde se solicitaba esta información, a saber:
La elaboración de estos cuestionarios fue muy laboriosa y se realizó durante la primera quincena del mes de junio de 1996. Los cuestionarios fueron enviados a sus destinarios la segunda quincena del mes de junio. En cada de las modalidades, los cuestionarios solicitaban un gran volumen de información sobre muchos aspectos de la enseñanza, la investigación y la gestión, y como consecuencia presentaban un alto grado de complejidad y requerían mucho tiempo para poder ser óptimamente completados. Quizás por ello, la respuesta de las diferentes fuentes de información consultadas fue muy desigual, aunque bastante aceptable si se examina desde la perspectiva de un proceso de muestreo. De los 115 cuestionarios enviados, hasta el mes de octubre de 1996 en que el proceso se inició de forma oficial se habían recibido en la Unidad de Evaluación un total de 91 (79%) cuestionarios completos: el cuestionario de responsables, 8 cuestionarios de directores de departamento (que resultaron ser precisamente los más directamente involucrados en las titulaciones) y 82 cuestionarios de profesores. A pesar de que muchos de los cuestionarios recibidos no incluían toda la información solicitada, en octubre de 1996 las titulaciones de Química y Bioquímica disponían de una base documental bien organizada y con información suficiente para poder abordar el proceso de autoevaluación. Este procedimiento de obtención de información ha permitido finalmente generar una base de datos, para ambas titulaciones, que, aunque dista de ser completa, permitió una aproximación objetiva a la realidad de la titulaciones en los aspectos objeto de evaluación y la reflexión y el debate pertinentes entre los miembros de los Comités de Evaluación. Sin embargo, la complejidad de los cuestionarios utilizados y el volumen y naturaleza de la información que se requería ha provocado reacciones negativas bastante generalizadas por parte de los respondentes, quienes argumentaban que gran parte de la información solicitada ya había sido enviada a los organismos competentes (principalmente, Vicerrectorado de Profesorado y Vicerrectorado de Investigación) y que carecían de tiempo material y, en muchos casos, de información suficiente para rellenar los cuestionarios. En opinión del responsable de la Unidad de Evaluación, la información (teórica) disponible en el Vicerrectorado de Profesorado no concordaba en la mayoría de los casos con la información (real) obtenida mediante los cuestionarios, con lo que la reflexión no se habría realizado con garantías de objetividad. Afortunadamente, estas reacciones han permitido también acelerar la ya iniciada puesta en marcha de bases de datos documentales en los vicerrectorados de Profesorado (base de datos Ormuz) y de Investigación (el programa Página). La segunda (y sucesivas) convocatoria(s) del Plan Nacional permitirá sin duda prescindir de muchas de las preguntas que se incluyeron en los cuestionarios de la primera convocatoria, ya que la información puede ser obtenida de forma directa en las bases de datos actualmente existentes. 2.4. Metodología y plan de trabajo. Una vez constituído el Comité de Evaluación de la Titulación, compuesto por un total de 10 miembros, y conocidos los objetivos que se perseguían durante el proceso de autoevaluación mediante el examen detenido de la Guía de Evaluación Resumida (GER), se debatió el plan de trabajo a seguir y se designó un responsable de la redacción del Documento de Autoevaluación (DAE), que recayó en la Vicedecana de Coordinación de la Facultad de Química, Dª Gloria Villora Cano. Con el fin de organizar el trabajo, cada uno de los Comités se dividieron a su vez en tres subcomisiones que se encargaron respectivamente de los tres aspectos básicos que debían ser objeto de evaluación: docencia, investigación y gestión. Muchas de las reuniones de las subcomisión de docencia contaron también con la colaboración de la Sra. Vicerrectora de Profesorado, las de la subcomisión de investigación con la Sra. Jefe de Sección de Gestión de la Investigación y la subcomisión de servicios con el Sr. Gerente de la Universidad. Las reuniones se celebraron en la Sala de Juntas de la Facultad de Química, donde se encontraban también todos los documentos elaborados por la Unidad de Evaluación y puntualmente referidos en la Guía de Evaluación Resumida (GER). Los trabajos de los Comités de Evaluación y la redacción final del Autoinforme concluyeron el 19 de febrero de 1997. El borrador del documento provisional de Autoinforme fue enviado a todos los profesores implicados, PAS y representantes de alumnos el 20 de febrero de 1997, iniciándose después un periodo de alegaciones que se prolongó durante una semana. Con el fin de facilitar su difusión máxima, este documento se insertó también el mismo día en la página WEB de la Unidad de Evaluación de la Universidad de Murcia. La gran mayoría de las alegaciones recibidas fueron debidamente atendidas por los Comités de Evaluación de las respectivas titulaciones. Además, una sesión extraordinaria de audiencia pública tuvo lugar el 27 de febrero de 1997 en el salón de actos de la Facultad de Química. Todas las sugerencias que se hicieron fueron también atendidas e incorporadas al documento. 2.5. Fortalezas y debilidades del proceso de autoevaluación. Ante todo, el Comité de Evaluación de la Universidad de Murcia juzga bastante apropiada la metodología de evaluación seguida en el Plan Nacional, en sus dos fases de Autoevaluación y Evaluación Externa, tras haber sido suficientemente probada y contrastada durante las experiencias nacionales e internacionales, en particular las procedentes de Holanda y el Reino Unido. El procedimiento de Autoevaluación es, en este contexto, un aspecto importante del proceso , donde se realiza un diagnóstico de la realidad de la titulación, y su responsabilidad recae sobre los miembros de la propia titulación. El procedimiento de Evaluación Externa es, a no dudar, el aspecto fundamental de todo el proceso, pero su capacidad para valorar el diagnóstico depende en gran medida del proceso de Autoevaluación. Es por esta razón por la que, en opinión del Comité de Evaluación de la Universidad de Murcia, se precisaría arbitrar acciones de control que permitan determinar qué grado de fiabilidad tiene la información utilizada y con qué objetividad se transcribe la información analizada y debatida por los Comités en el documento de Autoevaluación. Sería deseable conocer, entre otros aspectos, la exhaustividad en el tratamiento de la información por parte de la titulación, la fiabilidad y la validez de los datos suministrados en el documento, el rol (autocrítica vs. autocomplacencia) desempeñado por los Comités y la legitimidad del documento y el nivel de responsabilidad que compete a cada uno de sus miembros. 3.Valoración del Proceso de Evaluación Externa. 3.1. Metodología y plan de trabajo. La composición del Comité de Expertos que se responsabilizaría del proceso de evaluación externa de las titulaciones de Química y Bioquímica fue comunicada al Comité de Evaluación de la Universidad a finales de abril de 1997. En su composición destacaba la presencia de tres miembros de la universidad y uno de la empresa privada. Siguiendo las instrucciones de la Secretaría de Estudios del Consejo de Universidades, a cada uno de los miembros se les envió con carácter urgente un ejemplar del documento de Autoevaluación, que se había concluido a finales del mes de febrero. El objetivo del Comité de Evaluación era que el proceso de evaluación externa tuviera lugar antes de que concluyera el curso académico. Sin embargo, el equipo técnico del Consejo de Universidades impartió un curso de formación en Madrid para los miembros de los Comités Externos durante la primera quincena del mes de mayo. Por problemas de agenda, fue imposible concertar las fechas de visita a Murcia para los cuatro miembros del Comité antes del periodo vacacional. El proceso de evaluación externa se fijó, después de diversos avatares, para los dias 4 a 7 de noviembre de 1997. El plan de trabajo se programó por los miembros del Comité de Evaluación de la titulación, pero sufrió ligeros retoques durante su ejecución. El plan real de trabajo se ajustó al calendario siguiente: Martes, 4 de noviembre
Miércoles, 5 de noviembre.
Jueves, 6 de noviembre
Viernes, 7 de noviembre
Almuerzo de despedida del Comité de Expertos Como puede comprobarse, en términos generales el proceso de evaluación externa se ha realizado con un cumplimiento escrupuloso del plan de evaluación sugerido por el equipo técnico del Plan Nacional. El Comité de Expertos Externos valoró muy positivamente el documento de autoevaluación y el esfuerzo realizado por el Comité de Evaluación de las titulaciones y la Unidad de Evaluación de la Universidad de Murcia para llevar a buen puerto los objetivos marcados en el Plan Nacional de Evaluación de la Calidad de las Universidades. Es de destacar que los miembros del Comité dispusieran de tiempo suficiente para leer detenidamente el documento de Autoevaluación antes de proceder a la visita. Por esta razón, el proceso se agilizó considerablemente, lo que provocó un adelanto del calendario previsto, que se había planificado para que concluyera el sábado, día 8 de noviembre. La visita fue convenientemente anunciada en la prensa y radio locales, y se dio publicidad masiva en el recinto de la facultad de Química y en las dependencias de Bioquímica. Además, todas las audiencias planificadas se celebraron en un clima altamente positivo de cooperación y reflexión. 3.2. Fortalezas y debilidades del proceso de evaluación externa. En principio, parece interesante el contraste de pareceres entre los miembros del Comité Interno (Autoevaluación) y los miembros del Comité Externo. En el caso de existir un amplio consenso y voluntad de cooperación entre ambos, sin menoscabo de las naturales discrepancias que puedan surgir, el proceso puede beneficiarse de este doble punto de vista. Este ha sido el caso de la evaluación de las titulaciones de Química y Bioquímica. La visita a la titulación por parte del Comité Externo se hace por otra parte necesaria para apreciar "in situ" la verdadera situación de la titulación. La presencia de personas con amplia experiencia académica y profesional permite detectar cualquier posible discrepancia entre las valoraciones del Comité de Evaluación de la titulación y los distintos estamentos de la Comunidad Universitaria. En este aspecto cabe fiarse de la natural intuición de los expertos, caso de que estos actúen verdaderamente con espíritu crítico, independiente y con voluntad de cooperación con la Universidad evaluada. Para que la evaluación externa funcione, y se alcancen los objetivos propuestos en el Plan Nacional, es preciso que exista una atmósfera de cooperación con el Comité Interno, lo que es presumible por cuanto que es la propia Universidad la que solicita someterse al proceso de evaluación. Por el contrario, la cooperación y voluntad de consenso con los diversos estamentos de la vida universitaria no es presumible de antemano. En opinión del Comité de expertos externos, debe hacerse un gran esfuerzo, tanto por parte de la propia Universidad como por los responsables del Plan Nacional, para dar a conocer mejor el proyecto y difundir su filosofía entre profesores, alumnos y PAS. El plan de trabajo preparado por el Comité de Evaluación de las titulaciones para el Comité de Expertos Externos, siguiendo las directrices de la Guía de Evaluación, ha sido en términos generales satisfactorio. En opinión del Comité de Expertos Externos, sería además deseable programar institucionalmente una entrevista de los expertos externos con los investigadores principales de proyectos de investigación, al objeto de dar un mayor protagonismo, a lo largo del proceso, a los responsables últimos y directos de la investigación universitaria. Como se adujo anteriormente, la opinión de la titulación que el Comité de Expertos Externos se forja depende en gran medida de las ideas contempladas en el documento de autoevaluación. La falta de rigor, fiabilidad y objetividad de la información plasmada en tal documento puede sesgar la opinión de partida que los expertos se hacen de la titulación. Es necesaria una gran dosis de intuición y experiencia por parte de los expertos para captar la realidad de una titulación si previamente se cuenta con información sesgada. De ahí que se haya considerado la necesidad de establecer controles que permitan detectar el grado de fiabilidad de la información vertida en el documento de autoevaluación. 4. Principales fortalezas y debilidades detectadas. Se indican a continuación las principales fortalezas y debilidades detectadas, tal y como se hacen constar en el Documento de AutoEvaluación (DAE) y el Documento de Evaluación Externa (DEE). También se tendrán en cuenta en su redacción final las sugerencias y valoraciones de las respectivas audiencias a las que se someterá este documento. En el listado que se desarrolla a continuación se especifica también si la fortaleza/debilidad detectada se cita en el documento DAE, en el documento DEE, en alguna audiencia (AUD) o se trata de una sugerencia del Comité de Evaluación de la Universidad (CEU). 4.1. Principales fortalezas detectadas. A. Enseñanza.
B. Instalaciones.
C. Investigación.
D. Gestión.
E. Gestión del Plan Nacional de Evaluación de la Calidad.
4.2. Principales debilidades detectadas. E. Enseñanza.
F. Instalaciones.
G. Investigación. G.1. Existe demasiada desconexión entre los grupos de investigación
de un mismo departamento, o de departamentos afines, lo que dificulta una
optimización de los recursos destinados a investigación (DEE). H. Gestión
I. Gestión del Plan Nacional de Evaluación de la Calidad.
5. Propuestas para la elaboración de un PLAN DE MEJORA Y SEGUIMIENTO. En base al proceso de reflexión que supone la evaluación de la calidad de la titulación en sus dos etapas de autoestudio y evaluación del Comité de Expertos Externos, así como de los resultados obtenidos, el Comité de Evaluación de la Universidad sugiere la elaboración de un Plan de Mejora y Seguimiento que defina las actuaciones concretas que habrán de llevarse a cabo para subsanar las deficiencias detectadas. Este Plan estará centrado en los objetivos de calidad y progreso del título evaluado de Licenciado en Química. No es posible, por lo tanto, que se plantee sin la corresponsabilidad del Equipo Directivo del Centro que acoge la titulación, del Equipo de Gobierno de nuestra Universidad, incluso de los responsables del Plan Nacional de Evaluación de la Calidad de las Universidades con el concurso de las más altas instancias. Algunas de las líneas de actuación sobre las áreas susceptibles de mejora son las que se apuntan a continuación. El coste de la ejecución de las actuaciones concretas, así como el tiempo de finalización de las mismas habrán de ser definidas en el Plan de Mejora de la Titulación de Licenciado en Química.
|
