METODOLOGÍA

 

MENÚ

 

Partiendo de los objetivos planteados en esta propuesta consideramos que nuestro trabajo tiene dos partes fundamentales: una primera parte en la que se llevará a cabo la exploración y análisis de los indicadores utilizados actualmente, tanto a nivel nacional como internacional, para medir las competencias TIC de los docentes universitarios, y una segunda parte en la que se elaborará la propuesta de mejora (basada en dichos indicadores) de las competencias TIC de los docentes universitarios españoles y un instrumento telemático para la autoevaluación.

En consecuencia hemos planteado el trabajo en torno a dos fases generales, desglosadas en una serie de tareas más concretas:

Primera Fase: Indicadores de evaluación de competencias TIC del docente universitario.

  1. Exploración de indicadores (nacionales e internacionales) utilizados actualmente para la medición de competencias TIC de los docentes universitarios
  2. Análisis y discriminación por parte de expertos de los indicadores: clasificación según criterio de objetividad y subjetividad, así como según su impacto y relevancia en el análisis global (ponderación).
  3. Diseño, validación y aplicación de un instrumento de evaluación basado en los indicadores objetivos y propuesta de integración en dicho instrumento de los indicadores subjetivos.
  4. Segunda Fase: Propuestas de mejora de la calidad de la docencia.

  5. Cuestionario en red para la evaluación de las competencias TIC de los docentes universitarios españoles. Se aplicará en todas las universidades participantes
  6. Propuesta de mejora de la calidad de la docencia universitaria en cuanto a competencias TIC y catálogo de indicadores de buenas prácticas docentes en el uso de TIC.
  7. Diseño e implementación de un instrumento de autoevaluación en red para docentes universitarios interesados en medir su nivel de competencias TIC.

Las tareas aquí presentadas se irán realizando consecutivamente tal y como se indica en el siguiente cronograma:


Todo el proceso de trabajo se explicita a continuación:

Primera Fase:
Indicadores de evaluación de competencias TIC del docente universitario.


La primera fase de nuestro proyecto se centrará en la exploración de los indicadores utilizados actualmente para la medición de las competencias TIC de los docentes universitarios tanto a nivel nacional como europeo e internacional. Tras la primera exploración realizada usando fuentes primarias (documentación e información de las agencias nacionales y universidades) y secundarias (publicaciones científicas relacionadas) se llevará a cabo un proceso de diferenciación entre indicadores objetivos y subjetivos. Esta fase concluirá con la elaboración de un instrumento de evaluación basado en los indicadores objetivos y con la propuesta de integración en dicho instrumento de los indicadores subjetivos. A continuación explicaremos detalladamente el proceso de trabajo que se llevará a cabo en cada una de las tareas de esta primera fase

Tarea 1: Exploración de indicadores nacionales e internacionales utilizados actualmente para la medición de competencias TIC de los docentes universitarios españoles.

Dentro de esta tarea podemos destacar dos actividades claramente diferenciadas.

Por una parte se llevará a cabo la exploración de los indicadores nacionales y por otra parte y mediante técnicas diferentes se llevará a cabo la exploración de los indicadores internacionales. Ambas tareas se realizarán simultáneamente.

  • Actividad 1.1 : Exploración de indicadores de calidad en competencias TIC para la docencia a nivel nacional:

La exploración de los indicadores nacionales se realizará recurriendo a fuentes de información primarias (testimonios reales y datos de primera mano), recopilando toda la información existente en cada una de las universidades públicas españolas y en las Agencias de Calidad de cada comunidad autónoma (en adelante CCAA), en caso de existir.

Para dicha tarea se involucrará a todos los investigadores participantes en el proyecto, entre los que se repartirán las universidades y agencias de calidad de las que obtener indicadores sobre competencias TIC.

La lista de universidades a explorar se obtendrá de la página Web del Ministerio de Ciencia e Innovación. Por tanto la muestra con la que contaremos será el total de las universidades públicas españolas, que ascienden a un total de 49 (según datos de 6 de Marzo de 2009 obtenidos en la Web oficial del MICIN http://ciencia.micinn.fecyt.es/univ/jsp/plantilla.jsp?area=ccuniv&id=802). Por su parte, la información relativa a las agencias de calidad de cada una de las comunidades se obtendrá de la Web oficial de la ANECA(http://www.aneca.es/servicios/link_ccaa.asp ), en la que actualmente figuran un total de 11 agencias, pertenecientes a las siguientes CCAA: Andalucía, Aragón, Islas Baleares, Islas Canarias, Castilla la Mancha, Castilla- León, Cataluña. Galicia, Madrid, país Vasco y Valencia.

La elaboración del listado definitivo de universidades y agencias de calidad que formaran parte de la muestra se llevará a cabo desde Murcia (Mª del Mar Sánchez Vera). Esta tarea se realizará durante la primera semana del mes de mayo.

Una vez elegida la muestra, para el reparto de la misma se atenderá al criterio de cercanía de los investigadores con la universidad y agencia de calidad correspondiente, ya que de ese modo los investigadores estarán más relacionados con los lugares en los que deben buscar la información y la tarea será por tanto más ágil en su realización (motivo por el cual se ha procurado contar con una número bastante representativo de investigadores ubicados en diferentes puntos de la geografía española).

Cada uno de los investigadores deberá concluir su exploración con la elaboración de un listado en el que se incluirán todos los indicadores de calidad utilizados para medir competencias TIC que hayan encontrado y en el que se detalle la fuente de la que proviene la información, de manera que en caso de necesidad, se pueda recurrir al archivo del proyecto. Este listado deberá enviarse a un investigador de la Universidad de Murcia (Isabel Gutiérrez Porlán) que se encargará de unificar en un listado común todos los indicadores. Esta tarea se realizará durante el mes de mayo y las tres primeras semanas del mes de junio. El listado común de indicadores se elaborará la última semana de junio.

  • Actividad 1.2: Exploración de indicadores de calidad y competencias TIC para la docencia universitaria a nivel internacional.

La exploración de los indicadores internacionales se llevará a cabo desde el equipo de investigación ubicado en Murcia. Para ello se recurrirá a una exploración exhaustiva de las fuentes secundarias (publicaciones científicas e informes técnicos de investigación y evaluación de competencias docentes) a nivel europeo e internacional.

Concretamente en esta tarea participarán: Linda Castañeda Quintero, Isabel Mª Solano Fernández, Mª del Mar Sánchez Vera, Patricia López Vicent e Isabel Gutiérrez Porlán. La tarea concluirá con la elaboración de un listado de indicadores (que incluya también las fuentes de las que provienen los indicadores que se incluyen en ellas) y que se unirá al listado de indicadores nacionales. Esta tarea se realizará simultáneamente a la tarea anterior (mayo y junio).

Tarea 2: Discriminación por parte de expertos de los indicadores (objetivos y subjetivos) para el análisis de las competencias TIC de los profesores universitarios.

Una vez elaborado el listado completo de indicadores, la tarea 2 consistirá en la diferenciación de éstos atendiendo a si son objetivos o subjetivos.

Desde el equipo de investigación ubicado en la Universidad de Murcia, se llevará a cabo la primera discriminación de indicadores a través de un análisis de contenido que diferencie entre aquellos indicadores objetivos (medibles y cuantificables) y subjetivos. En esta primera diferenciación participaran las investigadoras Linda Castañeda Quintero, Isabel Mª Solano Fernández, Mª del Mar Sánchez Vera, Patricia López Vicent e Isabel Gutiérrez Porlán. Cada una de ellas elaborará individualmente dos listas de indicadores (objetivos y subjetivos), mostrando en los casos que sean necesarias las observaciones oportunas. Una vez elaboradas las listas individuales, se celebrará una reunión coordinada por Mª Paz Prendes Espinosa en la que se pondrá en común el trabajo de cada investigadora y se consensuará una lista definitiva, tanto de indicadores objetivos como subjetivos.

Esta tarea se llevará a cabo durante las dos primeras semanas del mes de julio.

Una vez elaboradas las dos listas (indicadores objetivos e indicadores subjetivos), se procederá a la diferenciación definitiva de indicadores por parte de los expertos, mediante la técnica conocida como “Grupo de Discusión” que se llevará a cabo de forma presencial y en la que participarán sólo una parte de los investigadores del proyecto. En este mismo proceso se pedirá a los expertos la ponderación de los indicadores que nos permita juzgar el peso relativo que cada indicador tendrá en la evaluación final de la competencia TIC de los docentes.

Así, se constituirán tres grupos de discusión que se reunirán simultáneamente en tres puntos diferentes de España para validar los listados de indicadores. Los grupos de discusión estarán formados por miembros del equipo investigador del proyecto, que cumpan además con la característica de ser profesionales de reconocido prestigio en el mundo de las TIC y la educación.

Mediante el grupo de discusión pretendemos que estos expertos, coordinados por un moderador de la Universidad de Murcia, se reúnan para dialogar y debatir sobre los listados de indicadores propuestos. Los tres grupos contarán como documento de trabajo con la lista de indicadores elaborada desde Murcia y trabajarán en la validación y mejora del mismo. La finalidad de trabajar con tres grupos diferentes y simultáneamente es para poder triangular los resultados de cada uno de los documentos de trabajo. Las reuniones se celebrarán la última semana del mes de julio. Para facilitar los desplazamientos, dichos grupos de expertos se reunirán según proximidad geográfica de las comunidades autónomas, así:

Grupo A: Castilla León, Extremadura y País Vasco.

Grupo B: Cataluña, Islas Baleares, Comunidad Valenciana y Murcia.

Grupo C: Andalucía, Madrid, y Canarias.

Cada reunión finalizará con la elaboración de un nuevo documento de trabajo que será recogido por el coordinador de cada grupo. Una vez en Murcia con los tres informes se triangularán los datos y se llevará a cabo un análisis de contenido de los mismos, de manera que quede constituido el documento de trabajo final. Esta tarea se realizará durante la segunda semana de septiembre.

Tarea 3: Diseño, validación y aplicación de un instrumento de evaluación basado en los indicadores objetivos y propuesta de integración en dicho instrumento de los indicadores subjetivos.

Dentro de este apartado podemos destacar dos actividades claramente diferenciadas: por una parte el diseño, validación y aplicación de un instrumento de recogida de información basado en los indicadores objetivos y por otra parte la propuesta de integración de los indicadores subjetivos en un instrumento de evaluación.

  • Actividad 3.1: Diseño, validación y aplicación de un instrumento de recogida de información.

DISEÑO:

Tomando como base el listado de indicadores objetivos se llevara a cabo el diseño y producción de un instrumento de evaluación. El objetivo principal de este instrumento será conocer las competencias TIC presentes en los docentes universitarios españoles. El instrumento de recogida de información será un cuestionario en red de manera que se facilite y agilice el envío y la recepción del mismo.

El cuestionario se elaborará desde el grupo de investigación de Murcia, concretamente la persona encargada de realizarlo y de coordinar el proceso de validación y aplicación del mismo, será Linda Castañeda Quintero.

VALIDACIÓN:

Una vez elaborado el cuestionario será validado mediante la técnica denominada “Panel de Expertos”. En este panel de expertos participarán diferentes miembros del grupo de investigación propuesto para este proyecto ubicados en diferentes universidades españolas.La validación del cuestionario se realizará mediante un trabajo en red, de manera que pueda garantizarse la presencia de un mayor número de expertos y se cuente por tanto con más aportaciones y sugerencias de mejora.

Esta técnica metodológica, puede definirse como un grupo de especialistas independientes unos de otros y reputados en al menos uno de los campos concernidos, al que se reúne para que emita un juicio colectivo y consensuado sobre un particular.

Consideramos que, siguiendo las recomendaciones de la Comisión Europea referidas a metodologías de investigación (CE, s/f), esta técnica resulta en este caso muy pertinente para la validación entre otras razones porque:

  • El tema está bien definido.
  • Requiere la opinión de expertos de alto nivel en el ámbito de que se trate, cuando además, contamos en el equipo investigador con expertos de gran aclado en los temas tratados en el mismo.
  • La extensión del tema de análisis no justifica el empleo de medios de mayor envergadura.
  • Además supondrá un ahorro de tiempo considerable en relación con otras herramientas de evaluación, como el estudio piloto. y un coste reducido respecto a otras herramientas gracias a dicho ahorro de tiempo.
  • Dada la reputación de los expertos, las conclusiones tendrán un alto nivel de credibilidad y validez.

El cuestionario se enviará por correo electrónico a los expertos que emitirán sus sugerencias respecto al mismo a través de un instrumento de valoración cerrado que mida la pertinencia y contenido de los ítems, entendiendo que los indicadores incluidos ya se han validado en la tarea 1. Una vez incorporadas dichas sugerencias se elaborará una nueva versión del cuestionario que se volverá a enviar a los expertos.

El cuestionario será elaborado con la herramienta de creación de formularios on-line “Formlogix” que ya ha sido utilizada en proyectos de investigación anteriores y debido a los buenos resultados obtenidos con la misma la consideramos adecuada para este proyecto.

El proceso de diseño, validación y elaboración en red del cuestionario se realizará durante la última semana de septiembre y las dos primeras semanas del mes de octubre.

APLICACIÓN:

Tras la elaboración del cuestionario comienza la fase de aplicación del mismo. En esta fase participaran todos los investigadores que forman parte del proyecto, quienes serán responsables de la administración del cuestionario en sus respectivas universidades y para ello de gestionar los procedimientos de difusión, siempre telemáticos.

Cada uno de los investigadores enviará a las universidades el enlace al cuestionario y activará los mecanismos necesarios para procurar que éste llegue al mayor número de profesores posible y de las distintas titulaciones de la universidad.

El proceso de aplicación del cuestionario se llevará a cabo durante la segunda quincena del mes de octubre, noviembre y diciembre. Los meses de noviembre y diciembre estarán destinados a la aplicación del cuestionario.

Los cuestionarios contestados por los profesores serán recopilados en la Universidad de Murcia. El proceso de recepción y organización de los cuestionarios será realizado por un becario contratado para tal finalidad, durante las dos primeras semanas de enero.

  • Actividad 3.2: Propuesta de integración de indicadores subjetivos.

Partiendo del listado de indicadores subjetivos elaborado en la tarea 2, en esta fase se elaborará una propuesta de integración de dichos indicadores en un instrumento de evaluación. Se elaborará una primera propuesta de integración por parte del grupo de investigación ubicado en Murcia que se complementará con otras estrategias sugeridas por miembros del grupo investigador ubicados en otras universidades. Dicha propuesta será consensuada y reformulada posteriormente a través de una estrategia de grupo de expertos en red (al igual que en la validación del cuestionario anterior). La primera propuesta de integración se realizará simultáneamente al diseño y validación del cuestionario, es decir durante las dos primeras semanas de octubre. El proceso de validación por parte de los expertos se producirá durante las dos últimas semanas de enero.

Los expertos recibirán una primera propuesta de integración de los indicadores subjetivos y emitirán sus sugerencias y propuestas de mejora. El cuestionario será recibido de nuevo por el equipo investigador ubicado en la Universidad de Murcia. La persona responsable de esta tarea será Patricia López Vicent. La propuesta de integración será revisada atendiendo a los comentarios de los expertos a los que posteriormente se les volverá a enviar la nueva versión del documento. Los expertos revisarán el nuevo documento y emitirán de nuevo las valoraciones que consideren oportunas.

Segunda Fase:
Propuestas de mejora de la calidad de la docencia.


En la segunda fase del trabajo se llevará a cabo el análisis de los resultados obtenidos en el cuestionario de la fase anterior de manera que se puedan describir las competencias TIC de los docentes universitarios que imparten clase en las Universidades públicas españolas. Esta última fase concluirá con la elaboración de una propuesta de mejora de la calidad de la docencia universitaria en cuanto a competencias TIC y con el diseño e implementación de un instrumento de autoevaluación en red que mida las competencias TIC de los docentes universitarios españoles que estén interesados en conocerlas.

Esta fase se concreta en tres tareas principales:

Tarea 4: Análisis de resultados. Primera aproximación al estado actual de las competencias TIC de los docentes universitarios españoles.

Una vez recopilados todos los cuestionarios se procederá al análisis de los datos. Este análisis será realizado por el becario contratado en el proyecto. El tiempo estimado para el análisis de los datos será de un mes y medio (segunda semana de enero y febrero completo).

Teniendo en cuenta que el objetivo de esta tarea es realizar una primera aproximación al estado actual de las competencias TIC de los docentes universitarios españoles, el análisis de los datos será descriptivo y se centrará en el uso de estadísticos como la media, la mediana, la moda y la frecuencia.

Esta tarea concluirá con la redacción de la descripción completa de las competencias TIC presentes en los docentes universitarios que imparten clase en las Universidades públicas españolas. La descripción de las competencias se realizará durante las dos primeras semanas de marzo y la llevará a cabo el becario contratado en el proyecto junto con un miembro del equipo de investigación de Murcia (Trinidad Rodríguez Cifuentes).

Tarea 5: Propuesta de mejora de la calidad de la docencia universitaria en cuanto a competencias TIC y catálogo de indicadores de “buenas prácticas docentes en el uso de TIC”

Partiendo de los resultados obtenidos en la tarea anterior y tomando como base la descripción de las competencias TIC de los docentes universitarios españoles, en esta última tarea se llevará a cabo la propuesta de mejora de la calidad de la docencia.

Esta tarea será desarrollada por el grupo de investigación ubicado en la Universidad de Murcia y estará coordinada por la directora del proyecto Mª Paz Prendes Espinosa y por el profesor Francisco Martínez Sánchez, que a través de su basta experiencia en el uso de las TIC y con los resultados obtenidos en la fase anterior, elaborarán una catálogo de indicadores de buenas prácticas docentes en el uso de las Tecnologías de la Información y la Comunicación. Esta tarea se llevará a cabo durante las dos últimas semanas del mes de marzo y durante el mes del abril. Para dicha tarea se prevé la realización de varias reuniones-seminarios entre los investigadores (Murcia).

Tarea 6: Diseño e implementación de un instrumento de autoevaluación en red para docentes universitarios interesados en medir su nivel de competencias TIC.

Tomando como base el listado de indicadores objetivos de competencias TIC (elaborado en la tarea 2 de la fase 1), desde el equipo de investigación ubicado en Murcia se diseñará y validará un instrumento de autoevaluación a modo de cuestionario, que estará en red y abierto para que cualquier persona interesada lo pueda completar. Esta tarea se llevara a cabo durante los meses de febrero a abril.

Con dicho cuestionario se pretende que cada vez que un sujeto lo cumplimente, de forma automática se genere una retroalimentación sobre los aspectos más fuertes y débiles relacionados con las competencias TIC del sujeto y además que sirva como plataforma de recolección de datos sobre el estado y la preocupación de los docentes.

Una vez elaborados los indicadores y criterios de dicho instrumento de autoevaluación, un becario se ha de encargar de de ponerlo en red, de automatizar las respuestas y de organizar una base de datos que pueda ser de utilidad para obtener estadísticas de su uso y de sus resultados manteniendo el anonimato de los profesores que lo cumplimenten. Este cuestionario de autoevaluación de competencias TIC quedará activo y accesible una vez concluido el proyecto.

De este modo pretendemos que cualquier docente que esté interesado en conocer su nivel de competencias TIC pueda autoevaluarse en cualquier momento e incluso repetir la autoevaluación cada vez que considere que su nivel de competencias TIC ha ido mejorando. El instrumento de autoevaluación, además de aportar información a los profesores que lo completen, incluirá un registro de los datos del que podremos ir obteniendo información periódicamente.

Consideramos que este instrumento de autoevaluación motivará a los docentes a su formación y actualización permanente ya que conocerán con más detalle su nivel de competencias TIC, repercutiendo de ese modo en una mejora de la calidad de la docencia.

Además de lo anterior, con este instrumento veremos materializados de manera práctica los resultados de nuestra investigación.

 

RESPONSABLES