Carlos Marcelo García
María José Gago Nieto
Universidad de Sevilla

FORMACIÓN PARA EL EMPLEO A TRAVÉS DE E-LEARNING EN ANDALUCÍA: UNA EXPERIENCIA DE EVALUACIÓN

INTRODUCCIÓN

El caso que se presenta a continuación viene a dar respuesta a la demanda que la Dirección General de Formación para el Empleo de la Consejería de Empleo de la Junta de Andalucía ha realizado en relación con la necesidad de evaluar las acciones formativas para la Formación Profesional Ocupacional.

La evaluación es un proceso necesario en toda acción formativa. Si no hubiera evaluación, las posibilidades de mejora de los procesos formativos serían escasas. La evaluación ayuda a conocer las fortalezas y debilidades de las acciones formativas desarrolladas y nos permite poner en marcha mecanismos de corrección y de aprovechamiento de las buenas prácticas.

Así, la evaluación la entendemos como un proceso de toma de datos que pretende ofrecer información valiosa acerca de la calidad de las acciones formativas con un propósito de mejora.

Desde este punto de vista, la evaluación debe aportar información, datos extraídos de forma válida y fiable, que permita tanto a los protagonistas de la formación –entidades organizadoras, formadores, alumnos– como a las agencias promotoras y financiadoras de la formación conocer aquellos aspectos vinculados con la calidad de la formación que se imparte.

 

1. UNA MIRADA A LA EVALUACIÓN DE LA FORMACIÓN Y SUS DIFERENTES ENFOQUES

La evaluación de la formación ha sido abordada desde diferentes perspectivas y enfoques tanto conceptuales como metodológicos. Ya hemos hecho alusión a algunos de ellos. Para justificar el modelo elegido por nosotros en este informe de evaluación nos basaremos en las siguientes clasificaciones. Podemos distinguir:

Según el objetivo de la evaluación:

• Evaluación para la mejora . La evaluación se entiende como un proceso básicamente dirigido a mejorar los procesos internos y formativos, y se lleva a cabo principalmente por los protagonistas de la formación.
• Evaluación para el rendimiento de cuentas . La evaluación entendida como proceso que pone en marcha la entidad financiadora de la acción formativa para conocer en qué medida se han cumplido los objetivos por ésta establecidos, en qué medida se han cumplido las normas y procedimientos.

Según la composición del equipo evaluador:

• Evaluación interna . Aquélla que llevan a cabo las personas que han diseñado y desarrollado la acción formativa.
• Evaluación externa . Aquélla que lleva a cabo un equipo independiente y que no ha participado en ninguna de las fases del proceso de evaluación.

Según la metodología que se emplea:

• Evaluación cuantitativa . Cuando la información que se obtiene del objeto evaluado se presenta de forma numérica.
• Evaluación cualitativa . Cuando la información que se extrae se presenta de forma descriptiva y/o narrativa

Según los momentos en que se lleva a cabo la evaluación:

• Evaluación del diseño . Cuando lo evaluado es el proyecto o diseño de los contenidos y estrategias en su fase previa a ser desarrollados
• Evaluación de desarrollo . Cuando se evalúan algunos aspectos de la implementación de la acción formativa
• Evaluación de resultados . Cuando la evaluación se realiza una vez que la acción formativa ha finalizado.

Según las dimensiones de la evaluación, Pineda (1995) diferencia entre:

• Evaluación legal . Referida a conocer en qué medida se ha dado cumplimiento a la normativa de regulación tanto interna como externa de los procesos de evaluación.
• Evaluación económica . Referida al conocimiento de la eficiencia en el uso de los recursos económicos destinados a la acción de formación, así como su rentabilidad.
• Evaluación social . Referida al conocimiento del impacto de la formación en el entorno social próximo tanto de la entidad formativa como de los sujetos formados: clima laboral, cultura de empleo, etc.
• Evaluación pedagógica . Referida a los aspectos propiamente didácticos de la acción formativa, incluyendo su planificación, desarrollo y resultados.

Según el nivel de resultados de la formación que se decida tener en cuenta, Kirkpatrick (1999) ha desarrollado un modelo que describe estos resultados en los siguientes niveles:

• Evaluación de la reacción . Referida a la valoración que los alumnos hacen de la calidad de la acción formativa, basándose en sus impresiones. Se trata de una evaluación del grado de satisfacción de los usuarios al finalizar la acción formativa.
• Evaluación del aprendizaje . Toma en cuenta la necesidad de conocer cuál ha sido el grado de aprendizaje de los alumnos en una determinada acción formativa, es decir, qué conocimientos, habilidades se han adquirido.
• Evaluación de la conducta . Este nivel de evaluación se preocupa de conocer en qué medida los conocimientos y habilidades adquiridos se trasladan adecuadamente y se incorporan en la conducta de las personas que han participado en la formación. Intenta averiguar en qué medida hay transferencia de aprendizaje.
• Evaluación de resultados . Hace referencia a las consecuencias que la formación ha tenido en la percepción de la calidad del servicio por parte de los clientes.

Como vemos, la evaluación es un proceso que puede adoptar múltiples dimensiones y que puede ser abordado desde niveles de complejidad y profundidad muy diferentes. A partir de los datos anteriores, la evaluación que hemos llevado a cabo y que se presenta en este informe responde a las siguientes características:

Se trata de una evaluación: Con un objetivo de rendimiento de cuentas. Externa. Cuantitativa y cualitativa. De diseño, desarrollo y resultados. Pedagógica. En un nivel de reacción (según Kirkpatrick).

 

2. LA EVALUACIÓN EN E-LEARNING : BASES DEL MODELO CONCEPTUAL DE EVALUACIÓN UTILIZADO

Una vez que hemos planteado los elementos básicos que sitúan la evaluación que realizamos, consideramos necesario hacer alguna referencia al contenido específico u objeto de evaluación: acciones formativas que incorporan la modalidad de e-learning parcial o completamente.

Ya en otros escritos hemos hecho referencia a e-learning como modalidad de formación (Marcelo et al. , 2002) . Podemos entender que e-learning pretender desarrollar una formación en la que, apoyándose las nuevas tecnologías de la información y comunicación, principalmente las derivadas de Internet, se facilite a las personas la adquisición de competencias profesionales, en un ambiente de aprendizaje activo y constructivo.

Para que estos objetivos se consigan, es preciso que las acciones de formación a través de e-learning utilicen las actuales plataformas tecnológicas con unos criterios pedagógicos adecuados a las necesidades de aprendizaje de los alumnos. Una de las aportaciones reales y constatables que e-learning está haciendo a la enseñanza y a la formación consiste en acelerar el debate de la eficacia de los modelos tradicionales de enseñanza. Una sociedad en red que aprende en red no puede seguir manteniendo instituciones educativas basadas en la mera transmisión de la información o desconocimiento desde el que sabe al que se supone que no sabe. En este sentido Duffy, Dueber y Hawley (1998) afirmaban que <<Existe actualmente un movimiento muy fuerte en educación que se aleja del modelo didáctico predominante y que se encamina hacia un modelo centrado en el que aprende, donde las actividades de aprendizaje implican a los alumnos en la indagación y resolución de problemas, normalmente en un espacio colaborativo>> (51).

Estamos avanzando rápidamente modelos de aprendizaje alternativos que desde un punto de vista genérico se denominan constructivistas, en los que el énfasis se sitúa en la orientación y apoyo a los estudiantes en la medida en que éstos aprenden a construir su conocimiento y comprensión de la cultura y la comunidad a la que pertenecen (Bonk & King, 1998) .

El concepto de ambientes de aprendizaje constructivistas ha ido ganando terreno entre las personas que se dedican al diseño de acciones de enseñanza y formación a través de Internet. Wilson (1996) decía que <<Un ambiente de aprendizaje es un lugar donde las personas pueden utilizar recursos para dar sentido a cosas y a soluciones significativas a problemas. Al añadir el término constructivista al final se pone énfasis en la importancia de lo significativo, de actividades auténticas que ayuden a los alumnos a construir conocimiento y desarrollar destrezas relevantes para resolver problemas>>(3).

Tomando en consideración estos supuestos, hemos elaborado un modelo conceptual que nos permita abordar la evaluación de las acciones formativas basadas en e-learning

El modelo conceptual que hemos elaborado y que nos ha servido de estructura para la evaluación de las acciones de e-learning se basa en los recientes trabajos desarrollados dentro de la evaluación de programas. Nos basamos en las aportaciones de Pérez Juste (1995) cuando plantea que la evaluación de programas se debe llevar a cabo teniendo en cuenta los diferentes momentos del mismo, como planteamos anteriormente.

2.1. Evaluación del Diseño de la formación a través de e-learning

Dice Reigeluth (1999) que las teorías sobre el diseño de la enseñanza nos ofrecen << una guía explícita sobre la mejor forma de ayudar a que la gente aprenda y se desarrolle >> (pag.15). Diseñar la enseñanza, o la formación, supone organizar un dispositivo que permita que las personas aprendan. La atención a los componentes del diseño del aprendizaje de los alumnos está siendo una verdadera innovación en el campo del e-learning. El desarrollo de la especificación denominada <<Learning Design>> está poniendo el énfasis en la necesidad de contemplar e-learning como un proceso de construcción de secuencias de aprendizaje de los alumnos (Koper & Tattersall, 2005) .

En el modelo que hemos elaborado para la evaluación de acciones de formación a través de e-learning hemos establecido una diferencia entre:

• Diseño tecnológico.
• Diseño pedagógico.

 

 

La evaluación del diseño tecnológico ha contemplado tres elementos fundamentales:

• Accesibilidad del contenido: se ha evaluado el grado de adaptación de los elementos formativos a las características de personas con dificultades. Para ello incluimos en este epígrafe los aspectos relacionados con el formato de imágenes y textos, tablas, marcos, resolución de pantalla, etc. Según las normas establecidas de accesibilidad.
• Usabilidad del contenido y del espacio de aprendizaje hace referencia al formato de las páginas, volumen de información, calidad de imágenes, facilidad de navegación, interactividad, etc.
• Funcionalidad técnica de la plataforma : dado que los cursos analizados se han desarrollado en una diversidad de plataformas virtuales, se han analizado éstas en función de los requerimientos técnicos para los alumnos, funcionalidad, elementos de que cuenta la plataforma, facilidad de acceso a los contenidos, disponibilidad de herramientas de comunicación, etc.

La evaluación del diseño pedagógic o ha tenido en cuenta la valoración de los elementos característicos de todo diseño instruccional. Así, hemos tenido en cuenta:

• La organización general del curso: su estructura, calendario, orientaciones hacia los alumnos, informaciones sobre los tutores…
• Los objetivos del curso: su explicitación, claridad, coherencia, realismo.
• Los contenidos del curso: coherencia, formato de presentación, estructura, ejemplificación, ilustración, organización…
• Las estrategias formativas previstas para el desarrollo del curso.
• Las actividades de aprendizaje planificadas para que los alumnos realicen: tipos de actividades, características, orientaciones…
• Los recursos que se ofrecen a los alumnos para complementar su aprendizaje
• La evaluación prevista en el diseño: tipo, coherencia, requisitos…

 

2.2. Evaluación del desarrollo de la formación a través de e-learning

El diseño de la formación, tal como hemos visto anteriormente, es un elemento importante en la evaluación de las acciones formativas, pero que debe ser complementado con una mirada que muestre cómo se ha llevado a la práctica dicho diseño. Resulta de especial interés en el caso de la evaluación de acciones de e-learning en las que el desarrollo del curso se realiza total o parcialmente a través de dispositivos electrónicos denominados plataformas tecnológicas.

La evaluación del desarrollo de las acciones de e-learning, desde el modelo conceptual que hemos elaborado, debe tener en cuenta aspectos que se refieren a:

• Información a los alumnos acerca de los procedimientos técnicos de utilización de la plataforma, así como de la estructura y organización general del curso.
• Disponibilidad para la resolución de los problemas técnicos de los alumnos.
• Adecuada proporción de tutores/alumnos.
• Grado de utilización de las herramientas de comunicación sincrónica (chat) y asincrónica (foros).
• Calidad de la tutoría para la resolución de dudas y fomento de la participación.
• Calidad y diligencia de la retroacción recibida por los alumnos a la realización de tareas individuales o grupales.
• Coherencia entre las sesiones presenciales y las sesiones on-line.

 

2.3. Evaluación final de la formación a través de e-learning

La evaluación final, como comentábamos anteriormente, viene a representar un momento de la evaluación en el que, una vez finalizada ésta, intentamos conocer cuáles han sido las repercusiones o resultados de la misma. Como hemos comentado, Kirkpatrick (1999) establece cuatro niveles para evaluar los resultados de este tipo de evaluación. Debido a las limitaciones de tiempo que este informe de evaluación ha sufrido, decidimos que el nivel que seleccionaríamos sería el nivel 1 de Kirkpatrick, es decir evaluar el grado de satisfacción de los alumnos en relación con el diseño y desarrollo del curso, así como:

• El nivel de adquisición de nuevos conocimientos y habilidades.
• La utilidad de lo aprendido en el curso para mejorar la empleabilidad del alumno.

 

3. METODOLOGÍA PARA EL DESARROLLO DE LA EVALUACIÓN DE ACCIONES DE E-LEARNING

Una vez que hemos descrito los principios de actuación y el modelo conceptual que hemos utilizado, vamos a describir los procedimientos metodológicos seleccionados. Decíamos anteriormente que la evaluación necesita de información, de datos en los que basar los juicios acerca de la calidad de los objetos evaluados.

De esta forma, en la evaluación que hemos llevado a cabo hemos empleado los siguientes métodos para la recogida de información:

 

3.1. Observación y análisis del diseño y desarrollo de las acciones formativas

Esta observación y análisis se han llevado a cabo a través del estudio de las variables que anteriormente hemos descrito aplicadas a cada una de las acciones formativas.

Para ello, en relación con las acciones formativas, hemos dispuesto de una clave de acceso a la plataforma tecnológica donde se ha diseñado y desarrollado cada una de las acciones formativas. Esta clave en algunos casos ha sido con el perfil de alumno pero en muchas otros combinando los perfiles de alumno y de tutor.

La observación se ha llevado a cabo siguiendo un principio de observación categorial para el cual se ha diseñado un instrumento de recogida de información que incluye una relación de:

• 117 ítems,
• agrupados en 14 categorías
• pertenecientes a 3 dimensiones

Los sistemas de evaluación que hemos desarrollado específicamente para este estudio se han basado en una amplia revisión de literatura sobre evaluación de acciones de formación a través de e-learning, tanto nacional como internacional, así como en la amplia experiencia acumulada que el equipo de evaluación tiene en relación con el diseño, desarrollo y evaluación de acciones de formación a través de Internet (ASTD, 2002; Development, 2002; Horton, 2001).

Las opciones de valoración para cada uno de los ítems del Sistema de Categorías han adoptado dos formatos:

• Ordinal, en el que hemos valorado en función de tres rangos: Alto, Medio, Bajo.
• Dicotómico: Sí (en el caso de que lo declarado en el ítem estuviera presente) y No (en caso contrario).

La recopilación, análisis y valoración de la información se ha realizado por los miembros del equipo de evaluación tomando como referente los sistemas de observación anteriormente mencionados.

3.2. Entrevistas telefónicas y cuestionario a alumnos

A fin de poder complementar la información obtenida a través de la observación de cada una de las acciones formativas, hemos considerado adecuado consultar con los alumnos de los cursos para conocer la evaluación que realizan de los mismos. Para ello elaboramos un cuestionario compuesto de 32 ítems agrupados en las siguientes dimensiones:

• Información general del curso.
• Tutorías.
• Contenidos y tareas del curso.
• Evaluación.
• Combinación presencial on-line.
• Aprendizaje: utilidad y valoración .

El proceso de recogida de información en este apartado ha tomado dos alternativas:

• Se envió el cuestionario por correo electrónico a la totalidad de los alumnos inscritos en cada uno de los cursos.
• En el caso en que el número de respuestas al cuestionario fuera inferior a 10, procedimos a realizar llamadas telefónicas a los alumnos en las que les formulábamos las mismas preguntas que se incluyen en el cuestionario.

Para comprobar la constancia o estabilidad de los resultados y la robustez del cuestionario, hemos procedido a analizar su fiabilidad. Para ello hemos calculado el coeficiente de fiabilidad Alfa de Cronbach. Analizado este coeficiente sobre un total de 887 cuestionarios, su puntuación es de 0.903. Como se sabe, este coeficiente varía entre 0 y 1, siendo 1 la más alta fiabilidad. Por lo tanto, podemos afirmar que el cuestionario que hemos utilizado es altamente fiable.

 

Número de casos	Número de ítems	Alfa de Cronbach
887	32	0,956

 

4. RESULTADOS DE LA EVALUACIÓN

4.1. Cursos evaluados y alumnos que han participado en la evaluación

Vamos a comenzar nuestro informe de evaluación describiendo los cursos que se han evaluado, así como el número y tipología de los alumnos que han respondido al cuestionario de evaluación.

En primer lugar, el número de cursos de e-learning que hemos procedido a evaluar ha sido de 64 cursos, correspondientes a 40 entidades de formación de Andalucía. En la página siguiente reflejamos el nombre de las entidades, los cursos que se han desarrollado, así como el número de horas y de alumnos. El número total de alumnos que han participado en los cursos evaluados ha sido de 2.934, de los que un total de 1.018 han respondido al cuestionario de evaluación, lo cual representa un 34,69% de la población.

Los cursos evaluados se distribuyen de manera irregular entre las diferentes áreas de especialidad de Formación Profesional Ocupacional. Llama la atención que la mayoría de los cursos se concentran en el área de servicios a las empresas (51,6%) e industrias gráficas (12,5%).

 

Área de especialidad de los cursos evaluados	Número de cursos	%
Servicios a las empresas	33	51,6
Industrias gráficas	8	12,5
Electricista industrial	1	1,7
Comercio	4	6
Administración y oficina	3	4,7
Docencia e Investigación	5	7,8
Turismo y hostelería	2	3,1
Servicios a la comunidad y personales	1	1,7
Agraria	2	3,1
Gestión medioambiental	3	4,7
Prevención de riesgos laborales	2	3,
Total	64	100

Curso	Provincia	N.º Horas	N.º Alumnos
Nóminas y seguros sociales	Córdoba	100	50
Atención al cliente: supermercados	Córdoba	45	50
Experto en implantación de sistemas de gestión medioambiental	Sevilla	100	45
Implantación en sistemas de calidad y medioambiente	Sevilla	100	45
Adaptación de contenidos al estándar SCORM	Málaga	90	30
Metodología práctica de e-learning	Granada	100	30
Tecnología de mecanizado utilizando Cativa v5	Sevilla	100	50
Técnico superior de Prevención de Riesgos Laborales	Sevilla	600	20
Informática de usuarios	Sevilla	200	30
Programación visual Basic.net	Almería	80	32
Administrador de redes Windows Server 2003	Almería	35	32
Contabilidad financiera avanzada	Cádiz	200	30
Seguridad en Internet	Córdoba	30	50
Técnicas de ventas	Córdoba	25	50
Técnico superior de Prevención de Riesgos Laborales	Córdoba	310	30
Gestor de contratación laboral	Córdoba	100	50
Formador Ocupacional	Sevilla	380	30
Animación y Render con 3D Studio Max	Almería	80	75
Edición con Corel Draw	Almería	50	75
Retoque fotográfico con Photoshop	Almería	50	75
Diseñador técnico CAD-CAM	Jaén	500	30
Diseñador de piezas de chapa	Jaén	300	30
Electricista Industrial	Sevilla	610	30
Auxiliar de Diseño Gráfico	Sevilla	260	30
Formación Teletutores en empresas y entidades de economía social	Sevilla	360	25
Tecnología Java orientada a certificación 1 y 2	Málaga	350	30
Experto en Software Libre orientado a Certificación LPI	Málaga	350	30
Diseño y medios digitales	Jaén	210	30
Diseño Gráfico y multimedia	Jaén	210	30
Ofimática	Sevilla	250	30
Producción integrada en los productos agrícolas y sus transformados	Sevilla	50	50
Evaluación de impacto ambiental en explotaciones ganaderas y acuícolas	Sevilla	50	60
Administrador de Redes bajo Linux	Sevilla	110	25
Administración y explotación de Redes TCP en Linux	Sevilla	50	25
Administración de sistemas GNU/LINUX	Sevilla	50	25
Seguridad avanzada en sistemas Linux	Sevilla	50	25
Administración y gestión de bases de datos Oracle	Sevilla	70	25
Oracle Form y Report	Sevilla	50	25
Introducción ASP.NET	Sevilla	40	25
Programación avanzada en ASP.NET	Sevilla	30	25
XML	Sevilla	40	25
Dreamweaver para programadores	Sevilla	50	25
Flash para programadores	Sevilla	50	25
Calidad en la empresa: ISO 9000	Jaén	125	160
Marketing	Jaén	75	300
Evaluación del impacto ambiental	Sevilla	550	50
Formador ocupacional	Sevilla	380	40
Gestión y control de calidad en el sector alimentario	Sevilla	195	30
Habilidades directivas	Sevilla	140	50
Gestión informática de hostelería y restauración	Sevilla	150	50
Javascript	Sevilla	50	50
Técnico en Implantación de sistemas de calidad	Sevilla	350	30
Técnico en redes y comunicaciones en Internet	Granada	400	40
Técnico en sistemas microinformáticos en redes	Granada	180	40
Seguridad informática digitalizada	Córdoba	420	30
Cypecad: Diseño y Cálculo de estructuras de hormigón	Granada	80	60
Presto: Presupuestos, mediciones, tiempos y control de costes en edificación y obra civil	Granada	70	45
Metal 3D: Cálculo de estructuras de metal	Granada	70	60
Iniciación a la Red de Internet	Málaga	60	150
Sistemas de información en empresas	Granada	400	25
Técnico en sistemas de gestión de calidad	Sevilla	130	50
Agente de desarrollo turístico	Málaga	580	45
Instalación y Administración de Sistemas Linux	Huelva	200	20
Normas contables para cooperativas	Sevilla	90	50

 

Un aspecto que nos ha interesado conocer tiene que ver con las características de los alumnos que han participado en las acciones formativas desarrolladas. Una de ellas tiene que ver con la procedencia de los alumnos.

Debido a las características de este tipo de formación, los alumnos proceden de localidades diferentes a aquellas en donde se ubica la entidad organizadora del curso. De esta forma, comprobamos que es Sevilla la provincia que mayor número de alumnos aporta, seguida de Cádiz y Jaén.

 

Otros datos relacionados con las características de los alumnos que han participado en los cursos y que han respondido al cuestionario de evaluación tiene que ver con el sexo, su situación profesional, así como el nivel de estudios alcanzado.

 

Con relación al sexo, comprobamos que hay un equilibrio entre hombres y mujeres en el acceso a estos cursos, siendo un 50,6% mujeres y un 49,4% hombres.

Por otra parte, en relación con la situación laboral de los alumnos que han realizado el curso, encontramos que, con los datos aportados, un 60,5% del alumnado se encuentra desempleado, mientras que el 39,5% está en situación de activo.

En relación con los alumnos que han participado en los cursos evaluados, hemos querido conocer el perfil de estudios que estos han realizado. Así, observamos que el mayor porcentaje de alumnos corresponde a aquellos que han finalizado estudios de diplomatura y licenciatura, seguidos por los que han finalizado bachillerato y formación profesional. Encontramos bajo el número de alumnos que tienen estudios primarios (2,1%) y secundarios (1,1%).

Nos interesaba conocer también si los alumnos ya poseían experiencia en cursos a través de Internet. Para ello introdujimos una pregunta en el cuestionario, cuyas respuestas fueron las que aparecen en la siguiente gráfica. Como se puede comprobar, para más de la mita del alumnado, éste era su primer curso. Algunos habían participado en más de un curso y sólo un 7% había realizado más de cinco cursos a través de e-learning.

Nos ha interesado, además, conocer cuáles son las razones por las cuales el alumnado elige la modalidad de formación a través de Internet. La respuesta está en la gráfica siguiente. Como se puede observar, la mayor parte (un 63%) de los que responden afirman que lo hacen porque no tienen tiempo para desplazarse a sesiones presenciales, seguidos de un 15% de personas que afirman que les gusta esta modalidad de formación. Otras razones ya menores son la ausencia de ofertas formativas cercanas al lugar de residencia o bien una combinación de las anteriores.

Junto a las motivaciones de los alumnos para realizar un curso a través de la modalidad de e-learning, quisimos conocer cuál era la impresión final en relación con esta modalidad de formación. Nos ha sorprendido que un 97% del alumnado afirma con rotundidad que con toda seguridad realizarían un nuevo curso a través de esta modalidad, siendo un porcentaje bastante bajo el que solicita como condición el que haya alguna sesión presencial en el curso.

 

4.2 Evaluación del diseño y desarrollo de los cursos

A continuación vamos a presentar los resultados obtenidos de la evaluación de los cursos anteriormente descritos. Para la presentación de los resultados vamos a combinar las dos fuentes de información que hemos utilizado en la recopilación de la información:

• Por una parte, el análisis que hemos realizado de cada uno de los cursos gracias al acceso que hemos tenido a la mayor parte de ellos.
• Y por otra parte, las valoraciones que han realizado los alumnos a través del cuestionario de evaluación.

 

4.2.1 Evaluación del diseño instruccional de los cursos

Vamos a presentar a continuación la evaluación del diseño instruccional de los cursos de e-learning. Para ello, vamos a ir realizando una valoración de los elementos característicos de todo diseño pedagógico, que son: organización general del curso, objetivos, contenidos, estrategias, actividades, recursos y evaluación. En este punto vamos a ir presentando los resultados obtenidos por la evaluación que hemos realizado de los cursos, junto con la valoración que hacen los alumnos de los mismos elementos.

 

4.2.1.1. Evaluación de la organización general de los cursos

Toda acción formativa de e-learning debe poseer una estructura clara e intuitiva que permita al alumno diferenciar las distintas partes por las que dicha acción está compuesta. Estas partes deben guardar coherencia entre sí y estar organizadas de forma adecuada. Por ejemplo, cada unidad de la acción cuenta con las siguientes secciones: introducción, objetivos, contenidos, recursos, tareas y evaluación.

La acción formativa debe contener un calendario que permita al alumno conocer la planificación temporal del curso. De esta forma, en el calendario debe estar señalada la fecha de inicio y finalización del curso, así como la de cada módulo y/o unidad. También es recomendable señalar los diferentes eventos que se van a realizar a lo largo de la acción formativa.

Las orientaciones generales sobre el curso permiten al alumno obtener una visión global sobre cómo se va a desarrollar éste, qué metodología se va a seguir, qué objetivos debe alcanzar, qué contenidos va a estudiar, qué actividades debe realizar, así como la forma en la que va a ser evaluado. También hay que proporcionarle información sobre quiénes van a ser los tutores del curso y las vías a través de las cuales podrá ponerse en contacto con ellos.

Recogemos dentro de la organización general del curso el lenguaje que se emplea en éste, considerando que tiene que ser apropiado para los alumnos del curso: claro y directo; con los verbos en voz activa; con oraciones cortas y directas; haciendo uso de abreviaturas y símbolos si son previamente definidos; con un uso ortográfico y gramático correcto; y que no provoque discriminación con relación a edad, sexo, cultura o religión.

Por los resultados presentados en la gráfica anterior podemos observar que en este apartado encontramos un 8% de acciones formativas que presentan alguna deficiencia en cuanto a los criterios de organización generales declarados en líneas anteriores, mientras que a la vez hay un 42% de acciones formativas con una adecuada organización.

Evaluación por los alumnos	Media de Valoración
Aspectos generales del curso	1 Muy Baja
	5 Muy Alta
La publicidad, difusión del curso, la facilidad de obtener información sobre él	3,69
El grado de conocimiento del programa del curso	3,85
El cumplimiento de las expectativas del curso	4,08
Organización general del curso	4,15

 

Esta valoración contrasta con la que los alumnos realizan en relación con los aspectos organizativos del curso. La valoración media de los alumnos respecto a los aspectos relacionados con la organización del curso, respuesta a expectativas, difusión e información sobre el curso, etc., se sitúa entre Media y Muy Buena

 

4.2.1.2. Evaluación de los objetivos de los cursos

Toda acción formativa debe poseer un apartado en el que estén descritos los objetivos generales de aprendizaje que el alumno va a alcanzar en el curso, y los objetivos específicos que éste va a alcanzar al superar cada módulo y/o unidad dentro de dicho curso.

Estos objetivos deben guardar coherencia entre sí, al mismo tiempo que con los demás elementos del curso (contenidos, tareas, evaluación, etc.) También deben hacer referencia a los resultados intermedios y finales que el alumno debe alcanzar en el curso. En último lugar, éstos deben estar correctamente formulados.

Como puede observarse en la gráfica anterior, sólo en el 37,1% de los cursos evaluados están descritos los objetivos generales y específicos del curso y éstos guardan entre sí y con los demás componentes del curso. En un 19,3% de los cursos no están descritos los objetivos generales o los objetivos específicos y en un 43,6% no está descrito ninguno de ellos.

 

4.2.1.3. Evaluación de los contenidos de los cursos

 

Los contenidos de las acciones formativas de e-learning, además de las características fundamentales que debe poseer cualquier contenido en una acción formativa general, tiene que poseer otra serie de características diferenciadoras de los contenidos de las acciones formativas presenciales que permitan al alumno poder desarrollar un aprendizaje on-line. Si las unimos todas, podemos extraer las características fundamentales que deben poseer los contenidos de las acciones formativas de e-learning, y que son:

• Coherencia de los contenidos con los demás elementos del curso. Al igual que los objetivos, los contenidos de un curso deben guardar coherencia con los diferentes elementos que lo conforman: objetivos, tareas, evaluación, etc. También deben tener coherencia entre sí y estar organizados secuencialmente por orden de dificultad.
• Es necesario en e-learning que los contenidos se presenten a través de mapas conceptuales o tablas de contenido, que permitan al alumno obtener una visión global del tema que va a estudiar.
• No podemos presentar al alumno contenidos planos, es decir, trasladar lo que está en <<papel>> a <<página web>>. En e-learning debemos hacer uso de diferentes elementos que promuevan en el alumno la interacción con los contenidos. Estos elementos pueden ser: enlaces a páginas web de interés, ejercicios de autoevaluación, tareas de reflexión, elementos multimedia, entre otros. También debe existir un equilibrio en el uso de conceptos y ejemplos, para ello se debe hacer uso de ejemplos o casos prácticos que promuevan en el alumno un aprendizaje activo.
• Por último, la estructura utilizada en los contenidos debe ser coherente y adecuada al tema sobre el que versa el curso.

Como podemos comprobar en la gráfica, el 80,3% de las acciones formativas evaluadas han obtenido una valoración <<Media>> en cuanto al diseño de los contenidos de las mismas. Esto significa que no han cumplido en su totalidad todas las características anteriormente descritas.

En esta línea, uno de los principales inconvenientes con el que nos hemos encontrado ha sido el diseño de contenidos sobre formato PDF. En estos casos, la información se caracteriza por tener una estructura lineal, plana y carente de elementos que promuevan la interactividad del alumno con dichos contenidos.

También en algunas acciones formativas observamos que se utiliza un único archivo para cada módulo y/o unidad didáctica, algo que rompe totalmente con las recomendaciones básicas para el diseño de contenidos en e-learning, al considerarse necesario que los archivos de contenidos no sean muy extensos para evitar que la lectura se haga <<pesada>> para el alumno. En algunos casos, los contenidos se trataban de <<auténticos manuales colgados en Internet>>.

Otro de los inconvenientes con el que nos hemos encontrado ha sido la ausencia del uso de ejemplos prácticos, imprescindibles, en algunos casos, para facilitar al alumno la comprensión de los contenidos. En estos casos, los contenidos han sido fundamentalmente teóricos.

Como ya mencionábamos anteriormente, a través del e-learning se debe fomentar en el alumno un aprendizaje activo, siendo éste el principal protagonista de su aprendizaje. Para fomentar este tipo de aprendizaje se recomienda usar estructuras de contenidos basadas en casos prácticos o en torno a problemas. Sin embargo, estas estructuras han sido utilizadas en un porcentaje muy bajo de las acciones formativas evaluadas, siendo la estructura lineal la más común entre dichas acciones.

Evaluación por los alumnos	Media de Valoración
Contenidos del curso	1 Muy Baja
	5 Muy Alta
Utilidad de los contenidos del curso	4,26
Calidad del diseño de los contenidos	4,11

Desde el punto de vista de los alumnos, los contenidos aportados en las acciones de e-learning se han evaluado de forma positiva, encontrándose que a éstos les ha resultado de utilidad en una puntuación que oscila entre Muy Alta y Alta. Igualmente, los alumnos consideran que los contenidos tienen una adecuada calidad de diseño.

4.2.1.4. Evaluación de las Estrategias de enseñanza-aprendizaje

Puesto que no existe un único estilo de aprendizaje, es necesario que en toda acción formativa se utilicen diferentes estrategias de enseñanza-aprendizaje que puedan dar respuestas a los diferentes estilos de aprendizaje de los alumnos.

Como ya mencionábamos en las categorías de objetivos y contenidos, las estrategias también tienen que guardar coherencia con el resto de los elementos de la acción formativa (objetivos, contenidos, tareas, evaluación, etc.). Por otro lado, resulta fundamental que las estrategias utilizadas sean adecuadas al tipo de contenidos del curso.

También debemos considerar si las estrategias implican al alumno en un trabajo individual, grupal o mixto (individual y grupal), considerando como más adecuadas aquellas acciones formativas en las que se utilicen estrategias mixtas.

Por último, y teniendo en cuenta que una de las principales características del e-learning es que el alumno se convierte en el protagonista de su propio aprendizaje, las estrategias deben fomentar en éste un aprendizaje activo.S

Como se puede observar en la gráfica, consideramos que son adecuadas las estrategias de enseñanza-aprendizaje usadas en el 87,7% de las acciones formativas evaluadas, queriendo decir con ello que en éstas se contemplan las características anteriormente descritas. En aquellas acciones (10,5%) en las que no se hancontemplado en su totalidad alguna de dichas características han obtenido una valoración de Media y en aquellas en las que al menos una de éstas no se ha contemplado en su totalidad (1,8%) una valoración de Baja.

 

4.2.1.5. Evaluación de las actividades de los cursos

Las actividades (o tareas) conforman un elemento más dentro de una acción formativa y, por tanto, debe guardar coherencia con los demás elementos de ésta. También deben guardar coherencia entre sí y tener una planificación realista en cuanto a los tiempos establecidos para su realización.

De igual forma que las estrategias, las actividades deben ser de diferente tipo (recuerdo, comprensión, aplicación, análisis, planificación y evaluación) de forma que promuevan en el alumno el desarrollo de habilidades cognitivas, procedimentales y actitudinales.

Las acciones formativas que contemplan los aspectos anteriormente descritos (14,8%) han obtenido una valoración de Alta. Aquellas acciones formativas que no han contemplado en su totalidad uno de estos aspectos (83,3%) han obtenido una valoración de Media, y aquellas que no han contemplado al menos uno de ellos de forma completa (1,9%) una valoración de Baja.

Evaluación por los alumnos	Media de valoración
Tareas del curso	1 Muy Baja
	5 Muy Alta
Claridad de las tareas del curso	4,02
Tiempo dedicado a la realización de las tareas	3,85
Utilidad de las tareas de grupo para facilitar el aprendizaje	3,66
Utiliza las tareas para facilitar el aprendizaje	4,04

Esta valoración coincide con la realizada por los alumnos, quienes, como podemos comprobar en la tabla, sitúan la valoración media respecto a la claridad de las tareas, tiempo dedicado a la realización de las tareas, utilidad de las tareas grupales, etc., entre Media y Buena.

 

4.2.1.6. Evaluación de los recursos de los cursos

No sólo se deben proporcionar al alumno contenidos en una acción formativa de e-learning. También se les deben proporcionar diferentes recursos que les permitan profundizar sobre la temática del curso. Resulta evidente considerar que los recursos proporcionados deben guardar coherencia con la temática del curso y que debe estar descrita la utilidad del uso de cada recurso.

Por otro lado, y teniendo en cuenta las posibilidades que nos permite Internet, los recursos deben ser de diferentes tipos (artículos, multimedia, etc.).

Un 50% de las acciones formativas han contemplado los aspectos anteriormente descritos. Aquellas acciones formativas que no los han contemplado en su totalidad (17,7%) han obtenido una valoración de Media, y aquellas que no han contemplado al menos uno de ellos de forma completa una valoración de Baja (32,3%).

 

4.2.1.7. Evaluación de la evaluación de los cursos 

La evaluación es un aspecto fundamental en toda acción formativa, ya que a través de ella podemos comprobar, entre otros aspectos, si el alumno ha alcanzado los objetivos de aprendizaje que se le han propuesto para superar el curso. Es por ello que resulta imprescindible una adecuada planificación de ésta. Dicha evaluación debe ser realista en cuanto al número de pruebas y plazos establecidos para su realización.

La evaluación debe guardar coherencia con los restantes elementos de la acción formativa, y a su vez con las diferentes pruebas para la realización de la misma. Se debe considerar el uso de determinadas técnicas e instrumentos para evaluar al alumno: exámenes de preguntas cerradas, exámenes de preguntas abiertas, tareas individuales, tareas grupales, etc.

Por otro lado, antes de iniciar una acción formativa debemos detectar los conocimientos previos con los que se inicia el alumno en la misma para que finalmente podamos comprobar si el alumno ha aprendido o no ha aprendido en el curso. Para ello, la planificación de la evaluación debe contar con una evaluación inicial que nos permita conocer dicha evaluación.

Debe existir un apartado que permita al alumno conocer la planificación de la evaluación, en ella se debe responder a las siguientes cuestiones: qué pruebas y tareas debe realizar el alumno, qué requisitos mínimos debe tener para poder superar el curso, qué criterios serán usados para evaluar la participación en actividades en línea y/o grupos de discusión y en qué fechas tiene que realizar el alumno las diferentes pruebas de evaluación.

Las acciones formativas que contemplan los aspectos anteriormente descritos han obtenido una valoración de “Alta” en la categoría de evaluación del curso, dentro del apartado de Diseño instruccional. Aquellas acciones formativas que no han contemplado en su totalidad uno de estos aspectos han obtenido una valoración de Media.

Como podemos observar en la gráfica, hemos considerado como bueno el diseño y planificación de la evaluación realizada en el 22,8% de las acciones formativas evaluadas, obteniendo el 77,2% una valoración de Media.

Los errores que con más frecuencia hemos observado han sido:

• Ausencia de un apartado en el que se describa cómo se va a desarrollar la evaluación del curso, cuáles son los plazos y requisitos que debe cumplir el alumno para superar el mismo.
• Uso excesivo de exámenes finales de preguntas cerradas como únicas herramientas de evaluación de los alumnos. En ese sentido, y como ya hemos recogido en líneas anteriores, consideramos necesaria la combinación de los exámenes de preguntas cerradas con otras técnicas de evaluación (exámenes de preguntas abiertas, tareas individuales, tareas grupales, participación en los espacios de comunicación, etc.).

Por otro lado, en la evaluación realizada por los alumnos, la evaluación del curso en cuanto a valoración y esfuerzo y tiempo dedicado por el alumno para la realización de cada tarea, el conocimiento por parte de éstos de los criterios de evaluación y la calidad de las valoraciones del tutor con relación a las evaluaciones realizadas a lo largo del curso obtiene una valoración que oscila entre el valor de Buena.

Evaluación por los alumnos	Media de valoración
Evaluación del curso	1 Muy Baja
	5 Muy Alta
Valoración del esfuerzo y tiempo dedicado por el alumno para realizar cada tarea	3,91
Conocimiento de los criterios de evaluación	3,82
Calidad de las valoraciones que el tutor hace de los trabajos	3,88

 

4.2.2 Evaluación del desarrollo de los cursos

Dentro de este apartado tomamos en cuenta el propio desarrollo del curso a través de una plataforma tecnológica. Por ello, consideramos básicamente dos aspectos: por un lado, la interacción entre alumno-tutor y alumno-alumno; por otro lado, el papel o rol desempeñado por el tutor a lo largo del curso.

Por otra parte, en la evaluación realizada a los alumnos también se ha evaluado la coherencia y coordinación entre las sesiones presenciales y on-line.

Evaluación por los alumnos	Media de Valoración
Coordinación presencial on-line	1 Muy Baja
	5 Muy Alta
Coordinación entre las sesiones presenciales y las sesiones on-line	3,88
Calidad de las orientaciones en las sesiones presenciales para las sesiones on-line	3,92
Resolución de dudas en las sesiones presenciales	3,93
Utilidad de las sesiones presenciales	3,90
Número de sesiones presenciales	3,63

Como podemos comprobar en la tabla, los alumnos han hecho una valoración positiva de la coordinación entre las sesiones presenciales y on-line, situándose la media de los aspectos evaluados entre Media y Buena.

 

4.2.2.1. Evaluación de la interacción en el curso

El contacto con los compañeros del curso, el conocimiento de las opiniones de los otros y la existencia de debates en el desarrollo de una acción formativa de e-learning dotan a ésta de una riqueza inimaginable. Una acción formativa de e-learning debe ofrecer al alumno opciones de interactividad en varios sentidos: con sus compañeros, con los formadores, así como los contenidos y actividades del curso. En este apartado nos centramos en las relaciones humanas que se desarrollan a través de las diferentes herramientas de comunicación que posee la plataforma en la que se desarrolla la propia acción formativa.

En este sentido, sólo tomaremos en cuenta el uso de las dos herramientas públicas de más frecuente uso en e-learning: el foro y el chat. Estas dos herramientas deben tener una organización y una moderación por parte del tutor adecuada, de forma que no se convierta en algo <<caótico>> y sirva para el intercambio de información y la construcción del conocimiento entre los diferentes agentes que intervienen en el curso.

Las acciones formativas en las que tanto los foros de discusión como los chats están organizados y moderados adecuadamente y son utilizados para el intercambio de información y construcción del conocimiento (23,1%) han obtenido una valoración de Alta en la categoría de <<Interacción>>. Aquellas acciones formativas en las que los foros de discusión y los chats han estado bien organizados y moderados, pero en la que la participación por parte de los alumnos ha sido media-escasa (42,3%) han obtenido una valoración de Media. En aquellos casos en los que los foros de discusión y chats no han estado bien organizados y moderados, no siendo por lo tanto útiles para el intercambio de información y construcción del conocimiento (34,6%) han obtenido una valoración de Baja. No se han tenido en cuenta en esta evaluación aquellas acciones formativas desarrolladas en plataformas que no disponen de foros de discusión y/o chats, al tratarse de un aspecto a tomar en cuenta en la evaluación de la funcionalidad técnica de la plataforma.

En contraste con estas valoraciones, en las evaluaciones realizadas por los alumnos, la valoración media de la interacción se sitúa entre Media y Buena.

Evaluación por los alumnos	Media de valoración
Interacción	1 Muy Baja
	5 Muy Alta
Comunicación entre alumnado y tutor	4,19
Organización de los foros	3,83
Planificación y organización de las sesiones de chat	3,49
Utilidad del correo	4,11

 

4.2.2.2. Evaluación del papel desempeñado por el tutor

El papel del tutor en las acciones de e-learning resulta de crucial importancia para su buen funcionamiento. Es el encargado de animar a los alumnos, resolver dudas, motivar, valorar su trabajo, comunicar, etc. Como podemos comprobar, son múltiples las competencias que éste debe poseer, nosotros nos centraremos sólo en algunas de ellas, que son:

El tutor debe resolver las dudas que surjan, ofrecer información que complete la formación del alumno, enviar consejos y sugerencias sobre determinados aspectos y advertir de las fechas de comienzo y clausura de temas y módulos así como de actividades y tareas.

Junto a las funciones de guía y orientación, el tutor debe evaluar las tareas de los alumnos con adecuación a los criterios establecidos. Evaluar no es calificar, por ello, los tutores deben explicar a los alumnos los elementos positivos y negativos de sus trabajos, planteando alternativas y sugerencias para su mejora.

La valoración de esta categoría se ha realizado teniendo en cuenta la predisposición, rapidez y calidad en el papel desarrollado por los tutores en el desarrollo de las acciones formativas evaluadas. Aquellas acciones en las que los tutores se han mostrado predispuestos, han orientado y guiado a los alumnos a lo largo de todo el curso y los ha evaluado tomando en cuenta los aspectos de evaluación anteriormente descritos han obtenido una valoración de Alta en esta categoría. Aquellas acciones formativas en las que el papel desarrollado por los tutores no ha sido excelente pero sí han guiado, orientado y evaluado de forma adecuada a los alumnos han obtenido una valoración de Media. Aquellas acciones formativas en las que no se ha dado ninguno de los dos casos anteriormente mencionados han obtenido una valoración de Baja. La evaluación que hemos realizado coincide con la valoración realizada por los alumnos, al considerar el rol desempeñado por los tutores en el desarrollo de las acciones formativas como bueno.

Evaluación por los alumnos	Media de valoración
Rol del tutor	1 Muy Baja
	5 Muy Alta
Utilidad de las tutorías	4
Posibilidad de comunicación con el tutor	4,18
Ayuda para resolver problemas técnicos	4,07
Conocimiento de los tutores de los contenidos del curso	4,40
Capacidad y diligencia de los tutores para responder a las dudas	4,33

 

4.2.3. Evaluación de la tecnología usada en los cursos

Para evaluar la tecnología de la acción formativa tomamos en cuenta cuatro aspectos:

• Funcionalidad tecnológica de la acción formativa.
• Funcionalidad tecnológica de la plataforma en la que se desarrolla la acción formativa.
• Accesibilidad de los contenidos del curso.
• Usabilidad del curso.

 

4.2.3.1. Evaluación de la funcionalidad técnica del curso

Una acción formativa de e-learning puede estar correctamente planificada y diseñada, pero puede no servir si la funcionalidad técnica del curso no es adecuada, ya que el alumno no podría acceder a los diferentes elementos que componen dicha acción. Los elementos que deben funcionar adecuadamente para que podamos considerar que la funcionalidad técnica del curso es Alta son: sistema de navegación, material que se le ofrece al alumno, hiperenlaces, páginas de contenido, imágenes y elementos multimedia.

Como podemos observar en la gráfica, el 100% de las acciones formativas evaluadas no presenta ningún error, siendo la funcionalidad del curso Alta.

 

4.2.3.2. Evaluación de la funcionalidad técnica de las plataformas

Las plataformas tecnológicas deben incluir una serie de herramientas que permitan desarrollar un curso on-line sin necesidad de echar en falta algunos elementos que se presentan en la formación presencial. Estas herramientas deben servir para:

• Para el seguimiento del aprendizaje del estudiante. La plataforma tecnológica deberá incluir distintas herramientas que permitan realizar el seguimiento de los alumnos, tales como: ejercicios, autoevaluaciones, evaluaciones, estadísticas, etc.
• Para la comunicación entre los agentes. Debe posibilitar el intercambio de información, así como el diálogo y discusión entre los implicados. Para ello deberá incluir herramientas de comunicación sincrónica (chat) y asincrónica (tablón de anuncios, foros, correo electrónico, etc.).
• Para fomentar el trabajo colaborativo. Es importante incluir herramientas que faciliten el trabajo en grupo, para que así puedan realizarse funciones tales como: transferir archivos, compartir aplicaciones, convocar reuniones, etc.

Como se puede comprobar en la gráfica, todas las acciones formativas evaluadas contemplan los aspectos anteriormente descritos, por lo que la valoración de la funcionalidad técnica de las plataformas en las que se han desarrollado las mismas es Alta.

Evaluación por los alumnos	Media de valoración
Funcionalidad de la plataforma	1 Muy Baja
	5 Muy Alta
Facilidad de acceso a la plataforma	4,27

Por otro lado, y como se puede observar en la tabla, los alumnos sitúan la evaluación de la facilidad de acceso y utilización de la plataforma entre los valores Muy Buena y Buena.

 

4.2.3.3. Evaluación de la accesibilidad de los cursos

Cuando hablamos de accesibilidad de los cursos, nos referimos al grado de adaptación que tienen los elementos formativos diseñados para facilitar el acceso a las personas que por diversas razones pudieran tener dificultades visuales, auditivas y/o motóricas que les dificulte el acceso a los cursos. Para ello, tenemos que tomar en cuenta una serie de aspectos, como son: uso de alternativas equivalentes para el contenido visual y auditivo, contraste en la combinación de colores de fondo y primer plano, proporción de información de contexto y orientación, y compatibilidad del curso con diferentes navegadores.

Cuando hacemos mención al uso de alternativas equivalentes para el contenido visual y auditivo nos estamos refiriendo a dos aspectos: por un lado, a que las imágenes tengan incorporado el atributo <<alt>>, y por otro lado, a que todo elemento visual y auditivo cuente con los correspondientes subtítulos y/o transcripciones.

Por otra parte, la combinación de colores de fondo y primer plano debe tener contraste. Esto permitirá que el curso pueda ser percibido adecuadamente por personas con dificultades en la percepción del color y en pantallas en blanco y negro.

En último lugar, no podemos obligar a un alumno a utilizar un único navegador para poder visualizar el curso, ya que esto se traduciría en una gran limitación para muchos alumnos. Por ello, los cursos deben ser compatibles con los navegadores que con más frecuencia son utilizados y que son: Internet Explorer, Nestcape y Mozilla Firefox.

Las acciones formativas que contemplen todos los aspectos anteriormente descritos han obtenido una valoración de Alta en la categoría de accesibilidad. Aquellas acciones formativas que no hayan contemplado uno de estos aspectos han obtenido una valoración de Media, y aquellas que no han contemplado más de uno, una valoración de Baja.

Como puede observarse en la gráfica, nos encontramos que hay un 32% de las acciones formativas en las que estos aspectos de accesibilidad han quedado insuficientemente abordados, aunque hay que destacar que en un 53% hemos considerado que algunos de los aspectos han sido abordados aunque insuficientemente. El principal error que hemos observado en estas últimas ha sido el hecho de no haber incorporado el atributo <<alt>> en las imágenes insertadas en los contenidos.

 

4.2.3.4. Evaluación de la usabilidad del curso 

En este apartado evaluamos la capacidad que tiene el curso para ser comprendido, aprendido, usado y, a su vez, atractivo para el alumno. Para ello, tomaremos en consideración tres aspectos fundamentales: usabilidad de los contenidos, usabilidad de los enlaces y navegación y usabilidad de los elementos gráficos y multimedia.

 

4.2.3.4.1. Usabilidad de los contenidos

Los contenidos de un curso son usables siempre que el formato de los mismos cumpla las normas básicas de usabilidad en la web. De esta forma:

• Cada archivo de contenido debe contener al menos una imagen, debiendo existir un equilibrio entre la cantidad de información y la cantidad de imágenes dentro de cada archivo.
• Debe existir uniformidad entre los colores utilizados en los archivos de contenido, de tal forma que el fondo y la fuente empleada tengan contraste y el texto pueda ser leído sin dificultad alguna. En esta línea, se consideran más usables los fondos claros con fuentes oscuras que los fondos oscuros con fuentes claras.
• Una de las principales características de los contenidos on-line es la posibilidad de incorporar elementos gráficos y multimedia, pero hay que tener mucha cautela al hacerlo ya que el tiempo de carga total de la pantalla no debe ser superior a diez segundos.
• Por otro lado, la estructura de la página debe tener una presentación clara, lo que supone el uso de títulos y encabezados. Es aconsejable no utilizar más de dos tipos de fuente, no abusar del uso de cursivas y no subrayar fragmentos de texto que no responda a enlaces.
• Los contenidos deben ocupar en pantalla al menos la mitad de ésta, dejando el resto de la misma a la navegación. Es preferible que los contenidos ocupen el 60% de la pantalla. Por otro lado, los archivos no deben ser muy extensos, de forma que a una resolución de pantalla de 1.024 el scroll no suponga más de media pantalla. Por último, debe existir una opción que permita al alumno imprimir los contenidos.

Pues bien, una vez enunciados los criterios empleados para la evaluación, podemos observar en la gráfica que el 38,3% de las acciones formativas evaluadas han tenido una consideración Alta de los aspectos anteriormente descritos.

Dos han sido las principales causas que nos han llevado a valorar Baja la usabilidad de los contenidos en el 30% de las acciones formativas. Éstas han sido:

• Ausencia de imágenes en los archivos de contenido. Como comentábamos en líneas anteriores, debe existir un equilibrio entre la cantidad de información e imágenes en los archivos de contenido, debiendo contener cada archivo al menos una imagen que ilustre la información que se presenta en el mismo.
• Archivos de contenidos muy extensos. Una de las normas básicas de usabilidad en la web indica que a una resolución de pantalla de 1.024, el scroll no debe suponer más de media pantalla.

 

4.2.3.4.2. Usabilidad de los enlaces y navegación

Los enlaces y navegación de un curso son considerados usables cuando están organizados de una forma sencilla e intuitiva que permita al alumno navegar por el curso sin que dicha navegación se convierta en una barrera para su aprendizaje. Para ello, éstos deben cumplir una serie de características.

Por un lado, los enlaces, tanto de imagen como de texto, deben tener significado por sí mismos de forma que puedan ser entendidos fuera de su contexto. Además de ello, en los enlaces de texto se debe utilizar un único color que sea diferente al color de la fuente utilizada en aquel texto que no contiene enlace.

Igualmente, los elementos de navegación deben estar colocados siguiendo un orden lógico, bien de izquierda a derecha, bien de arriba hacia abajo. También se debe dar la opción de poder ir a la página principal o mapa del curso desde cualquier parte de éste.

En relación con la usabilidad de enlaces y navegación, observamos que los cursos en general cumplen con los criterios de calidad establecidos, ya que hemos observado una navegación clara y con indicaciones adecuadas.

 

4.2.3.4.3. Usabilidad de los elementos gráficos y multimedia

Para que los elementos gráficos y multimedia sean considerados usables dentro de una acción formativa determinada deben cumplir una serie de características.

En primer lugar, deben ilustrar los contenidos del curso y guardar coherencia con relación a su tamaño, con la información que contiene cada archivo. También es necesario que éstos guarden coherencia entre sí en cuanto a su tamaño, colores y formatos. Por otro lado, deben ser claros en cuanto a su visualización y si contienen texto, éste debe poder ser leído con nitidez. Los elementos multimedia deben poder ser visualizados y escuchados correctamente.

Nos hemos encontrado con que en el 42,7% de las acciones formativas que hemos evaluado, los elementos gráficos y multimedia cumplen con los criterios de calidad establecidos.

5. EVALUACIÓN DIFERIDA DE LOS CURSOS DE E-LEARNING CORRESPONDIENTES A LA CONVOCATORIA 2004

Al igual que estamos haciendo en este momento, la Dirección General de Formación para el Empleo nos solicitó realizar la evaluación de la calidad de los cursos de e-learning desarrollados en la convocatoria 2004. El informe final de evaluación de estos cursos se presentó en su momento y puede consultarse en la web de nuestro proyecto Prometeo: http://prometeo.us.es/qualitas

Para realizar una evaluación algo más completa nos planteamos la posibilidad de volver a consultar a las personas que habían respondido los cuestionarios de la convocatoria 2004, pero un año después . Es lo que denominamos evaluación diferida. Para ello elaboramos un cuestionario que puede consultarse en el Anexo III y que procedimos a enviar a todos los alumnos que habían respondido el cuestionario de evaluación en la convocatoria 2004.

El cuestionario de evaluación de impacto se remitió a las 1.090 personas que respondieron el cuestionario de evaluación de los cursos correspondientes a la convocatoria de 2004. Recibimos un total de 170 cuestionarios respondidos.

Para conocer el impacto de la realización de estos cursos en la trayectoria laboral de los participantes, se planteaban cuestiones específicas, en función de la situación en la que se encontraran al participar en la formación estudiada. Una de ellas, dirigida a los que entonces estaban desempleados, recibió 93 respuestas. La mayoría de ellas señala que la percepción del participante es que la realización del curso le ha sido de ninguna (el 39,8% de las respuestas a esta pregunta) o de poca (el 32,3% de ellas) ayuda a la hora de encontrar trabajo. Difieren de esta opinión el 17,2% de las respuestas obtenidas a esta cuestión, que sostienen que les ha sido de mucha o de bastante ayuda.

Tampoco quienes se encontraban empleados al momento de realizar el curso entienden que éste haya supuesto una gran aportación a su ascenso laboral dentro de la empresa, en tanto la consideran nula el 50,8% de quienes respondieron a esta cuestión y escasa el 33,1% de ellos. En contraposición, el 16,1% de las personas que respondieron a esta pregunta entiende que les fue de bastante o mucha ayuda la realización del curso on-line a la hora de pensar en un ascenso laboral.

Por otra parte, tampoco estas personas creen que la realización del curso haya incidido en sus posibilidades de cambiar de empresa, obteniendo un puesto mejor. El 46,5% de ellos sostiene que esto no ha sido así en absoluto, mientras que el 35,2% cree que la influencia ha sido poca. En cambio, el 11,3% afirma que ha sido bastante y el 7%, que ha sido mucha.

Las posibilidades de obtener un empleo vinculado con los contenidos del curso impartido mediante e-learning tampoco son muy elevadas, según la opinión de los participantes, después de su realización. En este sentido, el 67,9% de quienes respondieron a esta cuestión entiende que no ha incidido en nada, mientras que el 20,8% cree que lo ha hecho poco. En oposición a estas ideas, el 11,3% cree que la realización del curso ha influido mucho o bastante en su posibilidad de encontrar un puesto de trabajo vinculado con el tema del mismo.

En contraste con lo anterior, la mayor parte de los participantes (el 46% de quienes contestaron la pregunta) entiende que la realización del curso on-line ha contribuido bastante a desarrollar mejor las competencias relacionadas con su puesto de trabajo. A este porcentaje puede agregarse el 25,7% correspondiente a quienes sostienen que les ha ayudado mucho. En cambio, el 24,3% de los participantes en el estudio que opinaron en esta cuestión señalan que la contribución del curso en la mejora de sus competencias es poca y un 4,1% la considera nula.

Todo parece indicar, en definitiva, que la aportación de los cursos de e-learning realizados por los consultados durante 2005 ha tenido mayor impacto en su formación profesional que en sus condiciones laborales.

En línea con esta idea, el 88% de los participantes sostienen que la realización de un curso on-line les animó mucho o bastante a realizar otros. Afirman lo contrario el 2,4% de ellos, mientras que un 9,6% considera que le animó poco.

Además de incentivar la realización de otros cursos, la participación en actividades formativas de e-learning se presenta como posibilitadora del acceso a algunos más avanzados. Es decir, no sólo refuerza la autoconfianza y el interés por continuar la formación, sino que ofrece herramientas para ampliarla. Así lo pone de manifiesto el 29% de los participantes que califica de mucho y el 40,7% que considera bastante el grado en que el curso lo capacitó en este sentido. El 15,4%, por su parte, entiende que no lo hizo en absoluto y el 14,8% que sólo contribuyó un poco a este fin.

Finalmente, casi la totalidad de los participantes considera que el curso on-line le proporcionó un enriquecimiento personal. Tal como se aprecia en el gráfico siguiente, el 49,1% sostiene que esta aportación fue mucha y el 43,8% la califica de bastante, mientras que sólo el 7,1% de los consultados ponen en duda esta afirmación.

A partir de estos datos, no resulta sorprendente la elevada valoración que los participantes en el estudio manifiestan acerca de los cursos realizados mediante Internet, después de un año. Como puede observarse en el gráfico, así lo sostiene más del 80% de ellos. Mientas que un 41,9% estima mucho el curso realizado, un 45% lo valora bastante. En contraposición, el 11,3% lo valora poco, y un 1,9%, nada.

Tampoco parece llamativo que el 74,2% de los consultados hayan realizado a lo largo del curso siguiente al de la actividad formativa on-line entre uno y cinco cursos. Superan esta cantidad el 3% de los participantes, en tanto el 16,5% no ha realizado ningún curso en este año.

Entre estos cursos predominan claramente, como puede verse al comparar los siguientes gráficos, los que adoptan la modalidad de e-learning. Así, mientras un 54,7% reconoce no haber realizado ningún curso presencial durante el último año, sólo el 24,7% afirma lo mismo en relación con las actividades formativas on-line. Asimismo, el 63,5% sostiene haber realizado entre uno y cinco de estos cursos, predominando las respuestas que indican que se ha realizado uno –con un 29,4%– o dos –con el 15,9%–. Le sigue en frecuencia la realización de tres cursos, reconocida por el 13,5% de los participantes, y el 5,9% que ha realizado cuatro. Un 3,6% supera esa cantidad de cursos on-line realizados en el transcurso del último año. En cuanto a los cursos presenciales, el 26,5% ha participado en uno y sólo el 10,7% supera esa cantidad.

Como complemento de las preguntas directamente formuladas, el cuestionario preveía la aportación libre de los participantes en el estudio, a través del apartado destinado a observaciones. Hicieron uso de él 65 de las 170 personas que respondieron al conjunto del cuestionario, abordando cuestiones muy diversas que se comentan a continuación. A fin de organizar la exposición en torno a ellas, la siguiente tabla clasifica las temáticas abordadas en las distintas intervenciones, indicando la frecuencia con la que aparecen en las opiniones recogidas. Cabe señalar que algunos de los comentarios recogidos abordaban más de una de las cuestiones identificadas en el conjunto, relacionadas entre sí o no. Una asociación frecuente, como es previsible, se observa entre las valoraciones positivas acerca del curso realizado y su impacto en el desarrollo profesional y/o laboral

Tema	Cantidad de intervenciones
Impacto de la realización del curso en el desarrollo profesional	6
Impacto de la realización del curso en el desarrollo laboral	8
Impacto de la realización del curso en el interés por la continuidad de la formación	6
Descripción de los cursos de e-learning realizados	1
Valoración (positiva) de los cursos de e-learning realizados	17
Valoración (negativa) de los cursos de e-learning realizados	4
Propuesta para la realización o mejora de cursos de e-learning	18
Opiniones sobre la (escasa) valoración que las empresas hacen de la formación on-line	5
Opiniones sobre la formación on-line, en general	4
Descripción de la situación personal, al realizar el curso on-line y/o al responder el cuestionario	9
Dificultades administrativas	6

Una primera apreciación que puede hacerse al observar la distribución temática de los comentarios vertidos por los participantes se refiere a la extendida voluntad de expresar la elevada valoración que se tiene de los cursos realizados a través de Internet. Así, resultan frecuentes opiniones como las del participante 10, de 32 años: <<El curso me pareció muy útil e interesante y quiero agradecer la profesionalidad de todas las personas que lo hicieron posible>>, o del 61, de 26: <<El curso que realicé fue muy interesante…>>. En contraposición, se registran algunas escasas críticas a los cursos realizados: <<El curso era malísimo con un nivel muy bajo. La plataforma fallaba continuamente (incluso en el aula se iba la luz con frecuencia). Yo sólo asistía a la mitad de la primera clase presencial y luego no volví más>>.

La generalizada valoración positiva con respecto a los cursos realizados suele extenderse al conjunto de la formación a distancia a través de Internet: <<Me parece buena idea los cursos a distancia, ya que para las personas que trabajamo, nos resultaría imposible realizar cursos si no existiría esta modalidad>> (cuestionario 47).

Son numerosas también, como puede notarse, las propuestas dirigidas a la mejora de los cursos. Buena parte de ellas puede ponerse en relación con la ya comentada valoración de los mismos, en tanto se refieren a la ampliación de la oferta. Tal es el caso del comentario realizado en el cuestionario 101, respondido por una persona de 30 años: <<He intentado hacer otros cursos on-line, pero no he sido seleccionado para hacerlos. Me gustaría que se considere la opción de incrementar el número de plazas en cursos gratuitos de teleformación>>.

La ya señalada visión positiva de los cursos suele estar en relación con la vivencia de un impacto de éstos en la mejora de la propia situación profesional, como es el caso de quien respondiera el cuestionario 42: <<En la actualidad me ha permitido generar unas nuevas perspectivas de trabajo, que pasan por la formación de contenidos para empresas de formación y ofertas que he lanzado para optimización de empresas>>, o el 21: <<Actualmente soy autónomo y estoy trabajando simultáneamente en una empresa contratado eventualmente, no tengo tiempo de realizar cursos y realmente me sirvió el curso realizado, sobre todo en lo económico y en la gestión de mi empresa>>.

Sin embargo, esta imagen valorada no siempre se refleja en un avance en el ámbito laboral, tal como lo afirma el participante 11: <<Sinceramente el curso estuvo bastante bien y me ayudo a aclarar muchas cosas que no tenía muy claras, pero a la hora de encontrar un trabajo no me ha servido de nada…>>. Coincidían con esta idea 5 de las 8 declaraciones relativas al impacto de la realización de los cursos on-line sobre la mejora de la situación laboral que fueron negativas. Las otras 3, en cambio, observaban cierto avance en este campo.

Resulta notorio que, aun en el caso de que los conocimientos adquiridos no sean funcionales para una mejora laboral, son valorados por muchos de los participantes desde el punto de vista del <<enriquecimiento personal>>.

Por otra parte, la comentada falta de repercusión de los conocimientos adquiridos en la mejora de la situación laboral puede ponerse en relación con la escasa valoración que, desde el punto de vista de los participantes, hacen las empresas de la formación de los trabajadores, en particular, cuando tiene lugar a través de Internet. En esta cuestión incide un alumno al decir: <<… creo que las empresas valoran muy poco estos cursos, ya sean presenciales o e-learning. Para ellos, que hayas realizado un curso de estas características no significa que tengas los conocimientos adecuados para poder desarrollar el trabajo. Sólo miran la experiencia y tienen muy pocas ganas de formar o ayudar a formar nuevos profesionales>>. Coincide con él la siguiente afirmación: <<Las empresas no tienen en cuenta la realización de estos cursos, sólo tienen en cuenta una titulación universitaria, y por supuesto la experiencia que tienes en este campo>>.

Probablemente sea a raíz de estas opiniones que se plantean algunas sugerencias en relación con la incorporación de la práctica en los cursos on-line, como las siguientes: <<Que el curso fuera más práctico y los profesores tuvieran más experiencia práctica y funcional en el área que imparten>>, <<Debería haber tenido prácticas en empresas>>.

Otro tipo frecuente de propuestas en relación con los cursos se refieren a la incorporación de mayor cantidad de sesiones presenciales: <<Me hubiera gustado una clase más de forma presencial y que solo se realizó una y había previstas dos sesiones>>. Probablemente, este reclamo derive de cierta percepción de aislamiento por parte del alumnado, a la que se refiere quien contestara el cuestionario 15: <<Quizás eché en falta interaccionar con otros alumnos, preguntarles que tal llevaban el curso, dificultades, observaciones varias, etc.>>.

En parte en relación con esta cuestión, se alude a la mejora de los medios técnicos, como es el caso de la que realiza un participante: <<Sería conveniente mejorar la plataforma de formación en cuanto a herramientas de comunicación (es interesante disponer por ejemplo de mensajería instantánea, conocer qué compañeros se encuentran conectados, organización de los foros, etc.); presentación y navegabilidad de los contenidos (la letra era muy pequeña, la navegabilidad era nula, la presentación era lineal sin aprovechar las posibilidades del hipertexto); herramientas y opciones complementarias que hagan más atractivo el uso de la plataforma: biblioteca, kiosco de prensa, posibilidad de realizar trabajo compartido on-line, agenda, etc. Esto podía hacer que la sensación de aislamiento se redujera y que la plataforma se utilizará mucho más convirtiéndose en una auténtica teleformación y no en unos contenidos colgados o descargables desde la red>>.

Otra línea de críticas o comentarios negativos está en relación con algunas dificultades de índole administrativa que derivan en que seis de los participantes no contaran con el título correspondiente al curso, al momento de contestar el cuestionario.

Para finalizar, debe valorarse el que 9 de los participantes en el estudio hicieran referencia a sus circunstancias personales para facilitar la interpretación de respuestas que pudieran resultar poco frecuentes o, en alguna medida, sesgadas por ellas.

 

6. CONCLUSIONES Y RECOMENDACIONES

A partir de los resultados analizados, creemos necesario realizar las siguientes recomendaciones con el objetivo de mejorar la calidad de los cursos de e-learning que el Servicio Andaluz de Empleo actualmente financia en los siguientes aspectos:

Una primera conclusión general que hemos mostrado tiene que ver con la alta satisfacción que muestra el alumnado con la modalidad de formación que denominamos e-learning. Que el 97% del alumnado responda que se implicaría sin lugar a dudas en una nueva oferta de formación a través de Internet nos convence de que de forma rápida va instalándose la confianza en la calidad de e-learning.

Por la evaluación diferida que hemos realizado podemos constatar que, con un año de demora, un 86,9% de los alumnos siguen valorando como muy o bastante buenos. Encontramos también que a un 28% de los alumnos la realización del curso le permitió encontrar empleo. Y a los que se encontraban ya trabajando les ha permitido mejorar sus competencias.

En la comparación que hemos realizado con los cursos ofertados en la convocatoria del año 2004 constatamos un evidente avance en las puntuaciones que el alumnado otorga a los diferentes elementos y dimensiones de que consta nuestro cuestionario de evaluación. Aspectos que en la convocatoria pasada se evaluaban como deficitarios, en muchos casos se han superado en esta convocatoria.

¿Qué recomendaciones hacemos tanto a la administración como a las entidades organizadoras de cursos a través de Internet? Un aspecto que sigue siendo relativamente problemático tiene que ver con la linealidad de los contenidos, que en algunos casos se limitan a textos en formato pdf, o bien ofrecen poca interactividad al alumnado: escasez de utilización de vídeos, animaciones, propuestas de reflexión y debate.

Otro aspecto que consideramos digno de atención tiene que ver con los espacios de comunicación. Notamos que en cierta medida los alumnos echan en falta mayores habilidades de sus tutores para la utilización didáctica tanto de los foros de discusión como de las sesiones de chats. En muchos casos estas herramientas de comunicación están infrautilizadas y constituyen un espacio privilegiado para promover un aprendizaje más horizontal y colaborativo.

BIBLIOGRAFÍA

ASTD [2002]: E-learning courseware. Certification standards. Washington: Asssociation for Supervision and Training Development.

Bonk, C. & King, K. [1998]: <<Introduction to electronic collaborators>>. In C. y. K. Bonk, K (Ed.), Electronic collaborators . New Jersey: Lawrence Erlbaum Ass.

Development, A. f. S. a. T. [2002]: E-learning courseware. Certification

standards. Washington: ASTD.

Duffy, T., Dueber, B., & Hawley, C. [1998]: Critical thinking in a distributed environment: A pedagogical base for the design of conferencing systems. In C. y. K. Bonk, K (Ed.), Electronic collaborators (pp. 51-78). New Jersey: Lawrence Erlbaum Ass.

Horton, W. [2001]: Evaluating e-learning . Washington: ASTD.

Kirkpatrick, D. [1999]: Evaluación de acciones formativas. Los cuatro niveles . Barcelona: PISE.

Koper, R. & Tattersall, C. [2005]: Learning design . Berlin: Springer.

Marcelo, C.; Puente, D.; Ballestero, M.; & Palazón, A. [2002]: E-learning-teleformación. Diseño, desarrollo y evaluación de la formación a través de internet . Barcelona: Gestión 2000.

Pérez Juste, R. [1995]: Evaluación de programas y centros educativos . Madrid: Cincel.

Pineda, P. [1995]: Auditoría de la formación . Barcelona: Gestión 2000.

Reigeluth, C. [1999]: Diseño de la instrucción. Teorías y modelos . Madrid: Santillana.

Wilson, B. (1996). What is a constructivist learning environment. In C. L. Environment (Ed.), (pp. 3-7). Englewood Cliffs: Educational Technology Publications.