II Encuentro Nacional "La Universidad como Objeto de Investigación"

Centro de Estudios Avanzados (CEA - Universidad de Buenos Aires -UBA)

Noviembre 1997

Ponencias publicadas por el Equipo NAyA
https://www.equiponaya.com.ar/
info@equiponaya.com.ar

EVALUACIÓN UNIVERSITARIA

Prof. Ana María Dorato
Mg. Evaluación Educacional

Univ. Nac. de La Plata

La Evaluación Universitaria ocupa un lugar central en la agenda Universitaria Argentina, sobre todo frente a los procesos de integración regional que implican la búsqueda de alternativas para conjugar las soluciones a los problemas locales o nacionales que demandan las nuevas realidades.

Si bien se vienen realizando esfuerzos en el ámbito del MERCOSUR Educativo, en materia de Educación Superior, los procesos de integración regional plantean dificultades muy concretas, en particular, el reconocimiento de títulos y equivalencias, y las diferencias que se presentan entre los países respecto de la habilitación profesional en distintas especialidades.

En nuestro país, la cuestión de la Evaluación, se halla instalada en la comunidad universitaria y ya hay experiencias en curso, y algunos resultados de universidades que han desarrollado experiencias en evaluación presentando cierto grado de avance, y también dificultades, que varían según las instituciones.

Dentro de este marco, el propósito del presente trabajo es abordar la evaluación de Planes y Programas ,presentando algunos aspectos metodológicos a tener en cuenta en la evaluación de los currícula a nivel de Educación Superior, considerando que la Evaluación Curricular es uno de los aspectos fundamentales dentro de la Evaluación Universitaria

La evaluación curricular como su nombre lo indica se refiere al currículum, pero este tipo de evaluación educacional no deja claramente definido el objeto que es evaluado , dada la diversidad de acepciones con las que se utiliza el término currículum. Para algunos , significa el conjunto de recursos ,contextos, medios educativos, metodologías y experiencias que intervienen en el proceso educativo ; para otros el término tiende a confundirse con el de programa de estudio, que en todo caso es sólo un componente del currículum.

Nosotros vamos a entender la Evaluación Curricular como un proceso totalizador, histórico y multidisciplinario, desde el cual es posible abordar el estudio de desarrollo del currículum, entendiéndose por tal, una instancia que organiza y reproduce en diferentes formas y grados, implícita y explícitamente, los conocimientos disciplinarios, los sistemas de valores y creencias, y la concepción de cultura por la que se opte.

A través de la evaluación es posible medir la efectividad total y la calidad del currículum, como asimismo,la pertinencia y adecuación de los planes y programas de asignatura que conforman el currículum de la carrera. Los resultados de esta evaluación permiten ajustar y reorientar los currícula y contribuyen a la actualización y pertinencia de los aprendizajes para acceder al ejercicio profesional.

Entendiendo que la evaluación es un proceso de control de calidad efectivo y, a veces, muy poderoso en los cambios e innovaciones a nivel del sistema educativo, el evaluador debe, por lo tanto, asumir diferentes roles y responsabilidades como las siguientes : * Asumir la principal responsabilidad para descubrir si un determinado Programa ( entiéndase Programa de manera genérica), continúa siendo efectivo en el logro de los objetivos específicos, y si detecta cualquier deterioro, debe determinar si este es total , diferencial, circunstancial, o una combinación de todos ellos.

* Debe ser capaz de identificar la causa o fuente de deterioro, si es que hay alguna, a través del análisis y recolección cuidadosa de datos. (Si no se conoce la causa o fuente del deterioro es muy dificil trabajar en alguna solución pertinente y efectiva, como también formular recomendaciones) .

* Finalmente ,debe tomar las medidas necesarias para investigar el funcionamiento de los métodos alternativos, debe continuar proporcionando a los que toman decisiones y a los especialistas, información válida y confiable respecto a la efectividad de las medidas.

Siguiendo con el ejemplo de Currículum que tomamos en este caso particular, abordaremos la evaluación de planes y programas de asignaturas, tratando de dar respuesta a la pregunta :¨ Cómo llevar a cabo una evaluación curricular rigurosa, que nos permita sobrepasar las prácticas frecuentes basadas en vagas impresiones ? Recordemos ahora, el significado que le damos al concepto de evaluación en el contexto de la evaluación curricular.

Evaluar un Programa " consiste en la recolección de información pertinente, válida y confiable que permita verificar el grado de adecuación entre el conjunto de informaciones y el conjunto de criterios congruentes con los objetivos fijados en vías de la toma de decisiones " Debemos precisar para qué vamos a evaluar y por qué, mientras más importante sea la decisión a tomar , mayor será la atención y la rigurosidad de la evaluación.

Estrategias evaluativas

En la evaluación de planes y programas de estudio podemos distinguir por lo menos dos estrategias de evaluación : Una evaluación a priori y una evaluación a posteriori.

La evaluación a priori es aquella que se realiza sobre la base de las políticas, fines objetivos y contenidos.

Permite tomar a tiempo decisiones de ajuste, antes de la puesta en marcha del programa.

La evaluación a posteriori, está fundada en la medición y el análisis de los efectos de la aplicación de los planes y programas.

A estos dos criterios corresponden dos grandes tipos de objetos de estudio o de información a recoger : Los Planes y Programas y el contexto de aplicación.

EVALUACION A PRIORI

La evaluación curricular de planes y programas, puede abordarse mediante el análisis de los aspectos que los conforman, debiendo distinguirse la presencia más o menos explicita de :
* Fines y jerarquía de los mismos
* Objetivos y jerarquía
* Contenidos y organización
* Secuencia y principios orientadores
* Concepciones de evaluación prescriptas y medios para realizarla
* Métodos recomendados para el desarrollo del proceso
* Técnicas propuestas
* Infraestructura juzgada como necesaria
* Gestión de tiempo recomendada
* Recomendaciones referidas al clima a instaurar en el proceso
* Características de los beneficiarios, incluidos estudiantes y posibles empleadores.

( Estos entre otros)
La acción evaluativa consistirá en verificar el grado de coherencia pedagógica interna, cuando se han controlado los objetos señalados.

Para realizar esta tarea debemos tener presente y respetar , diferentes niveles de análisis que señalamos a continuación :
Primer nivel de análisis : Coherencia intra - objetivos ; Coherencia inter - objetivos.

En este primer nivel de análisis deberá evaluarse la coherencia de la jerarquía de los objetivos propuestos, jugando un papel fundamental la presencia de políticas, perfiles, y fines claramente formulados y explicitados, ya que los objetivos específicos a nivel de programas no permiten por sí solos reemplazar a los objetivos de integración y producto, necesarios para realizar un proceso de formación adecuado.

La coherencia inter - objetivos debe ser evaluada por el grado de adecuación entre los objetivos declarados y los métodos propuestos. Así por ejemplo, el recurrir a métodos exclusivamente expositivos basados en la educación frontal, no permite desarrollar objetivos de producción autónoma en el alumno ;en cambio una metodología dirigida a la resolución de problemas permite el logro de objetivos en directa relación con la actividad funcional del alumno.

Segundo nivel de análisis : Análisis de la coherencia pedagógica Este análisis es más global, se inicia con la revisión de los fines que determinan tanto los conocimientos y habilidades, como los valores que deben desarrollarse, defenderse o poner en práctica, descendiendo a través de los diferentes niveles y determinando en cada oportunidad si las alternativas propuestas permiten desarrollar en forma satisfactoria los conocimientos , habilidades, valores etc. que pretenden los planes y programas de estudio.

Ejemplo :Un programa de asignatura que pretende formar agentes de desarrollo de su país y no propone objetivos ,métodos ,técnicas, gestión de tiempo ,que favorezcan el trabajo en situaciones variadas ,reales o simuladas, que provean los instrumentos necesarios para permitir el análisis del entorno y el desarrollo de la autonomía progresiva del etudiante, entonces se puede concluir, que existe incoherencia pedagógica en el programa.

El evaluador debe ,por lo tanto, constatar la brecha existente entre las intenciones generosas y las prescripciones concretas.

Tercer nivel de análisis : Proyecto implícito Así como , en los dos primeros niveles de análisis, la evaluación hace referencia al proyecto declarado, en este nivel ,pone el énfasis en el proyecto implícito, tan importante como el declarado y que a menudo tiene más posibilidades de ser puesto en práctica.

El evaluador deberá recabar información de los niveles más concretos de las prescripciones y tratará de despejar el verdadero modelo pedagógico implícito y los fines implícitos que tendrán reales posibilidades de ponerse en práctica.

Al término del análisis el evaluador debe distinguir las diferencias entre los dos tipos de proyectos y tomar decisiones al respecto.

Cuarto nivel de análisis : Grado de adecuación entre el programa y las características iniciales de los alumnos.

El análisis que debemos realizar en este nivel consiste en examinar el grado de adecuación entre el programa y las características iniciales de los alumnos.Estas características están referidas a las características cognitivas, afectivas y de inserción en un contexto eterminado

Señalaremos ahora algunas consideraciones generales : *La evaluación a priori de planes y programas necesita de la participación de varios evaluadores, ya que a pesar de los criterios de evaluación prefijados, incluye una gran parte de subjetividad. Por lo tanto debemos presentar y someter a discusión los resultados de nuestras evaluaciones particulares a fin de contrastarlas antes de elaborar el informe definitivo.

*Los planes y programas pueden ser pedagógicamnte coherentes de acuerdo al análisis anterior, pero que no tenerr ninguna posibilidad real de implementación si el contexto de aplicación no es el adecuado, o no se cuenta con los medios necesarios para su realización.

*La evaluación a priori de contexto de planes y programas reposa en el análisis de recursos, directos e indirectos, y de las dificultades, solucionables y no solucionables. Está principalmente orientada por el criterio de "factibilidad".

*El análisis de recursos y de dificultades toma como elementos principales de estudio a la institución, la formación, perfeccionamiento y capacitación de los docentes, gestión de tiempo y disponibilidad, gestión de material.

RECOMENDACIONES

Para realizar una evaluación de contexto es necesario realizar un listado de recursos mínimos indispensables para la buena realización del programa. Debe contener : a) Los recursos directos disponibles, b) Los recursos indirectos, que de alguna manera , podrían reemplazar la ausencia de ciertos recursos directos, los medios para suplir las dificultades y las proposiciones de cambio para aquellas dificultades insalvables.

( Recordemos que el éxito de la instalación de un nuevo Programa , al igual que en una empresa, depende del análisis minucioso de las condiciones de implementación y de su factibilidad)

EVALUACION A POSTERIORI

La evaluación a posteriori de los planes y programas se funda esencialmente sobre el análisis de los efectos que ellos producen.Nos lleva a evaluar el proyecto realizado y a confrontarlo con el proyecto declarado y con el proyecto implícito.

La evaluación a posteriori implica , como la evaluación a priori ,diferentes niveles de análisis : -Análisis de los efectos en los alumnos -Análisis de la evaluación de los efectos en los docentes -Análisis de la evaluación de los efectos en los utilizadores Primer nivel :-Efectos en los alumnos En este nivel debemos considerar tanto los efectos directos como los indirectos y los sociales.

Dentro de los efectos directos debemos considerar el grado de dominio logrado por los alumnos en los objetivos prescriptos, distinguiendo claramente las diferentes categorías de objetivos y sus niveles de exigencia.

Tipos de objetivos según su importancia :
*Objetivos estrictamente necesarios
*Objetivos útiles
*Objetivos de ampliación

Según los niveles de dominio :
*Dominio absoluto de todos los criterios mínimos
*Dominio de un número mínimo de criterios mínimos
*Grado de dominio de los criterios de ampliación o profundización.

Debemos considerar tanto los objetivos estrictamente necesarios versus los objetivos útiles, como, los tres niveles de dominio Dentro de los efectos indirectos consideraremos los siguientes :
*Nivel de satisfacción de los alumnos
*Grado de interés por la asignatura
*Actitud frente a la carrera y su formación
*Concepto de sí mismo
*Objetivos no prescriptos

Es aconsejable recoger esta información durante el desarrollo del programa y una vez que los alumnos lo han finalizado, a fin de determinar los posibles cambios y evoluciones presentados.

Dentro de los efectos sociales se considera la información proveniente de las siguientes variables :
*Número de fracasos
*Número de repitencias
*Las elecciones hechas como producto del desarrollo del programa
*Los mecanismos de selección.

La obtención de esta información supone la utilización de una metodología stadística.

Segundo nivel : Análisis de los efectos en los docentes En este nivel deben considerarse grandes aspectos : El análisis de las representaciones de los docentes , el análisis y evaluación de la difusión de los planes y programas, la evaluación del nivel de formación de los docentes, evaluación de la disponibilidad y pertinencia de los materiales y evaluación de la satisfacción probada En el primer caso : Representaciones de los docentes, se toman en cuenta cuatro ejes ,como parámetros :

*Eje de lo ideal ( la importancia reconocida en las diferentes prescripciones)
*Eje de lo vivido ( la experiencia anterior)
*Eje de lo posible (percepción de lo posible)
*Eje del querer hacer (motivación para emprender las situaciones prescriptas)
En este nivel de análisis ,es conveniente recabar información de todos los docentes , incluso de aquellos que no pertenecen a la unidad académica y dictan los cursos básicos, a fin de obtener información acerca de los pre- requisitos y de los preadquiridos ( es importante tener presente esta diferencia) .

En el segundo caso : Evaluación de la difusión de los planes y programas., Teniendo en cuenta que si las redes de difusión son claras y evaluadas en forma contínua permiten mayores posibilidades de implementación, la evaluación debe centrarse en cuatro focos de interés :
*Verificación de las redes de difusión
*Conocimiento de los planes y programas de las carreras
*Lectura comprensiva de los programas
*Control y supervisión de la puesta en práctica de los programas.

En el tercer caso :Nivel de formación de los docentes, se hace necesario elaborar un inventario de información organizada de los docentes comprometidos con los planes y programas.. Evaluación académica de los docentes en base a documentos oficiales u otros. Observaciones en terreno y análisis de documentos o productos elaborados por los docentes. Opinión de los alumnos en relación al desempeño docente.

En el cuarto caso : Disponibilidad y pertinencia de los materiales, la evaluación se centra en la infraestructura disponible para la consecución de los planes y programas (laboratorios, equipos, textos,apuntes etc.).Debemos preguntarnos si son suficientes , si están diponibles,, si están actualizados, si son adecuados, y si son utilizados en forma pertinente.

En el quinto caso : Evaluación de la satisfacción probada, la evaluación se centra en la satisfacción probada por los docentes en la puesta en marcha de los planes y programas, para garantizar una información confiable con respecto a los métodos ,técnicas, materiales ,textos, estrategias prescriptas para la evaluación, gestión de tiempo y organización institucional.

Pueden utilizarse cuetionarios, escalas ,encuestas, etc, para recoger la información.

Tercer nivel : Efectos en los utilizadores.

En este nivel se considera a todas las personas que están comprometidas con los planes y pogramas. A los docentes del mismo nivel, es decir a aquellos que dictan los cursos o asignaturas del mismo año, A los docentes de los cursos superiores o siguientes, a los profesionales o egresados, a los popsibles empleadores.

Además de considerar los eventuales problemas y facilidades, debe verificarse la presencia y la calidad de la comuniocación vertical entre los docentes involucrados y determinar si los planes y programas vigentes tienen en cuenta las necesidades del mundo profesional, si los alumnos están bien preparados para enfrentarse al desafío que implica el vertiginoso avance científico y tecnológico, si existe o es posible contar con una colaboración entre empresas , industrias e instancia de formación.

Con respecto a los modelos a utilizar en este tipo de evaluación es necesario señalar que es posible distinguir dos tipologías diferentes de evaluación : la basada en el paradigma cuantitativo y la basada en el paradigma cualitativo. Si bien son muchos los modelos que podemos ubicar dentro de una u otra tipología. Repetiremos lo que ya hemos dicho muchas veces : La elección del modelo o los modelos , dependerá de la naturaleza del objeto de estudio y del tipo de información que se requiera para la evaluación.

EVALUACIÓN UNIVERSITARIA
Prof. Ana María Dorato
Mg. Evaluación Educacional
Univ. Nac. de La Plata
El presente trabajo aborda la problemática de la Evaluación Universitaria, respondiendo a la preocupación que ocupa un lugar central en la agenda Universitaria Argentina.

Frente a los procesos de integración regional se plantean dificultades muy concretas, referidas a títulos, equivalencias y habilitación profesional en distintas especialidades, haciendose necesaria la evaluación como medio de obtención de información válida y confiable para la toma de decisiones en todos los aspectos de la Institución Universitaria.

El trabajo presenta algunas consideraciones metodológicas en directa relación con la Evaluación Universitaria.

NOMBRE DEL AUTOR : Ana María Dorato
TITULO PROFESIONAL : Prof. Ciencias de la Educación ; Magister en Evaluación Educacional
INSTITUCION DE PERTENENCIA : Univ. Nac. de La Plata
FAX : ( 021) 232477
TEL : ( 021) 219332
AREA TEMÁTICA ELEGIDA : Evaluación y Acreditación Universitaria
TITULO DEL TRABAJO : Evaluación Universitaria

Buscar en esta seccion :