Pensamiento Humano‎ > ‎Educación‎ > ‎

LA EVALUACIÓN DE COMPETENCIAS


A partir de la necesidad de diversas IES de obtener retroalimentación sobre la formación que imparten, se propone el modelo de competencias para realizar un seguimiento de egresados

    Primeramente se analizan los factores determinantes de la formación de profesionistas y se revisa el concepto de evaluación para estructurar una definición de la evaluación de competencias, señalando sus ventajas sobre la evaluación tradicional. 

LA EVALUACIÓN DE COMPETENCIAS: UN MARCO METODOLÓGICO


.Mtra. María Elena Rivera Heredia

Universidad Simón Bolívar

Mtro.  Jose Alberto Bazaldua Zamarripa

Instituto de Estudios Superiores de Tamaulipas

Dr. Iván Matthew Rovira Gutiérrez

Instituto Universitario del Estado de México

L.A.E. Rafael Gerardo Conde Camacho

Universidad Realística de México

Mtro. Jaime Rodríguez Gómez

Universidad de Montemorelos

 

Resumen

A partir de la necesidad de diversas IES de obtener retroalimentación sobre la formación que imparten, se propone el modelo de competencias para realizar un seguimiento de egresados. Primeramente se analizan los factores determinantes de la formación de profesionistas y se revisa el concepto de evaluación para estructurar una definición de la evaluación de competencias, señalando sus ventajas sobre la evaluación tradicional.  Se enfatiza su fundamentación en dos tipos de evidencias, la directa y la indirecta, describiendo los pasos de una estrategia y diversos métodos para evaluar las competencias tales como la simulación, el análisis de expediente, la evidencia extraída de situaciones de trabajo y la entrevista evaluativa. Se describen las experiencias en México de la evaluación de competencias laborales por CONOCER y de competencias profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologías para la evaluación de competencias profesionales o laborales utilizados en diferentes países, y el empleo de una escala de calificación en la mayoría de los casos. Se concluye con un análisis comparativo de las ventajas y desventajas del autoreporte, la entrevista y la evaluación de evidencias como alternativas para dicha evaluación,  y  se propone el uso del autoreporte para evaluar competencias genéricas en el seguimiento de egresados.

 

 

INTRODUCCIÓN

El reto educativo en México es muy grande: proporcionar servicios educativos de calidad, con equidad y pertinencia (Programa Nacional de Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios múltiples procesos, uno de ellos, fundamental para la mejora continua es la evaluación. Heverly y Fitt (1994) señalan que las instituciones educativas que no están autoevaluando su efectividad serán evaluadas por agentes externos y que esto se hará en base a las competencias desarrolladas por sus egresados.

Ante esta demanda se considera necesario que las universidades realicen un seguimiento de sus egresados en base a un esquema de competencias para contar con una retroalimentación a sus programas actuales y como insumo para los programas a desarrollar. El uso del modelo de competencias para el seguimiento de egresados resulta válido aun cuando los planes de estudio no lo tomen como base, ya que cualquier perfil de egreso incluye los principales elementos que conforman las competencias: conocimientos, habilidades y actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisión de las experiencias nacionales e internacionales en evaluación de competencias para proponer un esquema general de evaluación que sirva de base para que cada universidad interesada en este objetivo lo ajuste a sus propias necesidades.

Antes de considerar algunos fundamentos teóricos en la evaluación de competencias, es necesario tener en mente que el proceso de formación de los egresados está influido por diversos factores contextuales, los cuales se pueden observar en la figura 1.

 

Figura 1. Contexto para realizar la formación de los egresados.


.                  Nota. Desarrollado por Rivera Heredia para el presente documento

 

Desde una perspectiva sistémica, las competencias educativas, profesionales y laborales de los egresados de las distintas instituciones de educación superior van transformándose al paso del tiempo, por lo que éstas pueden ser diferentes en sus egresados de distintas generaciones. Son los planes y programas de estudio el medio a través del cual se van desarrollando los perfiles de conocimientos, habilidades y actitudes que, en su conjunto, constituyen las competencias. Para la construcción de dichos planes y programas de estudio, en su primer contexto se contempla el “Deber Ser” de la Educación, su interrelación con el “Plan Nacional de Desarrollo” y con las necesidades y requerimientos del “Sector Laboral” y con la filosofía y misión de cada institución de Educación Superior aplicados en su “Modelo Educativo”.

Con respecto a las necesidades del sector laboral es importante considerar las diferentes  expectativas que puedan tener las empresas pequeñas y micros de las medianas y grandes y el posicionamiento que puedan tener en ellas los egresados de la propia universidad en relación con los de otras universidades.

 

CONCEPTO DE EVALUACIÓN DE COMPETENCIAS

Conviene aclarar que medición y evaluación no se refieren a lo mismo. Brown (2000) comenta que la medición únicamente responde a la pregunta: ¿cuánto?, proporcionando una descripción de la ejecución de una persona sin brindar información sobre el valor de dicha ejecución. Sin embargo, cuando la medición es interpretada, se le atribuye un cierto valor.  En este punto se llega  más allá de la descripción. Es así como al evaluar se intenta responder a la pregunta: ¿hasta qué punto es bueno? .

La evaluación no es  algo que se hace una vez y se acaba para siempre.  En muchos casos, es un proceso progresivo, incluso un proceso cotidiano, para el conocimiento de la situación actual, la toma de decisiones o para la solución de un problema (Trull y Phares, 2003).

 

Para los autores del presente trabajo, la evaluación de competencias es un proceso de recolección de evidencias explícitas sobre el desempeño profesional, laboral o educativo, con el propósito de formarse un juicio a partir de un criterio o referente estandarizado para identificar aquellas áreas de desempeño que han sido desarrolladas y aquellas que requieren ser fortalecidas.

 

Algunas diferencias con respecto a la evaluación tradicional de acuerdo con Vargas (2001) son:

  • Su base en el juicio “competente” o “aún no competente”.
  • Su sustento en evidencias del desempeño real, no en preguntas sobre lo que se sabe.
  • Su consideración como un proceso más que un momento.

 

El propósito de la evaluación consiste en realizar juicios acerca del desempeño individual (Whitear, 1997, p. 177). El conocimiento es sólo un aspecto del desempeño ya que el desempeño competente requiere la habilidad de aplicar el conocimiento de manera adecuada. Para evaluar una competencia es necesario evaluar lo que se sabe, lo que se hace y cómo se hace. “Para desempeñar tareas confiables, se debe entender el conocimiento que soporta sus acciones, y sus acciones deben ser apropiadas para el establecimiento en el cual se aplican” (p.178), de ahí que un sistema de evaluación deberá hacer juicios confiables sobre si los individuos cumplen con las normas de desempeño en el rango requerido de contextos o situaciones.

La evaluación de competencias toma en cuenta criterios de desempeño, por lo que no se compara al sujeto con otros, sino en función a si es competente o todavía no es competente para determinada tarea o función.

 

En Australia, al igual que en otros países de habla inglesa, se han desarrollado estándares de evaluación basados en competencias, los cuales inicialmente se pensaban que eran útiles únicamente para las ocupaciones de nivel medio, sin embargo, Gonczi (1994) señala que éstos se pueden utilizar tanto en ocupaciones como en profesiones, llegando a ser evaluaciones mas válidas que las de aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de competencias:

  • Permite incorporar un rango mayor de atributos en la descripción de las competencias de muchas profesiones
  • Se describe públicamente lo que deben hacer los profesionistas competentes y lo que se puede esperar de ellos
  • Proporciona metas mas claras para quienes imparten la educación profesional
  • Clarifica a los aprendices lo que se espera que logren
  • Da bases para elaborar procedimientos mas sólidos de evaluación de las habilidades profesionales.

 

Para evaluar competencias se debe tener muy claro para qué se va a evaluar, qué se va a evaluar y cómo se hará.

 

TIPOS DE EVIDENCIA

La evaluación exitosa depende de la evidencia presentada, la cual podría provenir de su experiencia anterior, de su desempeño actual, o de un cuestionario. Los criterios para evaluar la calidad de la evidencia son: validez, autenticidad, confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la presentación (Whitear, 1997).

Existen dos formas de evidencia a recolectar: evidencia directa (constituida por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia e información de apoyo respecto del candidato). La evidencia puede ser recopilada en un ambiente real o en una situación de formación, capacitación o simulación. Los productos de evidencia pueden ser videos, grabaciones, ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000).

 

Tabla 1. Tipos de evidencias para evaluar competencias

 

ESTRATEGIAS PARA LA EVALUACIÓN DE COMPETENCIAS

No existe un método exclusivo para evaluar las competencias, señalan Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia de medición que incluye múltiples métodos para asegurar que las personas hayan adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se requieren para demostrar competencias.

Cuando se pone énfasis en la ejecución, Gonczi (1994) recomienda  tres principios para la evaluación de competencias:

  • Los métodos de evaluación deben ser usados en una forma integrada, es decir, que combinen la evaluación de conocimiento, comprensión, solución de problemas, habilidades técnicas, actitudes y ética, aunque se reconoce que en algunos casos los conocimientos se pueden evaluar independientemente de la ejecución.
  • Se deben elegir los métodos que sean mas directos y relevantes para lo que está siendo evaluado.
  • Mientras más amplia es la evidencia de la que se infiere la competencia, mas se podrá generalizar la ejecución a otras tareas.

 

Como estrategia para evaluar las competencias de una profesión plantea los siguientes pasos:

  1. Definir y agrupar los componentes de cada competencia y los criterios de ejecución, por ejemplo (ver tabla 2), la competencia para recopilar, analizar y evaluar información que requiere desarrollar un abogado.

Tabla 2. Ejemplo de definición, componente y criterio de una competencia para un abogado


  1. Analizar los métodos de evaluación disponibles para determinar cuales pueden realizar una evaluación mas integrada y directa
  2. Valorar los métodos de acuerdo a aspectos prácticos como tiempo y costo
  3. Establecer una tabla de especificación con los métodos seleccionados y las competencias que cada uno de ellos evaluará para asegurar que todos los elementos de todas las competencias estén cubiertos por lo menos por una actividad.
  4. Decidir cómo se va a juzgar a los candidatos, ya sea en forma cuantitativa (calificaciones) o por cumplimiento de estándares o criterios cualitativos, lo cual implica un juicio profesional, basado en la experiencia, por parte de los asesores

 

El autor señala que para evaluar utilizando este esquema se requiere entrenar a los evaluadores además de que se les proporcione manuales y procedimientos de evaluación. También implica una mayor necesidad de asegurar la confiabilidad entre evaluadores que en una evaluación centrada solo en la tarea.

 

De los diversos métodos existentes para evaluar competencias, Gonczi (1994), al estudiar los sistemas de evaluación de competencias de los egresados en Australia, habla en particular de dos métodos que permiten la evaluación directa e integrada.

  • La simulación, en la cual un actor entrenado se presenta como cliente mientras se está videograbando la interacción. Implica preparar diversos escenarios o situaciones que plantean problemas distintos pero con la misma estructura: una necesidad inmediata, asuntos a largo plazo, información no revelada a menos que se pregunte, agendas ocultas del cliente, problemas que requieren soluciones fuera de la profesión, aspectos culturales que requieren un manejo con mucho tacto, aspectos éticos y arreglo de costo.
  • El archivo o expediente sobre un problema es una tarea que se lleva el egresado a su casa, que implica un análisis y presentación del caso basado en conocimiento de reglas y procedimientos y en la preparación de documentos, además de una investigación sobre lo que se sabe y lo que se ha hecho en casos similares.

 

También menciona otros métodos útiles tales como: relatar la forma en que abordó los casos, un examen de conocimientos (opción múltiple) de tres horas, la interpretación de datos de medición, un estudio de casos en computadora, una entrevista de diagnóstico y otra de manejo, tres evaluaciones diferentes en un caso, entre otros.

 

Otra estrategia para la evaluación de competencias es la de Colardyn (2002) quien enlista las siguientes acciones:

  • Preexistencia de estándares laborales y de aprendizaje o especificaciones
  • Especificación de un contexto en el que se va a recopilar la evidencia del desempeño. Implica definir cómo evaluar, con que herramienta y con qué procedimiento.
  • Recopilación de la evidencia. Las evidencias a recolectar deben ser definidas antes de la práctica de la evaluación. Menciona cinco tipos:
  1. Examen: el evaluado contesta preguntas, ya sea orales o escritas, cerradas o abiertas,  relacionadas con su conocimiento y comprensión del campo de estudio.
  2. Declaración y entrevista evaluativa: el candidato describe lo que hace o ha hecho, en forma oral y escrita, fundamentando que lo que ha hecho implica un dominio del aspecto evaluado. Los evaluadores formulan preguntas acerca del contexto laboral, de las actividades que desempeña, de los resultados obtenidos y de la transferencia de competencias a otros contextos.
  3. Observación: se registra el desempeño del candidato en un escenario real, en una experiencia del pasado o en una situación simulada. Requiere una estructura metodológica bien definida y una alta capacitación a los evaluadores para que recopilen información relevante y sus registros sean confiables. En esta técnica los evaluadores solo observan sin hacer preguntas y califican el desempeño en base a indicadores predefinidos.
  4. Simulaciones: el evaluado se desempeña en una situación muy parecida al contexto real de trabajo. Su dificultad radica en realizar un análisis laboral adecuado para asegurar que la situación es adecuada para obtener información válida y confiable.
  5. Evidencia extraída de situaciones laborales: el evaluador observa lo que hizo el evaluado y éste puede explicar sus acciones y decisiones y describir los resultados que obtuvo.

 

Otra técnica válida y confiable en la evaluación de competencias es la descrita por McClelland (1994), entendida como la entrevista de eventos conductuales. En esta entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Se establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Se definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con que se observaron en la entrevista.

 

Por su parte, Benítez (2006) describe dos de las metodologías mas aplicadas para evaluar las competencias.

a)    Las tablas descriptivas: consisten en párrafos que describen las conductas observables en cada nivel de dominio de la competencia en orden ascendente. Para cada competencia se determina, según el puesto, en qué nivel se debe poseer la competencia y se compara con el nivel en que se ubica al empleado que ocupa dicho puesto.

b)    Los Indicadores de dominio: consisten en frases cortas que describen conductas observables y que, en conjunto, permiten evaluar el dominio de la competencia determinando qué nivel tiene la persona en cada uno de todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o supera las exigencias del puesto), B (satisface las exigencias mínimas) ó  C (requiere entrenamiento formativo para alcanzar el desempeño requerido). A partir del nivel de cada uno de todos los indicadores de la competencia se asigna una puntuación. Esta se compara con lo esperado y se clasifica la brecha como pequeña, moderada, considerable o critica. La brecha aceptable es menor en competencias importantes para el puesto que en las competencias complementarias.

La evaluación de las competencias con base en las Normas Técnicas de Competencia Laboral (NTCL), de acuerdo con Samperio (2002)  incluye las siguientes etapas:

  • Determinar las técnicas e instrumentos para evaluar la competencia laboral de candidatos
  • Determinar los planes de evaluación de la competencia laboral en una función específica
  • Integrar portafolios de evidencias de los candidatos a certificar sus competencias laborales.
  • Emitir juicios de competencia de candidatos para certificación
  • Orientar a los candidatos en relación con el resultado de la evaluación de su competencia laboral.

 

LA EVALUACIÓN DE COMPETENCIAS EN MÉXICO

A partir de la globalización de los mercados y de la acelerada innovación tecnológica, se presentan para México nuevos requerimientos hacia la fuerza laboral en materia de capacitación y educación.

Medel y Flores (2002) relatan que, como respuesta a esta demanda,  la Ley General de Educación, en su artículo 64 publicado en 1993, establece que se podrán crear procedimientos para otorgar certificados o títulos a personas que acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos ya sea por experiencia laboral o por medios autodidactas.

 

Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por medios no formales, surge el Consejo de Normalización y Certificación de Competencia Laboral conocido por sus siglas como CONOCER, el cual fue establecido en agosto de 1995 como organización tripartita, no lucrativa, de carácter nacional, integrada por seis representantes del sector empresarial, seis del sector social y los titulares de seis secretarías de estado. Su función consiste planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificación de Competencia laboral mediante el desarrollo y establecimiento de metodologías y procedimientos para la elaboración de Normas Técnicas de Competencia Laboral, a través de los comités de Normalización así como la definición de los criterios para el establecimiento y operación de organismos certificadores e instancias de evaluación. 

 

Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser y el saber hacer.  Existen tres tipos de competencias laborales: las básicas, las genéricas y las específicas.  El trabajo de normalización se está llevando a cabo mediante la aplicación de una metodología llamada análisis funcional.  Para iniciar el proceso de normalización se usa como herramienta de trabajo el mapa funcional   La estrategia de CONOCER consisten en la definición de 12 áreas de trabajo que abarcan todo el sector laboral.  El objetivo final es contar con las Normas Técnicas de Competencia Laboral para cada sector y después definir el mecanismo para aplicarlas (CONOCER Y SAGAR, 1999).

Debido a que el proceso de establecimiento de una norma a nivel nacional es prolongado, en la experiencia Chilena (SENCE, 2003) señalan que tener un referencial de competencias no implica necesariamente contar con un marco nacional de competencias, se trata de contar con un modo de evaluar las competencias de los programas. Inicialmente es posible desarrollar una norma provisoria que certifique estas competencias. Luego, esa norma provisoria puede convertirse en un referencial de competencia. Esto es especialmente útil en materia de capacitación, en donde se hacen normas provisorias de competencias para responder a las demandas que en el tiempo son más urgentes, quizás una descripción de funciones sería lo más cercano,  aunque hacer una norma provisoria es mejor.

 

EXPERIENCIA EN MÉXICO DE EVALUACIÓN DE COMPETENCIAS A EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA LICENCIATURA EN PSICOLOGÍA DE CENEVAL

 

Entre las experiencias que existen en México para la evaluación de competencias profesionales en los egresados de licenciatura se encuentra el EGEL-PSICOLOGÍA (Examen General para el Egreso de la licenciatura en Psicología) el cual es un instrumento de evaluación especializado, cuyo objetivo es identificar la medida en la que se tienen los conocimientos, las habilidades y los valores que debe mostrar un recién egresado de sus estudios de licenciatura para iniciar su vida profesional. Tiene como finalidad el ser un instrumento útil, valido y confiable para valorar las competencias necesarias para iniciar una práctica psicológica de buena calidad en todas las regiones geográficas de México. Se construyó tomando en cuenta el perfil referencial de validez establecido por los cuerpos interinstitucionales, multirregionales y multisectoriales de académicos del país.  También pretende ser un instrumento complementario al currículo que retroalimente y facilite la inserción laboral adecuada. El EGEL puede ser un instrumento indicativo previo a la presentación del examen profesional, o un instrumento complementario a otros indicadores de las IES a lo largo de la trayectoria académica del estudiante. 

En la tabla 3 se observan los tres niveles de actividad intelectual considerados por el CENEVAL para la evaluación de competencias.

 

Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas en la formación profesional


Las estrategias que se siguieron para la construcción del examen fueron:

1)    Diseño del objeto a evaluar a partir de la definición de categorías de análisis derivadas de la información recabada y del debate de expertos. Posteriormente se identificaron los criterios a partir de los cuales se seleccionarían los cuales fueron: escencialidad, generalidad, especificidad, diversidad, relevancia y calidad.

2)    Elaboración del perfil referencial de validez, que fue acordado colectivamente por las instituciones participantes, y establecido por los cuerpos colegiados interinsitucionales, intersectoriales y multirregionales tanto de las IES públicas como de las privadas.  Se identificó el deber ser establecido en los planes y programas de estudio vigentes, así como lo recomendado por especialistas. Se consideraron datos de investigaciones y estudios realizados por agencias internas y externas sobre la realidad de la enseñanza de la profesión, el quehacer profesional demandado, la opinión de los egresados y la satisfacción de necesidades que el profesionistas debe cubrir a la luz de las demandas actuales y las emergentes previstas en un lapso de 5 años.

3)    Definición de la naturaleza y estructura del examen.

4)    Delimitación de los contenidos.

5)    Estrategias para la elaboración, piloteo y calibración de reactivos; diseño de la guía y del examen.

 

De igual manera, a partir del 2000, se delega al CENEVAL la función de acreditar conocimientos de niveles educativos y grados académicos adquiridos por medios no formales, con base en el Acuerdo 286 de la Secretaría de Educación Pública,. Quien desea acreditar su experiencia profesional para obtener un título de licenciatura debe pasar por las siguientes etapas de evaluación:

  • Presentar el EGEL (Examen General de Egreso de Licenciatura) correspondiente a la carrera
  • Responder sobre su experiencia profesional en una entrevista con un sinodal
  • Elaborar una tesina sobre sus conocimientos teóricos y prácticos
  • Defender la tesina en réplica oral ante sinodales.
  • Presentar un examen práctico (en algunos casos)

 

Aclaran Medel y Flores (2002, p. 258) que “solamente personas con una probada capacidad para instrumentar conocimientos complejos en decisiones concretas y verificables, se encuentran en condiciones de aprobar las evaluaciones descritas”.

 

OTRAS EXPERIENCIAS EN EVALUACIÓN DE COMPETENCIAS

A lo largo del mundo se han tenido otras experiencias en evaluación de competencias profesionales, principalmente con estudiantes que están terminando el estudio de su carrera. McClelland (1994) describe la entrevista de eventos conductuales como un método válido y confiable para evaluar competencias. En esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo, pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Para el análisis de las competencias, los evaluadores establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Además, definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con la que éstas se observaron en la entrevista.

 

Heverly y Fitt (1994) evalúan las competencias de investigación con una autocalificación del estudiante en una escala del 1 al 5. Por su parte, Harrington (1995) describe tres formatos para la evaluación de habilidades en base a un autoreporte:

·         Una lista de habilidades con sus definiciones en las que el evaluado indica en cuáles se siente mas fuerte

·         Una escala de Likert en la que el evaluado se compara con su grupo de edad para indicar en qué nivel está en cada habilidad: excelente, arriba del promedio, promedio, abajo del promedio o deficiente

·         Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de cada habilidad.

 

También Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para cada competencia (algunas tomadas de otros instrumentos) para una autoevaluación, fundamentando la validez de este método en que se ha encontrado correspondencia con la evaluación de calificadores independientes (aunque en la autoevaluación se califiquen un poco mejor). Para minimizar la deseabilidad social, en este cuestionario se pidió a los egresados que evaluaran en qué grado había contribuido su institución educativa para que desarrollaran las diferentes competencias evaluada. Se usó una escala de 5 puntos: pobre desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen desarrollo.

 

Otros parámetros de evaluación son los propuestos por Martha Alles (2002) quien proporciona 160 competencias laborales que pueden ser evaluadas en uno de cuatro niveles:

1) Alto

2) Bueno, por encima del promedio

3) Mínimo necesario para el puesto (de acuerdo al perfil requerido). No implica una subvalorización de la competencia 

4) Insatisfactorio

Considera que cada empresa debe elaborar su propio diccionario de competencias y definir sus propios niveles de evaluación, ya que algunas empresas establecen el nivel cuatro como el mínimo satisfactorio. De su diccionario se reproducen en la tabla 4 los niveles para una de sus competencias.

 

Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analítica


En otra publicación, la misma autora describe el uso de la entrevista para ubicar a los candidatos en los niveles de evaluación de cada competencia. Para mostrar un ejemplo se reproducen en la tabla 5 las preguntas para evaluar la competencia  analítica mencionada anteriormente.

 

Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analítica

Dados los grandes avances tecnológicos, existe un nuevo grupo de cuatro competencias básicas que permiten clasificar a las personas como alfabetos o analfabetas tecnológicos.(Graham, 2003, citada en Gaide, 2004), las cuales son:

  • Creación de documentos electrónicos (procesador de palabras  y publicaciones electrónicas)
  • Organización de datos (administración de hojas de datos y bases de datos, elaboración de tablas y gráficas)
  • Presentación para comunicar ideas y pensamientos
  • Comunicación electrónica (correo electrónico, mensajería instantánea y navegación en Internet)

Ubica cada competencia en dos niveles: 1, que corresponde a habilidades básicas y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades deben considerar estas competencias como centrales y que deben evaluar no solo lo que enseñan sino también lo que aprenden los alumnos. Considera que las universidades deben proponerse que por lo menos el 80% de sus alumnos manejen estas habilidades en el nivel 2.

 

En el estudio de la OCDE  conocido como PISA (Kjaernsli y Lie, 2004), se evaluaron las competencias en estudiantes de secundaria presentando textos reales, como artículos de periódicos o revistas, y formulando preguntas de opción múltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del texto se pedía a los estudiantes que dieran una explicación para diversas situaciones del texto (para evaluar el proceso intelectual de valorar críticamente datos científicos, el conocimiento de hechos y la comprensión conceptual).

 

Por su parte, Kersh  y Evans (2005) describen un proceso de autoevaluación de habilidades y competencias que fue utilizado para evaluar el aprendizaje de adultos y promover el aprendizaje posterior, no para certificar ni acreditar competencias

 

Benítez (2006) diferencia la perspectiva gerencial de la curricular sobre las competencias. Desde el punto de vista curricular o educativo competencia es la “aptitud para desempeñar idóneamente un oficio u ocupación” (p.1) y el concepto se utiliza para certificar la competencia. Por lo tanto, la competencia se considera una variable discreta y binaria que solo puede tener dos valores: competente o no competente. Para proporcionar el juicio anterior se puede utilizar una variable continua que ubica el 100 como la competencia requerida pero proporciona cierto margen de error de modo que establece un punto de corte indicando que de 92 puntos en adelante la persona se considera competente.

Desde el punto de vista gerencial, el desempeño adecuado de cada puesto requiere la aplicación de cierto número de competencias, entendiendo éstas como “características personales subyacentes que soportan el desempeño superior” (p. 2).  Aunque dos o más puestos compartan como requisito una misma competencia, no necesariamente en cada puesto se requiere un nivel de dominio del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de dominio que varían desde básico hasta intermedio, avanzado y maestría. Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los niveles de “por debajo de”, “a nivel de” o “por encima de las exigencias del cargo”.

 

 

CONCLUSIONES

Aunque la evaluación de competencias se basa en el principio de la evidencia del desempeño, para el seguimiento de egresados con base en este enfoque se propone el uso de un instrumento de auto-reporte en el cual los egresados evalúen, de acuerdo a su percepción, el grado en el cual su institución educativa les proporcionó las competencias evaluadas.

Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y adaptarlas al esquema de autoreporte en donde éstas sean calificadas con una escala tipo Likert, con el énfasis en la instrucción, de evaluar el grado en el cual su institución educativa promovió el desarrollo de cada competencia, tal como fue indicado por Warn y Tranter (2001)

 

Tabla 6. Propuesta


Para que ésta evaluación pueda ser común a todos los planes y programas de estudio se recomienda considerar solo las competencias profesionales genéricas, es decir, las comunes a todas las profesiones como trabajo en equipo, análisis, integración, organización, etc., (en particular, a las indicadas en la filosofía institucional y en el perfil de egreso de cada universidad) sin entrar a las específicas de cada profesión (ya éstas están siendo evaluadas por otras instancias como el CENEVAL).

Para la evaluación de competencias genéricas se puede elaborar un instrumento que contenga un máximo de veinte competencias de modo que se pueda responder en poco tiempo y que se pueda ajustar a un formato electrónico para ser contestada en el portal de la universidad.

 

Los esquemas alternativos de entrevistas y evaluación de evidencias resultan más difíciles de elaborar, implican entrenamiento a los evaluadores, son más costosos y los beneficios no compensan todos estos costos. (Ver tabla 7)

Entre las ventajas del esquema de autoreporte están su viabilidad, sencillez,  rapidez y menor costo económico.

:

Además, autores como Hollon y Bemis (1981) indican que la precisión de los autoreportes (entendida como el grado en que lo que se reporta concuerda con lo que realmente ha ocurrido)  puede ser alta y confiable, sobre todo cuando se está enfocando la atención en evaluar a la institución educativa ( y no a sí mismo).

 

Tabla 7. Comparación de ventajas y desventajas de las alternativas de evaluación de competencias


Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable para aplicar con egresados que ya tengan tiempo de haber terminado sus estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y alto de elaboración (entrevista y evidencias) para cuando la universidad pueda disponer de los recursos y facilidad de contacto con los egresados.

 

Para completar esta propuesta, se plantean una serie de preguntas que deberán ser contestadas por cada IES: ¿cuál es el nivel de cercanía al que se puede tener acceso en torno a sus egresados?, ¿en qué momentos puede evaluar sus  competencias?, ¿cuándo están próximos a salir?, ¿un año después?, ¿cinco, diez o más años?, ¿de qué manera se puede evaluar a los egresados?, ¿cuáles serían los beneficios de realizar una investigación sobre los egresados basados en un modelo de competencias?, ¿qué limitaciones tendría este tipo de abordaje? ¿cuál sería su unidad de estudio: un egresado, una empresa en particular o ambos?, ¿podrán ser las instituciones certificadoras de los distintos campos o áreas profesionales las que proporcionen información sobre sus egresados?, ¿de que manera es posible retroalimentar la formación en cada institución educativa?.

 

Las respuestas a estos cuestionamientos abren una serie de posibilidades respecto a la postura de cada institución en torno a la formación de sus estudiantes y del grado de cercanía en el seguimiento de egresados. Incorporar el modelo de educación por competencias profesionales o evaluar el desarrollo de las mismas durante su formación profesional o años después del egreso, es una decisión particular y respetable de cada Institución Educativa, sin embargo, en éste momento, es el modelo con el que se construyen los nuevos planes y programas de educación básica en México (de preescolar a secundaria) y es el modelo de selección de personal de las empresas trasnacionales y de varios países desarrollados (Inglaterra, Francia, Canadá, Australia, Estados Unidos).

Incorporar este esquema permitiría compartir el lenguaje común cada vez mas globalizado de formar y evaluar por competencias (demostrando, con acciones,  que se tienen las habilidades, actitudes, conocimientos y valores para realizar determinada tarea), que se está formando en competencias profesionales y laborales, pero sobre todo en competencias para la vida: para saber, saber ser, saber hacer y saber convivir.

 

Referencias

Alles, M. (2002). Gestión por competencias: El diccionario. Buenos Aires: Granica.

Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires: Granica.

Benitez, J.(2006). Medición, evaluación y diagnóstico de competencias. Accesado el 21 de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay. htmI

Brown, F.G. (2000). Principios de la medición en Psicología y educación. Primera edición 9ª. Reimpresión. México:  Manual Moderno, 1976.

Centro Nacional de Evaluación para la Educación Superior, A.C. (1999). Guía del Examen General para el egreso de la licenciatura en Psicología, México:  CENEVAL  

Colardyn, D. (2002). La evaluación basada en competencias. Documento conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/ secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC

CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria. México: Nacional Financiera, SNC, Fiduciaria del fideicomiso de los Sistemas Normalizado de Competencia laboral y de Certificación de competencia laboral.

Fletcher, S. (2000). Diseño de Capacitación basada en Competencias laborales. México; Panorama.

Gaide, S. (2004). Are technical skills “core competencies”? How do we measure them?. Distance education Report, november 15.

Gonczi, A. (1994). Competency based assessment in the professions in Australia. Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-41

Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC: ERIC Clearinghouse on Counseling and Student Services [ED 389960]

Herverly, M y Fitt, D. X. (1994) Classroom assessment of student competencies. Assessment and Evaluation on higher education, 19(3). pp.215-224.

Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical handbook.(2nd Edition). New York: Pergamon Press.

Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of adult learning. European Education, 37(2), pp. 87-98.

Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differences between the Nordic countries. Scandinavian Journal of Educational Research, 48(4), pp. 271-286.

McClelland, D. (1998). Identifying competencies with behavioral-event interview. Psychological science, 9(5), pp. 331-339

Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en la acreditación de competencias profesionales. Memorias del Quinto Foro de Evaluación Educativa.

Norman, I. J.,  Watson, R.  Murrells, T, Calman, L.  & Redfern, S. (2002).  The validity and reliability of methods to assess the competence to practise of pre-registration nursing and midwifery students.  International Journal of Nursing Studies, 39(2), 133-145.

Samperio, L. M. (2002). Reflexiones sobre la evaluación de las competencias laborales. Memorias del Quinto Foro de Evaluación Educativa

SENCE (2003). Enfoque de Capacitación por competencias, Innovación y Desarrollo.  Subdepartamento de Estudios.  Apuntes Técnicos. Recuperado el 2 de enero de 2006 de  http://www.sence.cl/CAPACITxCOMPETENCIA/ ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf

SEP (2001).  Programa Nacional de Educación 2001-2006. D. F. México:  Secretaria de Educación Pública.

Trull, T. T. y Phares, E. J. (2003). Psicología clínica.  Conceptos, métodos y aspectos prácticos de la profesión. 5ª. Edición. México:  Thompson.

Vargas, F. (2001). La evaluación basada en competencias. Una breve guía ilustrada con un caso de aplicación práctica. Documento CINTERFOR

Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competency approach. Quality in Higher Education, 7(3). pp. 191-

Whitear, G. (1997).  Para entender la evaluación.  Competencia laboral.  Normalización, certificación, educación y capacitación. Antología de lecturas, tomo 1.  México: Conocer y Alambra Mexicana. 

 

Comments