MLS EDUCATIONAL RESEARCHwww.mlsjournals.com/ISSN: 2603-5820 |
|
Educational Research Journal 2018, Vol 1 n. 1;
Cómo citar este atículo:
Rivera Vélez, R. C. (2018). Estudio sobre la percepción de los estudiantes de Bachillerato en Enfermería al utilizar la evaluación clínica objetiva estructurada (ECOE) en simulación clínica en cursos de enfermería en Puerto Rico. Educational Research, 1 (1), _-_. Doi:____
Resumen. El estudio que se presenta estuvo dirigido a la exploración de la percepción de estudiantes de Bachillerato en Enfermería sobre la utilización de la Evaluación Clínica Objetiva Estructurada (ECOE / OSCE) en cursos de enfermería en una universidad en Puerto Rico. La ECOE, es una metodología educativa internacionalmente reconocida por su validez y fiabilidad para evaluar las competencias clínicas en los profesionales de ciencias de la salud de manera formativa y (o) sumativa. El paradigma de la investigación es cuantitativo no experimental descriptivo transversal. Los datos fueron recopilados, mediante la aplicación de un cuestionario semiestructurado con preguntas abiertas y cerradas utilizando la escala Likert. Para el análisis estadístico se utilizaron medidas de tendencia central y dispersión, frecuencias, porcentajes y el coeficiente de correlación de Pearson. Preguntas abiertas relacionadas con fortalezas, debilidades y recomendaciones relacionadas a la ECOE mencionadas por los estudiantes, fueron examinadas mediante el análisis de contenido. Los resultados de la distribución porcentual y absoluta de los estudiantes por ítems del cuestionario utilizado para este estudio, revelaron que los participantes percibían la ECOE como una herramienta de ayuda en la evaluación de destrezas clínicas en enfermería. Los resultados comprobaron, además, la efectividad de la ECOE para medir el logro de las competencias profesionales en cursos de enfermería. Mediante las propias expresiones de los estudiantes en cuanto a las fortalezas y debilidades de la ECOE, pudieron identificarse áreas a mejorar al utilizar la misma en cursos de enfermería.
Palabras claves: Percepción, ECOE, competencias, estudiantes de Enfermería, simulación
Abstract. This study aims to explore a representative sample of undergraduate nursing students’ perception on the use of the Objective Structured Clinical Evaluation (OSCE / ECOE) in nursing courses in a university of Puerto Rico. The OSCE is an educational methodology internationally recognized for its validity and reliability when evaluating clinical competencies in professionals within the field of health sciences in a formative and (or) summative manner (Harden, 2016; Abdulghani, Ponnamperuma & Amin, 2015). This study follows a quantitative, nonexperimental, descriptive, transversal design. Information was gathered using a semi-structured questionnaire with open-ended questions and closed-ended items using a Likert scale. Central tendency, dispersion, frequency, percentages and Pearson’s correlation coefficient were used for statistical analysis. Open-ended questions related to strengths, limitations and recommendations on the OSCE mentioned by students were examined using content analysis. The percentage and absolute distribution of students per item for the questionnaire used in this study revealed that participants perceived the OSCE as a helpful tool in the evaluation of nursing skills. Moreover, the results proved the effectiveness of OSCE for measuring the achievement of professional competencies in nursing courses when considering the students’ input. Using the students’ views regarding the strengths and limitations of the OSCE, room for improvement was identified upon using it in nursing courses.
Keywords: Perception, OSCE, competence, nursing students, simulation
Justificación y Problema
Estudios realizados han demostrado que los profesionales de enfermería recién graduados han carecido de las destrezas clínicas requeridas para el ofrecimiento de un cuidado de calidad a sus pacientes (Hengstherger-Sims et al., 2008). Los educadores en enfermería tienen la responsabilidad de garantizar el logro de las competencias necesarias en sus estudiantes de enfermería. (Stoll, 2015; Jeffries, 2012). Según el estándar 4.7 establecido por la Comisión para la Acreditación de Educación en Enfermería (ACEN), en el año 2015, las metodologías de evaluación deben ser variadas, reflejar las competencias establecidas para la práctica profesional y medir el logro de los resultados de aprendizaje de los estudiantes de enfermería.
Con los desafíos de proporcionar experiencias clínicas de alta calidad, la educación de enfermería se encuentra en la encrucijada de la tradición y la innovación. Los métodos tradicionales de evaluación tienen un enfoque distinto a los exámenes integradores de las competencias clínicas. Es necesario diversificar el currículo integrando metodologías evaluativas con diferentes enfoques y evidenciar validez y fiabilidad al estimar las destrezas clínicas. La ECOE es una alternativa para lograrlo (Khattab & Rawlings, 2008) y puede proporcionar mayor evidencia del logro de los resultados del aprendizaje y de las competencias profesionales.
Según Oranye, et al. (2014), la ECOE debe ser integrada en el diseño de programas de enfermería y en la evaluación del nivel de competencia de los profesionales de enfermería. El integrar la ECOE en programas de enfermería puede ayudar a preparar a los estudiantes para realizar exitosamente las evaluaciones requeridas para su contratación en diferentes partes del mundo (Merrifield, 2016). Si la ECOE puede ser un factor determinante o que promueva el éxito de un estudiante en su programa de estudio, tiene que haber pruebas válidas o evidencia investigativa relacionadas a la utilización de la ECOE.
Mediante este estudio se espera conocer la opinión de estudiantes de bachillerato de enfermería sobre la incorporación y utilización de la ECOE al finalizar cursos de enfermería en una universidad en Puerto Rico. Se espera, además, estudiar el logro de las competencias alcanzadas por los participantes mediante este método evaluativo. Los hallazgos obtenidos mediante esta investigación pueden ayudar en la integración de la ECOE en programas de enfermería en Puerto Rico. Puede representar, además, una oportunidad de compartir conocimientos sobre mejores prácticas en la utilización de esta modalidad evaluativa en el entorno de simulación clínica desde de la perspectiva de los estudiantes.
Objetivo general
Conocer la percepción de estudiantes de bachillerato en enfermería sobre la evaluación clínica objetiva estructurada (ECOE) en simulación clínica en cursos de enfermería en una universidad en Puerto Rico.
Hipótesis
H1 Los estudiantes perciben la ECOE como una herramienta de ayuda en la evaluación de las destrezas clínicas y no clínicas en enfermería.
H2 La ECOE facilita la identificación del nivel de competencia profesional alcanzado por los estudiantes al finalizar un curso de enfermería.
Revisión de literatura
La evaluación mide calidad y productividad para alcanzar un nivel de rendimiento estandarizado (Bourke & Ihrke, 2005) y representa la valoración de los resultados del aprendizaje. Nos indica cuan capaz es el estudiante de cumplir con determinadas destrezas, conocimientos y actitudes para solucionar problemas en el campo de la salud. Conviene recordar que lo que no se evalúa, se devalúa (Goñi, 2005). Si hay evaluación hay regulación, con regulación el estudiante conoce las áreas que necesita mejorar y puede prevenir continuar cometiendo los mismos errores, que a su vez lo alejan del logro de las de los resultados del aprendizaje y de las competencias necesarias.
En 1975 el Dr. Ronald McGregor Harden publicó un nuevo método de estimado de las competencias clínicas la Evaluación Clínica Objetiva Estructurada (ECOE), en inglés Objective Structured Clinical Examination (OSCE). La ECOE fue aplicada en estudiantes de medicina en Escocia para resolver algunas dificultades identificadas en los métodos tradicionales de evaluación. Desde 1979 se modifica, se desarrolla y denomina oficialmente el examen cronometrado como “OSCE”, convirtiéndose en un pilar de la evaluación clínica en todo el mundo (Harden & Gleeson, 1979; Abdulghani, Ponnamperuma & Amin, 2015). Originalmente la ECOE fue descrita como "un examen cronometrado” en el que el estudiante de medicina interactuaba con una serie de pacientes simulados en 16 estaciones, mientras un examinador observaba y evaluaba su desempeño clínico con una lista de cotejo.
En cada estación de la ECOE, el estudiante podía realizar diferentes desafíos en 5 minutos. Al finalizar cada estación el estudiante se movía a estaciones subsiguientes con preguntas relacionadas a los pacientes estandarizados de las previas. Se incluía la realización de historial y exploración física, asesoramientos y tratamientos del paciente. En la Universidad de Ottawa en Canadá integraron por primera vez la utilización de la ECOE en enfermería (Ross et al., 1988). El estudio realizado de esta experiencia sugirió que la ECOE podía ser una herramienta poderosa en la evaluación de las competencias clínicas. Según Ross, et al. (1988), también podía ser un facilitador eficaz para aprender a realizar las habilidades clínicas en enfermería, al igual que en el campo de la medicina.
La ECOE facilita evaluar el paralelismo entre actuaciones clínicas en situaciones simuladas en el laboratorio clínico y las situaciones reales de la práctica clínica. Es una forma de estimado que examina las competencias clínicas; tales como: historial, examen físico, destrezas en comunicación, aspectos éticos, actitudes y profesionalismo, (Harden et al., 1975). Se caracteriza por un alto nivel de planificación, coordinación y estructuración de escenarios, en un entorno de simulación clínica, que evalúan componentes competenciales de un curso o programa académico (Caballero, 2012). Tradicionalmente la estructura y diseño de la ECOE se enfoca en los objetivos clínicos correspondientes a las experiencias de simulación practicadas y son evaluados en formatos tipo lista de cotejo o “checklist” (Caballero et al., 2012). La ECOE es utilizada para evaluar la práctica clínica en muchas disciplinas en Estados Unidos y consiste típicamente de 12 estaciones, de 5-15 minutos cada una. El proceso total de la ECOE concluye en 8 horas, con 2 recesos. En el entorno de simulación clínica en enfermería la evaluación facilita el estimado objetivo, controlado y seguro de las destrezas clínicas y no clínicas en cuidados de la salud.
En un estudio piloto, “NURSEOSCE”, en una escuela de enfermería de la Universidad de Carolina del Este evaluaron la aplicación de la ECOE de manera formativa y sumativa. La facultad, estudiantes y pacientes estandarizados encontraron que la ECOE es una experiencia educativa que vale la pena. La respuesta de los estudiantes fue positiva y reconocieron la buena preparación obtenida mediante la ECOE al finalizar la experiencia clínica. Varios estudiantes sugirieron que la ECOE debería ser una evaluación obligatoria (Rentschler, Eaton, Cappiello, McNally & McWilliam, 2007). Varios programas de enfermería avanzada ya han incorporado un formato de ECOE. Uno de estos formatos utilizados en un programa Graduado de Enfermería de Práctica Avanzada incluye el estimado de destrezas incorporando voluntarios que actúan como pacientes estandarizados. (Khattab & Rawlings, 2008).
Según Walsh et al, 2009, la ECOE es una manera eficiente para evaluar las destrezas y el conocimiento mediante una rotación de estudiantes a través de estaciones en donde se simula una realidad clínica. La cantidad de escenarios puede variar desde 4 hasta 42 y el tiempo en cada estación desde 4 hasta 15 minutos. En otro estudio realizado se determinó que la ECOE mejora la destreza y conocimiento en el cálculo, y la administración de medicamentos (Meechan, Jones & Valler-Jones, 2011). En otro estudio, descriptivo cualitativo, estudiantes parteras percibieron mediante la ECOE mayor eficacia en la evaluación de emergencias obstétricas y en la preparación de los estudiantes para la práctica clínica en comparación con otras formas de evaluación. Reconocieron la ECOE como una excelente herramienta para aumentar profundidad en el aprendizaje (Barry et al., 2012) y para el desarrollo del pensamiento crítico.
En la Universidad de San Sebastián de Chile, estimaron necesaria la incorporación de la ECOE en la carrera de enfermería. Al investigar la percepción de los estudiantes en relación a esta metodología ellos percibieron la ECOE como una experiencia de evaluación positiva. Además, la reconocieron como una oportunidad para fortalecer el aprendizaje. Algunos opinaron que siete minutos era insuficiente en algunas estaciones. También, que era estresante tan solo al comienzo por no tener experiencia previa en cuanto a este método de evaluación (Alarcón A., 2013).
La Universidad de Cádiz (UC), basados en la ECOE, inició en 2013 la integración innovadora de la metodología evaluativa Evaluación Objetiva Estructurada de Cuidados de Enfermería (EOECE). La misma se utiliza en cursos de Practicum del Departamento de Enfermería y Fisioterapia (Moreno Coral, 2013). La UC ha redactado unas guías específicas que describen el ambiente y condiciones que facilitan la eficacia de la EOECE. Esta universidad planificó el diseño de las estaciones basados en las actividades recogidas en un Portafolio.
En una investigación realizada en el 2014 en Australia desarrollaron e integraron guías para las mejores prácticas de la ECOE en enfermería. El estudio sugiere que la integración de las guías de mejores prácticas en ECOE es una herramienta efectiva para la evaluación del aprendizaje del conocimiento y las destrezas de los estudiantes de enfermería (Kelly et al., 2016). Actualmente en algunos hospitales de Canadá requieren la aprobación de una ECOE para la contratación del personal de enfermería (Merrifield, 2016). No existe un diseño o estructura específica para realizar la ECOE, cada institución los desarrolla (Scalabrini, 2015). La institución participante en esta investigación diseñó la ECOE basada en su programación curricular y en las características de la misma según la literatura. Se consideran los principios establecidos por Harden & Gleeson (1979) y los hallazgos y recomendaciones de investigaciones realizadas sobre su incorporación en diferentes disciplinas y en programas de enfermería en diferentes países.
El diseño de esta investigación corresponde al paradigma de la investigación cuantitativa no experimental descriptiva transversal. Las variables estudiadas en este estudio fueron competencia profesional, ECOE y percepción.
Población y muestra
La población de este estudio estuvo compuesta por estudiantes de dos cursos de bachillerato en enfermería que participaron en una ECOE en una universidad en Puerto Rico. El tamaño de la muestra estuvo determinado por la institución que autorizó la realización del mismo considerando el número específico de estudiantes que participaron en una ECOE durante el tiempo de efectuarse la investigación. La institución en Puerto Rico que dio oportunidad para realizar el estudio autorizó la participación de hasta un máximo de l05 estudiantes de los cursos que estuvieron siendo evaluados mediante una ECOE durante un semestre académico específico. Fue posible obtener el 100% de la muestra permitida para este estudio.
Instrumento
Con las debidas autorizaciones y adaptaciones culturales, se utilizó un instrumento diseñado, validado y sometido a juicio de expertos en una investigación, con características similares a este estudio, dirigida por la Dra. Ángela Alarcón (2013) en una universidad de Chile. El instrumento o cuestionario utilizado finalmente en este estudio fue diseñado para evaluar la percepción de estudiantes de bachillerato en enfermería sobre la ECOE en cursos de enfermería en una universidad en Puerto Rico. La consistencia interna del cuestionario se evaluó mediante el coeficiente alfa de Cronbach. El nivel de significación se fijó en p <0.05.
Se realizó un pilotaje del cuestionario con 77 estudiantes con características homogéneas a la muestra que se seleccionó para el estudio formal. El instrumento cumple holgadamente con el supuesto básico de que, si se puede hacer un análisis factorial, el número de sujetos recomendado debe ser entre dos y diez veces el número de ítems. Una vez se confirmó que el tamaño muestral era adecuado para estudiar la calidad técnica del instrumento, se analizaron las evidencias de validez de la escala.
Paso previo al análisis de la validez de constructo, se calculó la homogeneidad del cuestionario y ningún ítem que presentó un bajo nivel de discriminación y por tanto una correlación <200 con el total de la escala. La aplicación del cuestionario para la recopilación de datos necesarios, en este estudio fue posible luego de obtener las debidas autorizaciones. Previos a la aplicación del mismo, estas fueron en la universidad donde se solicitó realizar el estudio y la de los sujetos,. El instrumento diseñado para esta investigación incluye 17 preguntas cerradas y 4 preguntas abiertas.
En la primera sección se identificaron aspectos generales y sociodemográficos de los participantes en el estudio. Se incluyó en esta sección, además, una pregunta abierta para conocer las puntuaciones finales que los estudiantes esperaban obtener en la ECOE. En la segunda sección se presentaron preguntas específicas o cerradas para obtener la opinión de los estudiantes sobre la ECOE utilizando la escala Likert para el análisis cuantitativo: (5) Muy de acuerdo, (4) De acuerdo, (3) Indeciso, (2) Desacuerdo, (1) Total desacuerdo. Los ítems 1 al 10 de la Escala de Percepción fueron diseñados para la investigación de la percepción de la ECOE como herramienta de evaluación y la opinión de los estudiantes al participar en la misma.
-
La ECOE permite evaluar:
- conocimiento teórico
- destrezas clínicas
- comportamiento ético
- habilidades de comunicación
- Las estaciones son realistas; representativas de la práctica clínica real
- La ECOE mide los objetivos establecidos
- Las estaciones están acordes con los contenidos vistos en el curso.
- Considera la ECOE una evaluación estresante
- El tiempo asignado fue suficiente para completar las estaciones.
- La presencia de un observador, en las estaciones, interfiere en mi trabajo.
- La ECOE es beneficiosa en la formación profesional.
- Considera la ECOE una experiencia de aprendizaje eficaz
- La ECOE debe ser incluida como método de evaluación en este curso
En la tercera sección se presentaron tres preguntas abiertas donde los estudiantes pudieron mencionar fortalezas y debilidades de la ECOE como estrategia evaluativa y, recomendaciones para mejorar la misma.
Análisis y discusión de resultados
Para el análisis de los datos se utilizó el programa estadístico SPSS 19 de IBM. El análisis estadístico se sustentó en un análisis descriptivo mediante distribuciones absolutas (frecuencias), el promedio y distribuciones porcentuales (variables cualitativas). También, se calcularon medidas de tendencia central y dispersión (variables cuantitativas).
Se efectuó la Prueba t de Student con la intención de comparar los valores promedios (media aritmética) en la puntuación esperada por los estudiantes y la finalmente obtenida. Con ello se profundizó en la identificación del nivel de competencias alcanzado por los estudiantes. Se utiliza el coeficiente de correlación de Pearson en la explicación. Con la intención de identificar posibles variables de confusión se realizó análisis multivariante.
Se llevó a cabo preguntas abiertas relacionadas con fortalezas, debilidades y recomendaciones mencionadas por los estudiantes se examinaron mediante el análisis de contenido. Esta técnica de investigación revela significados y valoraciones mediante datos esencialmente verbales o comunicativos que comparten los participantes. Se utiliza el registro, la codificación y el resumen de las expresiones provistas en categorizaciones que permiten llegar a representaciones eficientes que simplifican el volumen de datos recopilados (Krippendorff, 2013).
Los encuestados tuvieron la oportunidad de expresar sus opiniones sobre la ECOE, luego de ser evaluados en el logro de las competencias, al finalizar dos cursos de enfermería. Sus expresiones ayudaron a identificar, basados en evidencia, que la incorporación de esta modalidad evaluativa puede ayudar a identificar los niveles de competencias alcanzados por los estudiantes en su programa de estudios. Fue posible identificar fortalezas, debilidades y recomendaciones para mejorar la utilización de la ECOE, desde la perspectiva de los estudiantes.
El perfil sociodemográfico de los participantes en este estudio se constituyó por una muestra de 105 estudiantes de bachillerato en enfermería de una universidad en Puerto Rico. Fue posible obtener el 100% de la muestra permitida para este estudio. La misma estuvo compuesta por estudiantes matriculados en el curso Cuidado de Enfermería del Adulto II (Tercer nivel) y en el curso Práctica de Enfermería Clínica Integrada (Cuarto nivel) del programa de Bachillerato en enfermería.
El 68.6% de los estudiantes encuestados (n = 72) participó en la ECOE en el curso del tercer nivel. Por su parte, el 31.4% de los estudiantes (n = 33) participó en el curso del cuarto nivel. La muestra de estudiantes que participó de este estudio, en su mayoría (73.3%), pertenecía al sexo femenino. La figura 1 resume esta distribución por sexo. Hubo representación en todos los grupos de edad, siendo el mayor porciento de estudiantes participantes entre los 21 a 30 años.
Con el objetivo de validar la efectividad de la ECOE para medir el logro de las competencias profesionales de estudiantes de enfermería en escenarios de simulación clínica, se realizó un análisis factorial de componentes principales.
Este análisis factorial permitió agrupar los reactivos en factores o componentes que puedan explicar la varianza observada en las respuestas ofrecidas por los sujetos. El análisis de componentes principales y rotación de Varimax mostró la convergencia de dos factores. Bajo el primer factor se reunieron siete ítems que aluden a la Percepción en cuanto a la ECOE como herramienta de evaluación. Por su parte el segundo factor quedó compuesto por los seis ítems restantes que evalúan la percepción sobre la participación en la ECOE.
Figura 1.Estudiantes de enfermería participantes del estudio por sexo
Los ítems fueron configurados según el grado de saturación en cada factor. Todos los ítems presentaron una carga factorial superior a 0.3. El Factor 1, Percepción en cuanto a la ECOE como herramienta de evaluación, revela ítems con carga factorial entre 0.393 a 0.820. Este factor engloba a los ítems que destacan que la ECOE permite evaluar conocimiento teórico, destrezas clínicas, comportamiento ético y habilidades de comunicación, así como al realismo, objetivos y contenido de la ECOE y sus estaciones. En cuanto al Factor 2, Percepción sobre la experiencia de participación en la ECOE, se observaron cargas factoriales desde 0.332 a 0.743. Los ítems bajo este factor aluden a aspectos que pueden hacer de la ECOE una experiencia de beneficio para los estudiantes, que sea una evaluación estresante, siendo una posibilidad el tiempo asignado o presencia de observador, y el deseo de incluirla como método de evaluación.
El análisis de consistencia interna alcanzó un valor alfa de Cronbach de 0.742. La correlación ítems con el total de la escala era óptima con el valor más bajo de rho = 0.331 (en el ítem de El tiempo asignado fue suficiente para completar las estaciones) y el mayor valor de rho = 0.638 (en el ítem de Considera la ECOE una evaluación estresante). Los resultados expuestos sugieren la efectividad de la ECOE para medir el logro de las competencias profesionales en escenarios de simulación clínica al tomar en consideración la percepción de los estudiantes de enfermería.
Como un segundo objetivo, se buscó identificar el nivel de competencias alcanzado por los estudiantes. En el cuestionario se incluyó una pregunta que auscultaba la puntuación final que esperaban obtener los estudiantes participantes en la ECOE (esperada). Además, de la información de calificaciones oficiales de la institución, se extrajo la puntuación que finalmente obtuvieron los estudiantes en la evaluación (obtenida). El análisis de los resultados apuntó a que el nivel de competencia alcanzado por los estudiantes era generalmente alto.
Los datos correspondientes a la puntuación esperada y aquella finalmente obtenida por los estudiantes de enfermería se reseñan en el figura 2. Despunta que la percepción de los estudiantes con respecto a la puntuación esperada en la ECOE tendía a 80-89%, al reunir 59% de los participantes. Entre las puntuaciones finalmente obtenidas ese mismo renglón resultó ser el más alto, pero con 32.4%. Los porcentajes mayoritarios de estudiantes, tanto en puntuación esperada como obtenida, se ubicaron en el extremo que reunía a las calificaciones más altas (80-89% y 90-100%). En la puntuación obtenida se observó un porcentaje notable de estudiantes calificados menor de 70%, en comparación con la puntuación esperada (19% vs 2.9%). El mayor por ciento de los estudiantes esperaba obtener una puntuación final entre 80-89% (B). El mínimo de los estudiantes esperaba obtener una puntuación final de A o menor de C.
Estudio sobre la percepción de los estudiantes de bachillerato en enfermería al utilizar la evaluación clínica objetiva estructurada (ECOE) en simulación clínica en cursos de enfermería en Puerto Rico
Figura 2.Distribución porcentual de puntuaciones finales esperadas y obtenidas por estudiantes participantes en la Evaluación Clínica Objetiva Estructurada (ECOE) en dos cursos de enfermería en una universidad en Puerto Rico (n = 105).
Para comparar las puntuaciones esperadas y aquellas finalmente obtenidas, se utilizó la Prueba t de Student para la comparación de medias. Con ello, se buscó determinar si existían o no diferencias entre las puntuaciones y si estas son significativas. Las puntuaciones medias fueron muy parecidas. Los resultados de la Prueba t para variables relacionadas manifiestan un valor no significativo (p = .491). Las puntuaciones resultaron estar correlacionadas entre sí, aunque el porcentaje de aprobación esperado por los estudiantes fue generalmente más alto que el finalmente obtenido como calificación.
Al ejecutar el análisis multivariante de la regresión logística, no se encontró un grado de significación alto (p<0.05) de las variables sociodemográficas de sexo, edad y periodo académico en que tomó el curso para determinar o predecir la puntuación finalmente obtenida. Con el objetivo específico número 3 de obtener datos relacionados a la percepción de estudiantes de enfermería sobre la ECOE mediante un cuestionario se analizaron los ítems que conformaron el mismo. Para ello, se tomó en consideración la clasificación de los ítems en los dos factores que emergieron del análisis factorial. Estos son: Factor 1 de Percepción en cuanto a la ECOE como herramienta de evaluación y Factor 2 de Percepción sobre la experiencia de participación en la ECOE.
La percepción que compartieron los estudiantes mediante sus respuestas al cuestionario reflejó una alta valorización de la ECOE como método de evaluación y experiencia formativa. El mayor por ciento de los estudiantes expresó estar muy de acuerdo en que la ECOE es una herramienta que permite evaluar conocimiento teórico, destrezas clínicas, comportamiento ético y comunicación en cursos de enfermería. Los estudiantes participantes en este estudio expresaron estar muy de acuerdo en que las estaciones de la ECOE fueron realistas o representativas de la práctica real y que mantuvieron relación con los contenidos vistos en los cursos. Expresaron, además, estar muy de acuerdo en que la ECOE permitió medir los objetivos establecidos en el diseño de la misma.
Este primer factor, la ECOE como herramienta de evaluación, incluía siete ítems. En la Figura 3 se resume el análisis de los mismos. Más del 50% de los estudiantes de enfermería estuvieron muy de acuerdo con estas declaraciones que aludían a aspectos positivos de la ECOE. De la figura se desprende que prácticamente la totalidad de los estudiantes estuvo de acuerdo o muy de acuerdo con los ítems. No obstante, un porcentaje a considerar señaló su desacuerdo o estar indecisos con el ítem que hacía referencia a que las estaciones son realistas; representativas de la práctica clínica real. Al ordenar los ítems por porcentaje se encontró que más del 80% de los estudiantes de enfermería destacaba estar muy de acuerdo con que la ECOE permite evaluar destrezas clínicas (81.9%) y comportamiento ético (81%). Otros porcentajes altos en la alternativa muy de acuerdo se registraron en los ítems que señalaban que la ECOE permite evaluar conocimiento teórico (78.1%) y habilidades de comunicación (76.2%).
Estos resultados denotan la percepción de los estudiantes de enfermería con respecto al valor evaluativo que posee la ECOE para su proceso de formación profesional. Con porcentajes similares resaltó, también, que la mayoría de los estudiantes participantes percibían que las estaciones están acordes con los contenidos del curso (73.3%) y que la ECOE mide los objetivos establecidos (71.4%). Por su parte, el 57.1% de los estudiantes estuvo muy de acuerdo con que las estaciones son realistas; esto es, que las percibían representativas de la práctica clínica real. Este porcentaje, aunque mayoritario, resultó ser el más bajo de la lista de ítems del Factor 1. Importante considerar para la mejora de la ECOE aumentar el realismo de las estaciones.
La percepción de los estudiantes de enfermería sobre su experiencia de participación en la ECOE (Factor 2) fue altamente positiva en lo que respecta a sus beneficios. Sin embargo, una cantidad significativa expresó que el tiempo asignado y el estrés fueron un reto para completar las estaciones. El mayor por ciento de los estudiantes expresó estar en desacuerdo en que la presencia de un observador interfiera en la realización de los trabajos en las estaciones de la ECOE.
Figura 3.Distribución de los estudiantes de enfermería participantes de la Evaluación Clínica Objetiva Estructurada (ECOE) por Factor 1; Percepción en cuanto a la ECOE como herramienta de evaluación.
En la figura 4 se puede observar que al organizar los ítems del Factor 2 por porcentaje alcanzado, se observó que alrededor del 70% o más de los estudiantes de enfermería mencionaron estar muy de acuerdo con que la ECOE es una experiencia de aprendizaje eficaz (74.3%) y debe ser incluida como método de evaluación en el curso (72.4%). Otro porcentaje alto en la alternativa muy de acuerdo se registró en el ítem que declaraba que la ECOE es beneficiosa en la formación profesional (69.5%). La mitad de los participantes (51.4%%) no consideraba a la ECOE una evaluación estresante. Los resultados evidencian que una cantidad considerable de estudiantes expresó percibirla como una experiencia estresante, esto debe considerarse durante la planificación e implementación de la ECOE. En términos generales, los resultados de los ítems del factor 2 denotan la percepción positiva que tenían los estudiantes de enfermería con respecto a la participación en este tipo de evaluación.
Parte fundamental del estudio fue explorar la percepción de los estudiantes de enfermería en cuanto a las fortalezas, necesidades y recomendaciones que identificaron al utilizar la ECOE. Estos hallazgos apuntaron a la identificación de aspectos que resultaron de beneficio para el estudiantado, al participar de la ECOE y de áreas de oportunidad para darle continuidad a esta herramienta, como método de evaluación en la formación de profesionales de enfermería. Noventa y tres (n = 93) de los 105 estudiantes de enfermería que participaron de la ECOE, identificaron fortalezas que tenía la utilización de este tipo de evaluación.
Estos proveyeron 96 respuestas que se clasificaron en 10 fortalezas, como se muestra en la Tabla 1. Las tres fortalezas más mencionadas por los participantes fueron, que la ECOE: era de beneficio para práctica y formación profesional (33.3%); era una buena estrategia de autoevaluación (25.8%) y destacaron su organización y estructura (18.3%). Una expresión que caracterizó muy bien la fortaleza de la ECOE como estrategia eficaz de autoevaluación fue la siguiente narrativa de un estudiante: “Gracias a la ECOE pude ver mis debilidades y qué debo dar más tiempo y empeño para obtener buenos resultados y perfeccionar las destrezas.”
Figura 4.Distribución de los estudiantes de enfermería participantes de la Evaluación Clínica Objetiva Estructurada (ECOE) por Factor 2, Percepción sobre la experiencia de participación en la ECOE
Tabla 1
Fortalezas que identificaron los estudiantes participantes al utilizar la Evaluación Clínica Objetiva Estructurada (ECOE) en enfermería
| Fortalezas | Frecuencia | Porcentaje |
|---|---|---|
| Beneficio para práctica y formación profesional | 31 | 33.3 |
| Buena estrategia de (auto)evaluación | 24 | 25.8 |
| Organización y estructura de la ECOE | 17 | 18.3 |
| Estaciones como escenarios prácticos y reales | 7 | 7.6 |
| Aporta al desarrollo de destrezas | 4 | 4.3 |
| Desarrolla autoconfianza | 4 | 4.3 |
| Experiencia de aprendizaje eficaz | 3 | 3.2 |
| Recursos humanos (profesores, observadores) | 3 | 3.2 |
| Manejo del tiempo | 2 | 2.2 |
| Materiales | 1 | 1.1 |
En términos de su fortaleza como buena estrategia de autoevaluación, los estudiantes compartieron que la ECOE verdaderamente pone a prueba al estudiante, ayuda a aclarar dudas y es una herramienta eficaz para practicar destrezas que no se pudo practicar en áreas clínicas. Además, mencionaron que ayuda a evaluar las capacidades para intervenir en escenarios estresantes (críticos) reales y les permite identificar áreas a mejorar antes de graduarse o si están aptos para lo que se le ha adiestrado.
Setenta y seis (n = 76) de los 105 estudiantes de enfermería que participaron de la ECOE, identificaron necesidades o debilidades que tenía este método de evaluación. Este grupo de participantes presentaron 79 respuestas que se clasificaron en 12 áreas de necesidad; entiéndase, aspectos que requieren atención, a su mejor entender. La lista de las necesidades se resume en la Tabla 2. La necesidad o debilidad que puede considerarse principal, por ser la más mencionada por los participantes, fue el factor tiempo que toma la ECOE. El 55.3% de los estudiantes de enfermería que participaron de la ECOE aludieron al tiempo como una debilidad de su experiencia con esta evaluación.
Tabla 2
Necesidades que identificaron los estudiantes participantes al utilizar la Evaluación Clínica Objetiva Estructurada (ECOE) en enfermería
| Debilidades o necesidades | Frecuencia | Porcentaje |
|---|---|---|
| Factor de tiempo | 42 | 55.3 |
| Genera estrés | 12 | 15.8 |
| Materiales | 7 | 9.2 |
| Necesidad de más práctica | 6 | 7.9 |
| Recursos humanos | 4 | 5.3 |
| Notificación previa | 2 | 2.6 |
| Comunicación | 1 | 1.3 |
| Evaluación en hospital o lugar de práctica | 1 | 1.3 |
| Frecuencia | 1 | 1.3 |
| Implantación tardía | 1 | 1.3 |
| Inseguridad del estudiante | 1 | 1.3 |
| Subdivisión de destrezas | 1 | 1.3 |
El aspecto de que genera estrés (15.8%) y de los materiales utilizados (9.2%), también se identificaron como áreas de necesidad de atención. Entre las restantes respuestas provistas, un grupo de estudiantes manifestó la necesidad de más práctica (7.9%).
Ochenta y siete (n = 87) de los 105 estudiantes de enfermería que participaron de la ECOE, identificaron recomendaciones en cuanto al uso de la ECOE. Estos estudiantes presentaron 111 respuestas que se clasificaron en 17 recomendaciones, que se reseñan en la Tabla 3. Además, hicieron menciones concretas dirigidas a la implementación de la ECOE (16%).
Entre estas se encuentran: que la ECOE se siga administrando con mayor frecuencia o en cada semestre; que se utilice en todos o en otros cursos, tales como pediatría, maternidad y psiquiatría; incluirlo como parte del prontuario; que se realice no solo en el último año, ya que puede ayudar a reforzar técnicas enseñadas. Otras recomendaciones estuvieron dirigidas a realizar evaluaciones previas al final de curso o tutorías antes del proceso, a mejorar la disponibilidad de equipos y materiales, a mejorar áreas de práctica y estaciones, así como facilitar actividades que ayuden a reducir el estrés.
Tabla 3
Recomendaciones que identificaron los estudiantes participantes al utilizar la Evaluación Clínica Objetiva Estructurada (ECOE) en enfermería
| Recomendaciones | Frecuencia | Porcentaje |
|---|---|---|
| Aumentar tiempo | 43 | 49.4 |
| Acceso a situaciones para práctica o más preparación previa y práctica | 15 | 17.2 |
| Implementación de la ECOE | 14 | 16.0 |
| Realizar evaluaciones previas al final de curso o tutorías antes del proceso | 7 | 8.0 |
| Mejorar equipo y materiales | 6 | 6.9 |
| Mejoras áreas de práctica y estaciones | 6 | 6.9 |
| Alivios a estrés | 3 | 3.4 |
| Mejor explicación de la ECOE e instrucciones | 6 | 3.4 |
| Recursos humanos (ej. Más apoyo de la facultad) | 3 | 3.4 |
| Notificación y citación oportuna | 3 | 3.4 |
| Se utilice para mejorar | 2 | 2.3 |
| Notificación y citación oportuna | 3 | 3.4 |
| Evaluación con compañero | 1 | 1.1 |
| Más coordinación | 1 | 1.1 |
| Mejorar rúbrica | 1 | 1.1 |
| Reforzar examen físico | 1 | 1.1 |
| Silencio en salas | 1 | 1.1 |
Los resultados de la distribución porcentual y absoluta de los estudiantes por ítems del cuestionario y la identificación de las fortalezas revelaron que los participantes percibían la ECOE como una herramienta de ayuda en la evaluación de destrezas clínicas y no clínicas en enfermería. Las puntuaciones medias que se obtuvieron en la escala de 5 puntos provista en el cuestionario, reflejaron que los estudiantes tendieron a estar de acuerdo con los ítems que declaraban aspectos positivos de la ECOE. Los estudiantes consideran la ECOE de gran valor para evaluar varios aspectos, tales como: las destrezas clínicas, el comportamiento ético, el conocimiento teórico y las habilidades de comunicación. La consideran un evento estresante. Estos resultados concuerdan con la literatura disponible en esta investigación (Harden, et al., 1975; Rentschler, et al., 2007; Khattab & Rawlings, 2008; Alarcón, 2013).
Entre otros aspectos, reconocieron a la ECOE como una experiencia de aprendizaje que mide los objetivos establecidos y continúa siendo un facilitador eficaz para aprender a realizar las habilidades clínicas en enfermería según identificado por Ross, et al. (1988). Por lo tanto, se demuestra mediante esta investigación que la hipótesis número 1; los estudiantes perciben la ECOE como una herramienta de ayuda en la evaluación de las destrezas clínicas y no clínicas en enfermería, es positiva. El análisis de la puntuación esperada por los estudiantes de enfermería, sugieren que la ECOE facilita la identificación del nivel de competencia profesional alcanzado por los estudiantes al finalizar cursos de enfermería.
La percepción de los estudiantes que entendían que en la ECOE tendrían una puntuación menor de 70% estuvo por debajo de la realidad. No obstante, las propias expresiones de los estudiantes en cuanto a las fortalezas y debilidades de la ECOE demuestran la valoración que le dan a esta herramienta para medir sus competencias profesionales. Expresaron, además, las áreas que se deben mejorar para confrontar con mayor preparación los retos que pudieran confrontar en su profesión y en la práctica formal de la enfermería. Se evidencia mediante esta investigación que la hipótesis número 2; La ECOE facilita la identificación del nivel de competencia profesional alcanzado por los estudiantes al finalizar un curso de enfermería, es positiva.
Incorporar la ECOE para la evaluación de las competencias profesionales es una experiencia educativa innovadora en Puerto Rico que puede aportar en el desarrollo de currículos de enfermería basado en competencias. El estimado del nivel alcanzado en el logro de las competencias mediante la ECOE facilita la autoevaluación y planificación para aumentar niveles de competencias, al finalizar diferentes cursos de enfermería antes de graduarse. El conocimiento de la viabilidad y aspectos a mejorar en la utilización de la ECOE ayuda a identificar las características propias de la misma para su eficacia en el logro de los resultados del aprendizaje en cursos de enfermería. Por lo tanto, los conocimientos adquiridos mediante los resultados de esta investigación pueden ayudar en las mejores prácticas al utilizar la ECOE en centros de simulación en Puerto Rico.
Implicaciones
La exploración de las opiniones de los estudiantes participantes en este estudio reveló aspectos importantes a considerar al incorporar la ECOE en programas de enfermería en Puerto Rico. Las respuestas de los estudiantes encuestados fueron positivas y representaron una oportunidad para su mejora y el logro de los objetivos de la misma. Aunque la ECOE requiere tiempo y esfuerzo para su incorporación en el currículo, su alcance para el logro de las competencias profesionales sigue siendo significativo en Puerto Rico al igual que a nivel internacional.
Este estudio evidencia su eficacia y validez para evaluar competencias según requerido por agencias acreditadoras de programas en enfermería. Los estudiantes sugieren que sea utilizada de manera sumativa y (o) formativa en todos los cursos de enfermería. Los mismos identificaron aspectos que facilitan la ECOE tales como: la privacidad, la mayor utilización de pacientes estandarizados, el tiempo de 10-15 minutos por estación, la mayor práctica y la preparación previa antes de la ECOE entre otros. Debido a que una cantidad significativa de los encuestados la considera estresante, la consideración de estos aspectos y la exploración previa de los conocimientos y prácticas de los estudiantes, pueden ayudar a reducir interferencias en su desempeño al ser evaluado mediante la ECOE.
El diseño y la integración para realizar la ECOE se desarrollan basados en las características y la programación curricular de cada disciplina e institución. La necesidad identificada en cuanto a los materiales y equipo necesarios implica el reconocimiento de estrategias costo efectivas o la posibilidad de considerar un presupuesto adicional para cumplir con los mismos según se ha requerido en algunos programas de enfermería que utilizan la ECOE a nivel internacional. La ECOE es una metodología evaluativa utilizada internacionalmente en el reclutamiento de profesionales de enfermería. Al participar en la misma, los egresados pueden estar más preparados para un mejor desempeño durante procesos de reclutamiento en diferentes países.
Abdulghani, H. M., Ponnamperuma, Z. A., & Amin Z. (2015). An essential guide of developing, implementing, and evaluating Objective Structured Clinical Examination (OSCE). New Jersey: World Scientific Publishing Co.
Alarcón, M. A. (2013). Incorporación del Examen Clínico Objetivo Estructurado (ECOE) en la Carrera de Enfermería.Revista de Educación en Ciencias de la Salud, 10(1): 18-22. San Sebastián: Chile.Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=4750349
Barry M., Noonan M., Bradshaw C., & Murphy-Tighe S. (2012). An exploration of student midwives’ experiences of the Objective Structured Clinical Examination assessment process.Nurse Education Today, 32(6), 690-4. doi:10.1016/j.nedt.2011.09.007
Bourke, M., & Ihrke, B. (2005). The evaluation process. In D. Billings & J. Halstead (Eds).Teaching in nursing: A guide for faculty(Pp.443-464). Philadelphia, PA: W. B. Saunders.
Caballero C., Creed F., Gochmanski C., & Lovegrove, J. (2012). Nursing OSCEs:a complete guide to exam success.New York: Oxford University Press.
Goñi, J. M. (2005).Competencias, tareas, y evaluación, los ejes del currículo universitario.Barcelona: Octaedro.
Harden R. M. & Gleeson F. A. (1979). Assessment of clinical competence using an objective structured clinical examination (OSCE).Medical Education, 13(1), 41- 54.
Harden R. M., Stevenson M., Downie W.W., & Wilson G. M. (1975). Assessment of clinical competence using objective structured examination.British Medical Journal, 1(5955), 447-451.
Harden, R. M. (2016). Revisiting 'Assessment of clinical competence using an objective structured clinical examination (OSCE)'.Medical Education, 50(4), 376-379. doi:10.1111/medu.12801
Hengstherger-Sims, C., Cowin, L. S., Eagar, S. C., Gregory. L. Andrew, S., & Rolley, J. (2008).elating new graduate nurse competence to frequency of use Collegian, 15(2), 69-76. doi:10.1016/j.colegn.2008.02.003
Jeffries, P. R., & Rogers, K. (2012). Theoretical framework for simulation design. In Jeffries, P. R. (Ed.),imulation in nursing education: from conceptualization to Evaluation(pp. 25-43). New York, NY: National League for Nursing.
Kelly, M., Mitchell, M., Jeffrey, C., Henderson, A., Groves, M., Nulty, D., Glover, P. & Knight, S. (2016). OSCE best practice guidelines, applicability for nursing simulations.Advances in Simulation, 1(10), 1-10 . doi 10.1186/s441077-016-0014-1
Khattab, A., & Rawlings, B. (2008). Use of a modified OSCE to assess nurse practitioner students.British Journal of Nursing, 17(12), 754-759.
Krippendorff, K. (2013).Content analysis: An introduction to its methodology. Thousand Oaks, CA: Sage Publications, Inc.
Meechan, R., Jones, H., & Valler-Jones, T. (2011). Do medicines OSCEs improve drug administration ability?British Journal of Nursing, 20(13), 817-822. Recuperado de http://eds.b.ebscohost.com/eds/pdfviewer/pdfviewer?vid=9&sid=5e750c61-7ded-4b55-bb8f-3d3a35eff90a%40sessionmgr101
Merrifield, N. (2016).Trusts committed to nurse recruitment despite regulator headcount cuts plan.Recuperado de http://www.nursingtimes.net/news/workforce/exclusive-challenged-trusts-commit-to-recruiting-nurses/7002460.fullarticle
Moreno Corral, L. J. (2013).Mesa Redonda: La experiencia del Practicum. VII Jornadas de Profesorado de Facultades de Enfermería. Universidad de Cádiz. Recuperado de http://www.cnde.es/cms_files/VII_jornadas_La_experienci_practicum_Luis_Moreno.pdf
Oranye, N. O., Ahmad, Ch., Ahmad, N., & Abu Bakar, R. (2014). Assessing nursing clinical skills competence through objective structured clinical examination (OSCE) for open distance learning students in Open University Malaysia.Contemporary Nurse, 41(2), 233-241. Recuperado de http://dx.doi.org/10.5172/conu.2012.41.2.233
Rentschler, D. D., Eaton, J., Cappiello, J., McNally, SF., & McWilliam, P. (2007). Evalation of Undergraduate Students Using Objective Structured Clinical Evaluation. Journal of Nursing Education, 46(3), 135-139. Recuperado de http://eds.b.ebscohost.com/eds/pdfviewer/pdfviewer?vid=34&sid=66a383a2-1d76-4717-8b94-42cbb5a36153%40sessionmgr101
Ross, M. C., G., Knight, J., Chamberlain, M., Fothergill-Bourbonnais, F., & Linton, J.(1988). Using the OSCE to measure clinical skills performance in nursingJournal of Advanced Nursing, 13(1) 45-56.
Scalabrini, A. (2015, 12 de marzo).Carta de respuesta del Dr. Scalabrini.Recuperado de https://outlook.office.com/owa/?realm=suagm.edu&exsvurl=1&ll-cc=20490&modurl=0&path=/mail/search
Stoll, M., Ard, N., & Vest, G. (2015).ACEN Accreditation Workshop.San Juan, Puerto Rico: ACEN.