El mini-CEX es una observación directa de la práctica profesional con feedback al residente; existen estudios que confirman su validez, fiabilidad, factibilidad y satisfacción. Su implantación en Urgencias Pediátricas es escasa.
ObjetivoEvaluar la evolución en la adquisición de competencias de los MIR de Pediatría en Urgencias mediante el mini-CEX y determinar la satisfacción de los participantes tras su aplicación.
Material y métodosCriterios de inclusión: médicos internos residentes de Pediatría de primer (MIR 1) y segundo (MIR 2) año. Ámbito: Urgencias. Periodo de estudio: 4 años (5/2019-5/2023). Competencias evaluadas: anamnesis, exploración física, profesionalismo, juicio clínico, comunicación, organización-eficiencia y valoración global. Número de evaluaciones: máximo 6 por residente y año; cada evaluación valoró 2 o 3 competencias (cada competencia podía evaluarse 2 veces cada año). Los evaluadores fueron médicos adjuntos de Urgencias; los MIR fueron evaluados con fines formativos. La satisfacción se valoró con una escala del 1 al 9.
ResultadosSe realizaron 217 evaluaciones a 54 MIR (1-9 /MIR). El tiempo mediano de observación fue de 16 (p25-75:14-25) minutos por visita y el de feedback de 10 (p25-75:7-15). La puntuación mediana en anamnesis, exploración física, juicio clínico, organización-eficacia y global fue 7 para R1 y 8 para R2, p=0,015; p=0,001, p=0,076, p=0,009 y p=0,010, respectivamente. No se observaron diferencias significativas en el resto. La puntuación media de satisfacción fue de 9, para evaluadores y MIR.
ConclusionesLa adquisición de competencias fue alta; se observó una evolución favorable de R1 a R2. La aplicación del mini-CEX tuvo buena aceptación entre los profesionales implicados.
The mini-CEX is a direct observation of care delivery that provides feedback to the medical resident; and previous studies have confirmed its validity, reliability, feasibility and user satisfaction. Its application in the paediatric emergency care setting is scarce.
ObjectiveTo assess trends in the acquisition of emergency care skills in paediatrics residents through the mini-CEX and determine the satisfaction of participants after its implementation.
Material and methodsInclusion criteria: paediatrics residents in the first (MIR 1) and second (MIR 2) year of residency. Setting: emergency department. Study period: 4 years (May 2019-May 2023). Evaluated competencies: anamnesis, physical examination, professionalism, clinical judgment, communication, organization-efficiency and global assessment. Number of evaluations: maximum of 6 per resident per year; each evaluation assessed 2 to 3 competencies (each competency could be evaluated twice per year). The evaluators were adjunct physicians in the emergency department; medical residents were assessed for training purposes. Satisfaction was rated on a scale from 1 to 9.
ResultsA total of 217 evaluations were performed on 54 residents (1-9 per resident). The median observation time was 16minutes per visit (IQR, 14-25) and the feedback time was 10minutes per visit (IQR, 7-15). The median anamnesis, physical examination, clinical judgment, organization-efficacy and global scores were 7 for MR1 and 8 for MRI2 residents (P=.015; P=.001, P=.076, P=.009 and P=.010, respectively). We did not find significant differences in the remaining competencies. The average satisfaction score was 9 for both evaluators and residents.
ConclusionsThe acquisition of skills was high; with favourable outcomes observed in MRI2 relative to MRI1. The implementation of the mini-CEX was well accepted among the involved professionals.
La correcta formación y evaluación de los MIR de Pediatría es una de las principales preocupaciones de los hospitales pediátricos universitarios. Durante muchos años, en nuestro país, la formación de los MIR y estudiantes se ha centrado en la adquisición de conocimientos teóricos sin hacer hincapié en la posterior aplicación de estos conocimientos en la práctica clínica. En 1990, Miller describió un modelo que define las diferentes etapas de la adquisición del conocimiento y de las habilidades clínicas como una pirámide compuesta por varios niveles1. El primer nivel consiste en los conocimientos adquiridos (el saber) sobre los que se apoya la competencia (el saber cómo); en un nivel superior se encuentra el desempeño (mostrar cómo) y finalmente la acción en la práctica real (el hacer), la llamada competencia clínica. Por lo tanto, la competencia clínica se puede definir como la capacidad para utilizar el buen juicio, los conocimientos, habilidades y actitudes para solucionar problemas complejos que se presentan en distintos contextos en el campo de la actividad profesional2. La evaluación de la competencia clínica supone un desafío para los educadores médicos y es por esta razón que, en los últimos años, se han desarrollado métodos de evaluación centrados en el último vértice de la pirámide de Miller. En concreto, una de las herramientas más utilizadas es el mini-CEX: se trata de una herramienta de observación directa de la práctica profesional con evaluación estructurada mediante un formulario y posterior provisión de feedback al MIR3. Concretamente, el mini-CEX se centra en evaluar 6 componentes competenciales (entrevista clínica, exploración física, profesionalismo, juicio clínico, habilidades comunicativas y organización eficiencia) a través de un cuestionario estandarizado y validado en diferentes entornos clínicos y con diferentes observadores/evaluadores4. Cada una de las competencias que se valora tiene unos descriptores que facilitan la homogeneidad de los observadores a la hora de evaluar a los MIR. Esta herramienta fue desarrollada en la década de los 90 por el American Board of Internal Medicine5,6 y cuenta con diversos estudios que confirman su validez, fiabilidad, factibilidad y satisfacción6–10. Asimismo, también se ha demostrado su efecto positivo en la educación de los estudiantes y MIR que han sido valorados mediante este método11.
Existe poca bibliografía sobre la aplicación del mini-CEX en Pediatría2,12,13, y en España, según conocimiento de los autores, sólo existe un estudio publicado realizado en un hospital de adultos7, sin existir bibliografía en hospitales pediátricos, aunque la Asociación Española de Pediatría en su plataforma de formación virtual Continuum recomienda su uso para la evaluación de los resultados de aprendizaje competencial de los MIR14.
Por esta razón, nuestros objetivos fueron evaluar la evolución en la adquisición de competencias en Urgencias pediátricas de los MIR de Pediatría mediante la implantación del mini-CEX y determinar la satisfacción de los docentes y MIR tras su aplicación.
MétodosEstudio descriptivo observacional realizado en las Urgencias pediátricas de un hospital universitario monográfico pediátrico de tercer nivel que atiende unas 105.000 urgencias al año.
Se evaluaron los MIR de Pediatría de primer y segundo año durante su rotación en Urgencias y durante las guardias, del 1 de mayo de 2019 al 30 de abril de 2023. El número de MIR evaluados varió durante los 3 años evaluados al ampliarse la dotación del hospital (12 MIR 1 y 12 MIR 2 el curso 2019-2020, 16 MIR 1 y 12 MIR 2 el curso 2020-2021, y 16 MIR 1 y 16 MIR 2 los cursos 2021-2022 y 2022-2023). Previamente al inicio del estudio, se realizó una reunión con los MIR para informarles sobre los objetivos de la evaluación y que sus competencias serían evaluadas con fines formativos. La evaluación consistió en la observación directa de una visita con el MIR y posterior feedback tras la finalización de la atención al paciente. Los evaluadores fueron 7 médicos adjuntos con actividad exclusiva en el servicio de Urgencias y una media de 12 años de antigüedad en el mismo, instructores de simulación acreditados por el programa del Children's de Boston, formados en Crisis Resource Management y en comunicación en cursos impartidos en el propio centro. Las evaluaciones fueron realizadas de manera indistinta por cada uno de los médicos adjuntos y se siguieron los criterios de observación y evaluación definidos por el American Board of Internal Medicine4,15.
Cada evaluación se centró en uno de los siguientes grupos de competencias: anamnesis y exploración física; comunicación y profesionalismo; juicio clínico, valoración global y organización. Siguiendo las recomendaciones de la bibliografía2,15,16 se realizaron un máximo de 6 evaluaciones (2 por cada grupo de competencias) por residente y por año mediante una hoja de recogida de datos estandarizada (anexo). Para la confección de la hoja de evaluación se siguieron los criterios de la Sociedad Española de Urgencias Pediátricas (SEUP) en sus líneas estratégicas y del nuevo currículo europeo para la formación de especialistas en medicina pediátrica17.
En la hoja de evaluación se recogió información sobre el entorno clínico en el que se realizó la visita (box de Emergencias donde se visitan pacientes con nivel de triaje 1, 2 y 3; box de Urgencias donde se visitan niveles de triaje 3 y 4 y consultas externas, donde se visitan pacientes con niveles de triaje 4 y 5 exclusivamente), el tipo de paciente (edad, sexo), la complejidad del caso (baja, moderada o alta) según criterios definidos previamente por los evaluadores (nivel de triaje, motivo de consulta, dificultad de comunicación con la familia), y en cuál de las competencias ya explicadas se focalizaba la evaluación. A cada competencia evaluada, se le asignó una valoración numérica: de 1 a 3, insatisfactorio; de 4 a 6, satisfactorio, y de 7 a 9, sobresaliente. También se recogió el tiempo de duración de la observación y del feedback, así como la satisfacción del evaluador y el evaluado mediante una escala del 1 al 9 (de menor a mayor satisfacción).
Para asegurar el derecho de autonomía de los MIR y la independencia de la evaluación anual obligatoria, el adjunto de Urgencias que solicitaba la participación en el estudio a los MIR y que hacía las evaluaciones del mini-CEX no era la misma persona responsable de la rotación por Urgencias de los MIR ni la que realizaba la evaluación sistemática anual para el departamento de Docencia. En el caso de que uno de los investigadores fuera tutor de alguno de los MIR evaluados, este adjunto no realizó las evaluaciones del mini-CEX a estos MIR.
Los datos extraídos se almacenaron y procesaron en una base de datos relacional Microsoft Access específica. Se tabularon variables cuantitativas y categóricas. Posteriormente se analizaron con el programa estadístico IBM® SPSS® Statistics 29 para Windows®. Los datos fueron expresados como mediana y rango para las variables cuantitativas, y como recuentos y porcentajes para las categóricas. Se aplicaron pruebas para el estudio de distribución de datos (Kolmogorov-Smirnov) y de comparación de datos cuantitativos (t de Student, U de Mann-Whitney). Se realizó un análisis comparativo de la evolución de las calificaciones según el año de residencia. Los valores de p menores de 0,05 se consideraron significativos.
El estudio se realizó en conformidad con los principios éticos, leyes y reglamentos vigentes en Europa y España. Fue aprobado por el Comité de Ética de la Investigación con Medicamentos de nuestro centro con el código PIC-78-19. Se informó verbalmente a los familiares y pacientes que se estaba realizando una evaluación directa de las competencias de los MIR.
ResultadosSe incluyeron 237 evaluaciones realizadas a 56 MIR: 132 (55,7%) evaluaciones correspondieron al primer año de residencia y 105 (44,3%) al segundo año (tabla 1). En este periodo, se realizaron entre 1 y 9 evaluaciones por residente (mediana 4 evaluaciones): 95 (40,1%) estuvieron focalizadas en la anamnesis y exploración física, 80 (33,8%) en la comunicación y el profesionalismo y 62 (26,2%) en juicio clínico, organización y valoración global. Ciento cuarenta y ocho (62,4%) visitas se realizaron en los boxes de Emergencias, 83 (35%) en boxes de Urgencias y 6 (2,5%) en consultas externas; el 54,9% tuvo una complejidad baja y el 38% complejidad media. La mediana de edad de los pacientes visitados fue de 4 años (p25-75: 1,5-10 años) y el 50,2% fueron varones.
El tiempo mediano de observación fue de 15 (p25-75:12-25) minutos por evaluación y el tiempo de feedback de 10 (p25-75:7-15) minutos. La comparación de la puntuación de las diferentes competencias entre MIR de primer y segundo año se describe en la tabla 2. Se observó una diferencia significativa entre los diferentes años de residencia en la anamnesis, exploración física, en la organización y la valoración global. La puntuación mediana de satisfacción fue de 9 (mínimo 5- máximo 9), tanto para evaluadores como MIR.
Comparación de puntuaciones medianas entre los diferentes años de MIR
| Competencia | n MIR 1 | Puntuación mediana | n MIR 2 | Puntuación mediana | p |
|---|---|---|---|---|---|
| Anamnesis | 58 | 7 | 37 | 8 | 0,008 |
| Exploración física | 58 | 7 | 37 | 8 | <0,001 |
| Comunicación | 40 | 7 | 39 | 8 | 0,163 |
| Profesionalismo | 42 | 8 | 40 | 8 | 0,167 |
| Juicio clínico | 32 | 7 | 32 | 8 | 0,600 |
| Organización | 32 | 7 | 31 | 8 | 0,010 |
| Valoración global | 31 | 7 | 31 | 8 | 0,010 |
En negrita se resaltan los resultados estadísticamente significativos.
Habitualmente, el servicio de Urgencias suele ser un entorno hostil para la docencia, dada la alta carga asistencial y el poco tiempo disponible, pero tras la implementación del mini-CEX hemos podido observar su factibilidad también en un centro con alta demanda asistencial. La implantación del mini-CEX ha demostrado que es una herramienta útil que permite observar la evolución de los MIR en la adquisición de habilidades a lo largo de la residencia. En nuestro centro, se observa una evolución positiva de los MIR de Pediatría que rotan por el servicio de Urgencias, sobre todo en las áreas en las que se focalizan los objetivos curriculares de los primeros años de residencia17, como son la anamnesis, la exploración física y la comunicación con las familias y el resto del equipo. Por otro lado, el hecho de que los MIR no mejoren en áreas como la organización, juicio clínico y valoración global hace pensar que podrían ser unas habilidades más difíciles de conseguir o que se consiguen con un grado de conocimiento mayor de la especialidad. Teniendo esto en cuenta, el mini-CEX podría ser utilizado también como una herramienta para analizar y adecuar los objetivos curriculares de los MIR de Pediatría a lo largo de los años.
La implementación del mini-CEX se confirma como una intervención muy satisfactoria entre el equipo de MIR, ya que reportan que les ayuda a mejorar aspectos de su vida laboral que con las herramientas de evaluación clásicas no pueden ser valoradas ni corregidas. Esta implantación también es muy satisfactoria desde el punto de vista de los evaluadores ya que creen que adquieren conocimientos nuevos que pueden aplicar en su día a día, aunque piensan que se necesitaría más tiempo protegido en su día a día para poder dedicar a la provisión de feedback. Punto de vista que coincide con otros estudios publicados18–20 y que podría explicar la poca literatura sobre esta herramienta docente en los servicios de Urgencias ya que, habitualmente, la carga asistencial no permite tener pausas para la docencia. Otra de las razones que podría explicar la poca literatura existente en nuestro ámbito es el hecho de que el mini-CEX es una herramienta bien conocida y usada en nuestro país en las Universidades para formar a los estudiantes de Medicina9,21, pero no está bien implementada en los centros con MIR. Con este este estudio, y de acuerdo con la literatura19, confirmamos que la utilización del mini-CEX como herramienta docente en un servicio de Urgencias es factible y tiene un impacto positivo en el aprendizaje de los MIR.
La principal limitación del estudio es la posibilidad de que aparezca el efecto Hawthorne durante la realización de las observaciones, ya que la actitud de los MIR y su desempeño en la visita puede variar dado que están siendo observados de manera directa. Como se realizan varias evaluaciones por MIR, es de esperar que este efecto se diluya a lo largo de las mismas.
En conclusión, queremos remarcar que la implantación del mini-CEX en Urgencias permite observar una evolución positiva en la adquisición de la mayoría de habilidades clínicas de los MIR de Pediatría en un centro de tercer nivel y cuenta con un alto grado de satisfacción tanto entre los MIR como entre los evaluadores. El mini-CEX podría ser utilizado como una herramienta para objetivar líneas de mejora en los currículos docentes de la residencia de Pediatría.
Conflicto de interesesLos autores declaran no tener ningún conflicto de interés en la realización de este artículo.
Los autores agradecen al grupo de realización del mini-CEX (Mercè Puigdomènech, Anna Borrull y demás autores) su participación en el estudio, sin la cual no habría sido posible la recogida de datos.
Este trabajo ha sido presentado en la XXVII Reunión de la Sociedad Española de Urgencias de Pediatría en mayo de 2023 y en el VI Congreso Nacional de la Sociedad Española de Formación Sanitaria Especializada en octubre de 2022. Este proyecto fue ganador del accésit de la Beca Jordi Pou del año 2020 de la Sociedad Española de Urgencias de Pediatría.
