Archivos de Medicina

Keywords

Reproducibility of Results, Questionnaires, Medical students, Research Personnel (source: MeSH, NLM).

Introducción

La investigación conlleva a la recopilación sistemática de datos, análisis e interpretación de los mismos, para responder una pregunta o problema de investigación. En su función de acelerar los adelantos en materia de salud, la investigación básica genera nuevos conocimientos y tecnologías que responden a los intereses en campos de salud no resueltos, y la aplicada está orientada a resolver problemas prioritarios y evaluar programas e intervenciones [1].

Los médicos y estudiantes de medicina están continuamente en contacto con la investigación. A pesar de esto, en Latinoamérica los estudiantes de medicina que además de sus actividades académicas se dedican a la investigación son una minoría, actualmente reportándose un déficit de estudiantes investigadores [2].

Lo mismo sucede con los médicos-científicos [3] tanto en Latinoamérica como en países desarrollados. En Estados Unidos, en la década de los 80, la proporción de médicosinvestigadores era de 3.9%; para la década de los 90 esta proporción había disminuido a 2.0%. En 1977, el 40% de los médicos-investigadores que solicitaba recursos del Instituto Nacional de Salud (siglas en inglés: NIH) eran mayores de 45 años; en 1997 esta proporción se incrementó al 57% [4]. Adicionalmente, los investigadores clínicos están envejeciendo y solo el 8% de los investigadores principales que realizan ensayos clínicos con patrocinio de la industria son menores de 40 años, y menos del 4% de los fondos del NIH en 2001 fueron ganados por investigadores menores de 35 años [5]. Estos datos indican que más médicos investigadores están terminando sus carreras que los que se están formando e iniciándola [6].

En el Reino Unido la situación es similar, se ha reportado una reducción notable en el número de clínicos con habilidades y experiencia en investigación y en el personal calificado de clínicos dispuestos y comprometidos con la educación [6].

Existen muchas razones para explicar este problema, pero lo más importante involucra la decisión inicial de perseguir o no una carrera investigativa [4, 7, 8]. Cuando un estudiante considera la opción de una profesión como médico-científico, este debe sopesar su interés en la investigación con tres factores: los recursos económicos, el largo periodo de entrenamiento, y la incertidumbre del éxito. Estos factores hacen que muchos desistan de enfocar su carrera hacia la investigación [9].

Algunos factores asociados a las falencias en investigación en el pregrado son el estímulo de la formación de profesionales dedicados a actividades asistenciales y el que los comités de admisión para especializaciones y postgrados en América Latina den prioridad a otros detalles más que a las publicaciones o trabajos de investigación realizados [2].

La competitividad percibida y las demandas académicas de la carrera de medicina y el bajo salario de un investigador comparado con quien tiene una práctica privada, son otros aspectos que pueden hacer desistir a los estudiantes de la investigación. Otras preocupaciones incluyen que los estudiantes pueden trabajar en investigación simplemente con labores mínimas, sin ningún rol en el diseño de la investigación o en el pensamiento crítico durante el proceso de la investigación [10], el deterioro de las habilidades clínicas debido al tiempo que se invierte en las actividades investigativas, el manejo inadecuado de un proyecto [11], la carencia de infraestructura moderna, de apoyo financiero para construir y renovar el equipo, la confianza por parte de los sectores productivos y de servicios y las dificultades de los nuevos investigadores para plasmar sus trabajos en artículos de investigación [12], las cuales terminan limitando la formación de investigadores. Por otra parte, cuando se logra sobreponer estas barreras y se completan trabajos de investigación sea a través de tesis de grado o adelantados en clases de investigación, muchos son realizados sin la rigurosidad metodológica y científica necesaria, resultando en que trabajos que no se publican y aquellos que podrían ser publicables, acaban guardados en archivos bibliotecarios.

Existen varios motivos que favorecen la investigación: La exposición de los estudiantes a la investigación sirve para identificar las futuras carreras, establecer contactos importantes y asegurar mejores posiciones en los puntajes para ingreso a residencias [13]. Contar con buenos mentores es un componente vital para la eficacia de un estudiante investigador [13]. La integración de una investigación con la práctica clínica ha sido correlacionada con una alta satisfacción laboral y personal con la carrera [14]. La experiencia en investigación como estudiante de medicina está fuertemente asociada con la continuación de la actividad investigativa, una vez graduado y en la residencia [15, 16].

Los profesionales que trasladan los hallazgos y el conocimiento de ciencias básicas a su aplicabilidad clínica están en riesgo de extinción [17] y es necesario protegerlos; si la cantidad de médicos que realizan investigación clínica se pierde, se tardaran décadas para reemplazarlos. El desarrollo de programas especializados en entrenar estudiantes de medicina para la investigación clínica puede proveer oportunidades importantes para incrementar el número de investigadores clínicos [18, 19].

A pesar de los esfuerzos que se llevan a cabo por atraer estudiantes hacia los grupos de investigación, es frecuente que los estudiantes abandonen los grupos cuando la carga académica aumenta. Existen factores que dificultan o desmotivan a los estudiantes para continuar su formación como investigadores. En América Latina no hay estudios publicados donde se identifiquen estos factores, sin embargo diversos autores mencionan la necesidad de fortalecer los medios para que los estudiantes puedan comenzar tempranamente una carrera investigativa; flexibilidad curricular [19], apoyo interinstitucional [20], internado especial, y servicio social obligatorio en investigación [21].

En Colombia, no hay estudios que identifiquen la actividad investigativa de los estudiantes de medicina ni que proporcionen un perfil del estudiante investigador. Por lo anterior se propuso el desarrollo y validación de un cuestionario que abarcara la actividad investigativa de los estudiantes de medicina investigadores, sus características sociodemográficas y académicas y la identificación de las barreras, motivaciones y cualidades del estudiante de medicina-investigador. El estudio sirve además como insumo para futuras investigaciones en Colombia y Latinoamérica, dados los contextos similares de los países de la región.

La validación de un instrumento de este tipo permitirá en futuros estudios, caracterizar al estudiante investigador así como identificar las dificultades que enfrentan a la hora de desarrollar una investigación.

Materiales y métodos

Se realizó un estudio de validación de cuestionario para establecer las características de los estudiantes de medicina investigadores, para el cual se realizaron las siguientes fases: (Ia) Creación de un cuestionario basado en la literatura y experiencia de los investigadores, (Ib) prueba piloto del instrumento, (II) evaluación y validación de contenido del cuestionario por profesionales expertos en investigación y (III) aplicación del cuestionario a una población seleccionada de investigadores en pregrado de medicina para el análisis estadístico de validación de constructo.

En la primera fase (Ia), se realizó una búsqueda de la literatura relacionada con investigación en el pregrado en medicina en las principales bases de datos de investigación médica tanto en inglés como en español (MedLine, EMBASE, Lilacs y Scielo) y posterior a esto se procedió a establecer las posibles variables que responderían a la pregunta: ¿Cuáles son las características de los estudiantes de medicina investigadores El cuestionario fue construido por los investigadores siguiendo los pasos propuestos por De Vellis [22]. Inicialmente se estableció un instrumento de 57 preguntas, las cuales fueron agrupadas en 8 módulos, y posterior a la elaboración inicial, (Ib) el cuestionario fue sometido a una prueba piloto en 190 estudiantes de medicina de una universidad de Colombia, para la revisión de la formulación de las preguntas y del lenguaje utilizado en ellas. Los resultados de este estudio piloto fueron publicados [23].

En la segunda fase (II) el instrumento fue evaluado por 3 expertos en investigación médica (MD. MSc. y/o PhD.) quienes reevaluaron los módulos y las variables en estudio con base en un formato en escala Likert donde valoraban la pertinencia de cada una de las preguntas en tres categorías: pertinente, poco pertinente o nada pertinente. Las respuestas dadas por los evaluadores fueron sometidas a análisis de concordancia por el método de Kappa propuesto por Fleiss [24], utilizando Stata11®.

En la tercera fase (III) se creó un cuestionario con las variables previamente validadas por los expertos en la plataforma Google-Drive® y para garantizar que la encuesta fuera diligenciada por estudiantes de medicina investigadores se utilizaron como criterios de inclusión, el que el estudiante cursara un semestre mayor al primero y que fuese miembro activo de una Asociación Local miembro de la Asociación de Sociedades Científicas de Estudiantes de Medicina de Colombia, ASCEMCOL, este último criterio se corroboraba con el acceso del estudiante al cuestionario por medio de las bases de datos de investigadores del pregrado de medicina de dicha asociación.

La encuesta fue autodiligenciada por internet, enviada por medio de correo electrónico a la base de datos de investigadores de la ASCEMCOL y fue diligenciada de manera voluntaria en un periodo de tiempo programado desde Mayo a Septiembre de 2009. La muestra se seleccionó de manera no probabilística.

Basados en los principios psicométricos que garantizan la calidad de las medidas, para las escalas de Motivación y Cualidades se evaluó la fiabilidad de cada una por medio del análisis del alfa de Cronbach el cual se basa en las covarianzas de los ítems, la capacidad de discriminación de los ítems mediante las frecuencias en las respuestas de cada ítem y la correlación ítem-total corregida. La validez de constructo se analizó mediante análisis factorial con el método de eje principal y rotación oblicua, finalmente se calculó la consistencia interna de cada factor identificado por medio del alfa de Cronbach, mostrando que tan relacionadas o coherentes son las respuestas para afirmar que estas miden la misma variable latente. Lo anterior se realizó con el software SPSS versión 17®.

Resultados

Los resultados del estudio son presentados por fases de acuerdo a lo expresado en la metodología.

Fase I: Creación y prueba piloto del cuestionario

Posterior a la revisión bibliográfica y de acuerdo a la experiencia de los investigadores se formuló un cuestionario compuesto de 8 módulos y 57 preguntas, los cuales estaban conformados de la siguiente manera: (1) datos personales (n=8, 14.04%), (2) influencias en investigación (n=5, 8.8%), (3) vinculación a grupos de investigación (n=7, 12.3%), (4) producción y participación investigativa (n=10, 17.5%), (5) actividades extracurriculares (n=9, 15.8%), (6) motivación a la actividad investigativa (n=6, 10.5%), (7) relación investigación- universidad (n=7, 12.3%) y (8) cualidades investigativas y futuro profesional (n=5, 8.8%). Las preguntas dentro de cada módulo en su mayoría fueron de selección múltiple, el módulo 6 y parte del 8, se miden en escala Likert con opciones de 1 a 5 en escala ascendente de acuerdo al ítem evaluado. El primero constaba de 7 ítems en los cuales se mide la Motivación del estudiante por la investigación, basados en los alicientes más comunes encontrados en la literatura para hacer investigación médica; y el segundo, de 12 ítems, que abordan las Cualidades de un investigador.

Posteriormente, se realizó la prueba piloto del instrumento a 20 estudiantes de medicina con lo que se revisó la redacción de las preguntas y su claridad en la diagramación, para su adecuado diligenciamiento.

Culminada esta fase, el cuestionario fue sometido a la evaluación de investigadores expertos en el área de investigación médica.

Fase II: Evaluación de expertos y validación de contenido

En esta etapa se preservaron los 8 módulos propuestos y el número de preguntas se redujo a 46 (46/57=80.7%), así: (1) datos personales (n=10, 21.7%), (2) influencias en investigación (n=4, 8.7%), (3) vinculación a grupos de investigación (n=2, 4.4%), (4) producción y participación investigativa (n=10, 21.7%), (5) actividades extracurriculares (n=3, 6.5%), (6) motivación a la actividad investigativa (n=7, 15.2%), (7) relación investigación-universidad (n=6, 13.04%) y (8) cualidades investigativas y futuro profesional (n=4, 8.7%).

De acuerdo a esto, el módulo 1 aumento en 2 preguntas, el 2 se redujo en 1, el 3 se redujo en 5, el 4 permaneció igual, el 5 se redujo en 6, el 6 aumento en 1, el 7 se redujo en 1 y el 8 se redujo en una pregunta, para un cambio neto en la encuesta de 11 (19.3%) preguntas menos.

Las respuestas de los evaluadores clasificando cada pregunta fueron sometidas a análisis de concordancia, obteniéndose una concordancia kappa para la opción de “no pertinente” de 0,9 (p<0,0001), para la opción “poco pertinente” de 0,18 (p=0,009) y para la opción “pertinente” de 0,45 (p<0,0001). Finalmente, el kappa combinado fue de 0,45 (p<0,0001), indicando una concordancia moderada entre los evaluadores.

Fase III: Validación de Constructo

Se encuestaron un total de 100 estudiantes de Medicina de diferentes universidades públicas y privadas de Colombia, de ciudades de Cali, Bogotá D.C., Medellín, Pereira, Bucaramanga, Cartagena, Armenia, Barranquilla, Ibagué, Neiva, Tunja y Manizales.

La población de estudio presentó edades entre los 16 y 31 años de edad con promedio de 21 años (Desviación estándar, DE, ±2.5), el 52% de género masculino, un 96% con estado civil de soltería, la mayoría (43%) procedían de la ciudad de Cali, seguido de Pereira (15%), Bucaramanga (11%) y Cartagena (8%); con estrato socioeconómico predominante medio (estrato 3 y 4) en un 57%, seguido del alto en un 30% y bajo en un 13%. Un 79% de los encuestados estudiaba en universidad pública y el 21% restante en una universidad privada, y el 51% se encontraba entre los grados (semestres) académicos del 2 al 6, y el 49% restante en grados del 7 al 12.

Los análisis de fiabilidad son aplicados a las 2 escalas Likert del cuestionario propuesto: Motivación y Cualidades. La fiabilidad evaluada en las dos escalas mediante el alfa de Cronbach, en el caso de Motivación los resultados muestran una homogeneidad alta en las respuestas (alfa=0.92), mientras que para la escala de Cualidades la homogeneidad fue aceptable (alfa=0.64).

La capacidad de discriminación de los ítems, que indica la capacidad del ítem para diferenciar a individuos con puntajes altos y bajos dentro de la escala, se analizó mediante la frecuencia de cada ítem, es decir los ítems que tenían opciones de respuesta con porcentajes superiores al 80% se consideraron ítems poco discriminadores, para la escala de Motivación todos los ítems tuvieron distribuciones muy homogéneas en sus respuestas y ninguna fue superior al 80%, igualmente en la escala de Cualidades se cumplió con este criterio.

En el análisis de la correlación ítem-total corregida, se tuvo en cuenta el ítem que tuviera valores superiores a 0.3, para considerarlo un ítem con alto poder de discriminación. Para la escala de Motivación todos fueron superiores (ver Tabla 1), mientras que en la escala de Cualidades solo los ítems 1, 6, 7, 8, 9 y 11 cumplieron con este criterio, la correlación más baja la presentó el ítem 3. (ver Tabla 2)

Tabla 1: Análisis de Fiabilidad de ítems en la escala Motivación.

Tabla 2: Análisis de Fiabilidad de ítems en la escala Cualidades.

Además se tuvo en cuenta el análisis del alfa de Cronbach en ausencia de cada uno de los ítems que conforman la escala para conocer qué tan importantes eran estos en la consistencia interna, los ítems que aumentaran el alfa general en su ausencia se considerarían como ítems que no muestran una buena correlación con el resto para medir la variable latente. Para la escala de Motivación solo al retirar el ítem 1 se aumentó el alfa general de la escala en 0.003 (ver Tabla 1). En la escala de Cualidades, al eliminar el ítem 3 aumentó el alfa en 0.025, para obtener finalmente un alfa general de 0.66 (ver Tabla 2).

De acuerdo a los análisis anteriores se debe considerar eliminar los ítems que no presenten una buena correlación en la escala, pero para esto debe ser tenido en cuenta el punto de vista del experto si es pertinente o no que el ítem conforme la escala; para la escala de Cualidades se decidió eliminar el ítem 3.

Una vez evaluada la correlación entre ítems de cada escala para determinar qué tan relacionados se encuentran se debe analizar si realmente miden lo que deben medir, o que variables latentes están midiendo, esto por medio de la validez de constructo utilizando el método eje principal y la rotación oblicua. Para la escala de Motivación se escogieron dos factores que explican el 79.5% de la varianza, para escoger los ítems por factor se tuvo en cuenta por ítem la carga factorial más alta, de esta forma todos los ítems quedaron agrupados en el primer factor.

Tabla 3: Análisis factorial de los ítems de la escala Motivación.

En la escala Cualidades al realizar el análisis factorial se escogieron cuatro factores los cuales explican el 66% de la varianza (Tabla 4). Los factores quedaron conformados de la siguiente forma: en el factor 1 quedan los ítems 1, 6, 7, 8, 9 y 11, en el factor 2 los ítems 2, 3 y 5, en el factor 3 el ítem 10 y en el factor 4 el ítem 4. De acuerdo a esta estructura se decidió realizar la rotación oblicua al método de eje principal, ya que los constructos obtenidos no fueron lógicos de acuerdo a la teoría establecida. En la rotación los cuatro factores explican el 66% de la varianza total, estos quedaron conformados así: los ítems 1, 7, 8, 9 y 11 en el factor 1, el factor 2 los ítems 5 y 6, en el factor 3 los ítems 3 y 10 y en el cuarto factor los ítems 2 y 4. De esta forma se le asignan nombres a cada uno, ya que se obtiene una estructura lógica de subescalas dentro del constructo Cualidades; en el primer factor se identifican las cualidades de una persona intelectual, en el segundo factor los de una persona creativa, en el tercero de alguien emocional y finalmente en el cuarto, de alguien moral.

Tabla 4: Método de eje principal para los ítems de la escala Cualidades.

Tabla 5: MétodoMétodo de eje principal con rotación oblicua para los ítems de la escala Cualidades.

Finalmente, para cada subescala identificada por medio del análisis factorial se calculó la consistencia interna por medio del alfa de Cronbach, todos mostraron una consistencia superior a 0.6, la más alta fue el factor 1 que identifican las cualidades de una persona intelectual (ver Tabla 6).

Tabla 6: Análisis de Fiabilidad de las subescalas en la escala de Cualidades.

Discusión

La investigación es el pilar de la ciencia, sin ella no habrían adelantos, ni tecnologías, ni protocolos para el manejo de cada enfermedad, ni se tendría información sobre los factores de riesgo en salud, y por tanto se hace parte importante de las bases de la medicina.

Está documentado que los mejores profesionales clínicos son también investigadores [16, 21], puesto que la práctica clínica proporciona el espacio donde surgen los problemas objeto de investigación y su identificación y posterior resolución per- miten a quien propone, un estrecho contacto con el avance del conocimiento y estar a la vanguardia en las discusiones científicas [16].

Dada la tendencia a la disminución del número de investigadores en el mundo [3, 4], es imperativo que las universidades y organizaciones científicas identifiquen estudiantes investigadores, apoyen los aportes que hacen durante su formación y cuando han egresado [17], y que implementen estrategias que promuevan continuar su formación como futuros profesionales investigadores en el área biomédica para el avance de la ciencia y el desarrollo de los países.

Es indispensable la identificación y caracterización de esta subpoblación de estudiantes de medicina y así dilucidar sus características y orientar políticas de apoyo para su desarrollo como investigadores de manera temprana; para ello se requiere de instrumentos validados, para garantizar resultados confiables [7].

Al validar una escala, se pretende alcanzar validez interna y externa. En la primera se cuentan con tres tipos de evidencia para su determinación: la validez de contenido, de constructo y de criterio [6]. En este estudio, el cuestionario fue sometido a la validez de contenido y de constructo, obteniéndose una escala con indicadores de concordancia y confiabilidad elevados y por lo tanto un instrumento válido para la aproximación a los estudiantes de medicina investigadores.

En cuanto a la validez de contenido, la concordancia entre las respuestas de los expertos evidencio el adecuado desempeño del cuestionario y formulación de las preguntas. Para el análisis de fiabilidad, el alfa de Cronbach mostró una adecuada aproximación a los constructos planteados en las dos escalas del cuestionario, y la validez de constructo abordada con análisis factorial con el método del eje principal y de rotación oblicua, mostro un comportamiento de mejor estructura de los ítems con el segundo método, permitiendo establecer subescalas con un alfa de aceptación sustancial.

No se evaluó la validez de criterio [25] dado que los investigadores no encontraron otro cuestionario para caracterizar a los estudiantes de medicina investigadores con el cual se puedan hacer comparaciones para establecer este indicador.

Las limitaciones del presente estudio incluyen la falta de una aproximación a la validez de criterio y el muestreo realizado, y aunque no afectan en gran medida los resultados, permiten reconocer que son requeridos estudios comparativos entre nuevos cuestionarios y que identifiquen los factores diferenciales de los estudiantes de medicina y los estudiantes de medicina investigadores.

Con esta investigación se presenta el desarrollo y validación de un cuestionario con indicadores que sustentan una adecuada validez, para la caracterización de los estudiantes de medicina investigadores en Colombia, el cual sirve de insumo para investigaciones futuras en el contexto colombiano y que podría ser extrapolado a otros países.

Agradecimientos

A los expertos evaluadores para la validación de contenido y a la ASCEMCOL por su aval para la realización del proyecto.

Conflicto de interés

Los autores declaran no tener conflicto de interés.

3794

References

1. Maya JM, Torres Y. Desarrollando una propuesta de investigación, En: Epidemiología básica y principios de investigación. 1999, Corporación para Investigaciones Biológicas (CIB): Medellín, Colombia. p. 133.
2. Rojas-Revoredo V. Las publicaciones en revistas indexadas, único indicador de la producción de las Sociedades Científicas Estudiantiles. CIMEL, 2007;12(1):5-6.
3. Salas SP, Rigotti A. Médicos-Científicos en Chile: ¿Una especie en extinción?. Rev Med Chile, 2005;133(1):121-8.
4. Zemlo TR, Garrison HH, Partridge NC, Ley TJ. The physician-scientist: career issues and challenges at the year 2000. FASEB J, 2000;14(2):221-30.
5. Sung NS, Crowley WF Jr, Genel M, Salber P, Sandy L, Sherwood LM. Central challenges facing the national clinical research enterprise. JAMA, 2003;289(10):1278-87.
6. Bell J, Working Group of Academy of Medical Sciences. Resuscitating clinical research in the United Kingdom. BMJ, 2003;327(7422):1041-3.
7. Arias IM, Training basic scientists to bridge the gap between basic science and its application to human disease. N Engl J Med, 1989;321(14):972-4.
8. Cech TR, Egan LW, Doyle C, Gallin E, Lichtman MA, Queenan CJ 3rd, et al. The biomedical research bottleneck. Science, 2001;293(5530):573.
9. Ley TJ, Rosenberg LE. Removing career obstacles for young physician-scientists -- loan-repayment programs. N Engl J Med, 2002;346(5):368-72.
10. Aslam F, Shakir M, Qayyum MA. Why medical students are crucial to the future of research in South Asia. PLoS Med, 2005;2(11):e322.
11. Diez C, Arkenau C, Meyer-Wentrup F. The German medical dissertation--time to change? Acad Med, 2000;75(8):861-3.
12. Garza-Almanza V. Pública o perece. Publicar para vivir en la academia y la ciencia. CULCyT, 2006;3(13):23-30.
13. Frishman WH. Student research projects and theses: should they be a requirement for medical school graduation? Heart Dis, 2001;3(3): 140-4.
14. Garfinkel PE, Bagby RM, Schuller DR, Williams CC, Dickens SE, Dorian B. Predictors of success and satisfaction in the practice of psychiatry: a preliminary follow-up study. Can J Psychiatry, 2001;46(9):835-40.
15. Segal S, Lloyd T, Houts PS, Stillman PL, Jungas RL, Greer RB 3rd. The association between students’ research involvement in medical school and their postgraduate medical activities. Acad Med, 1990;65(8):530-3.
16. Reinders JJ, Kropmans TJ, Cohen-Schotanus J. Extracurricular research experience of medical students and their scientific output after graduation. Med Educ, 2005;39(2):237.
17. Nathan DG. The need to support patient oriented research. Sounding Board. N Engl J Med, 2002;346(5):368-74.
18. Mark AL, Kelch RP. Clinician scientist training program: a proposal for training medical students in clinical research. J Investig Med, 2001;49(6):486-90.
19. Bonilla-Escobar FJ, Bonilla-Vélez J, Restrepo-Osorio S. Problemas de la Investigación y las Oportunidades para su Desarrollo desde la Revista Médica de Risaralda. Rev Med Risaralda, 2012;18(2):185-6.
20. Bonilla-Escobar FJ, Bonilla-Vélez J, López-Castillo CA. Investigación Médica Estudiantil: Perspectiva desde Colombia. CIMEL, 2010;15(2):94.
21. Múnera Galarza FA. De la electricidad animal, la pila y los controles a la investigación. Rev Fac Med Univ Nac Colomb, 2005;53:55-6.
22. DeVellis RF, Scale Development: Theory and Applications. 26 Applied Social Research Methods Series. 3ª edición. 2012, California, Beverly Hills: SAGE Publications.
23. Ángel-Isaza AM, Botero-Suárez HF, González DC, Ospina LP, Velasco MM, Ocampo MF. Interés de los estudiantes de medicina por la investigación. CIMEL, 2010;15(1):9-13.
24. Fleiss JL, Levin B, Paik MC. Statistical Methods for Rates and Proportions. 3ª edición. 2004, New York: John Wiley & Sons.
25. Carmines EG, Zeller RA. Reliability and Validity Assessment. Series: Quantitative Applications in the Social Science. 1991, Newbury Park: SAGE Publications.