METHODOLOGICAL ASPECTS FOR DIAGNOSTIC TESTS ASSESSMENT STUDIES
Keywords:
Validation studies, Reproducibility of results, Diagnostic tests
Abstract
Diagnostic technologies assessments are an important field of epidemiology since these studies should be conducted with methodological rigor because the person’s medical or dental outcome, will largely depend on them. This means that with a correct diagnosis, the clinician can select the most appropriate treatment and, therefore, the prognosis will be affected. Diagnostic tests are not only limited to clinical or laboratory tests, they also include scales, instruments or questionnaires that are designed to measure health status perceived by people. The psychometrics evaluates the valid and reliable aspects of measurement that are not directly observable in individuals such as intelligence, quality of life or some disorders such as depression and anxiety, among others. Therefore, the aim of this review was to explain the most important elements for the evaluation of diagnostic tests and focus on the psychometric properties that are validity, reliability and responsiveness.
References
1. Orozco LC. Medición, o de cómo se hacen metros. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 35 - 62.
2. Sánchez MDC. Glosario General. En: Ortin E, Sánchez JA, Menárguez JF, Hidalgo IM. Lectura Crítica de un Artículo sobre Diagnóstico. p. 43 - 66. URL disponible en: murciasalud.es.
3. Guyatt G, Feeny D, Patrick D. Measuring health related quality of life. Ann Int Med. 1993; 118: 622 - 629.
4. Slade GD. Derivation and validation of a short-form Oral Health Impact Profile. Community Dent Oral Epidemiol. 1997; 25: 284 - 290.
5. Atchinxon KA, Dolan TA. Development of the geriatric oral health assessment index. J Dent Educ. 1990; 54: 680 - 687.
6. Pahel BT, Rozier RG, Slade GD. Parental perception of children’s oral health: The Early Childhood Oral Health Impact Scale (ECOHIS). Health Qual Life Outcomes. 2007; 5: 6.
7. Nunnally JC, Bernstein IJ. Enfoques tradicionales de la Escala de Medición. En: Teoría Psicométrica. México: McGraw - Hill; 1995. p. 37 - 91.
8. Domholdt E. Measurement Theory. Physical Research Therapy. Principles and applications. Philadelphia: W. B. Saunders Company; 1993. p. 143 - 161.
9. Raykov T, Marcoulides GA. Introduction to Psychometric Theory. New York: Taylor & Francis Group; 2011.
10. Connolly MA, Johnson JA. Measuring quality of life in paediatric patients. Pharmacoeconomics. 1999; 16: 605 - 626.
11. Sackett DL, Haynes RB. The arquitecture of diagnostic research. BMJ. 2002; 324: 539 - 541.
12. Gluud C, Gluud LL. Evidence based diagnostic. BMJ. 2005; 330: 724 - 726.
13. Orozco LC, Camargo DM. Evaluación de tecnologías diagnósticas y tipos de muestreos. Biomédica. 1997; 17: 321 - 324.
14. Kraemer HC. Populations and Sampling. Evaluating Medical Tests. Objective and Quantitative Guidelines. London: Sage Publications; 1992. p. 34 - 61.
15. Orozco LC. Fases y muestreos, o de cómo tomar las personas de una población para hacer un estudio. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 63 - 72.
16. Streiner DL, Norman GR. Validity. Health Measurement Scales. A Practical Guide to Their Developmenta and Use. New York: Oxford University Press; 2008. p. 247 - 276.
17. Valderas JM, Ferrer M, Alonso J. Instrumentos de medida de calidad de vida relacionada con la salud y de otros resultados percibidos por los pacientes. Med Clin (Barc). 2005; 125: 56 - 60.
18. Kane MT. Current concerns in validity theory. J Educ Measure. 2001; 38: 319 - 342.
19. Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955; 52: 281 - 302.
20. Guion RM. On trinitarian doctrines of validity. Professional Psychol. 1980; 11: 385 - 398.
21. Landy FJ. Stamp collecting versus science. Validation as hypothesis testing. Am Psychol. 1986; 41: 1183 - 1892.
22. Orozco LC. Validez y validación o de cómo construir la validez de un constructo. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 105 - 114.
23. Messick S. Validity of psychological assessment. Validation of inferences from person’s responses and performances as scientific inquiry into score meaning. Am Psychol. 1995; 50: 741 - 749.
24. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standars for Education and Psychological Testing. Washington, D.C.: American Educational Research Association; 1999.
25. Prieto G, Delgado AR. Fiabilidad y validez. Papeles del Psicólogo. 2010; 31: 67 - 74.
26. Fayers P, Machin D. Scores and Measurements: Validity, Reliability, Sensivity. En: Quality of Life: The Assessment, Analysis and Interpretation of Patient-Reported Outcomes. Great Britain: Willey; 2007. p. 77 - 108.
27. Bond TG, Fox CM. Applying the Rasch Model. Fundamental Measurement in the Human Sciences. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., Publishers; 2007.
28. Domholdt E. Methodological Research. Physical Research Therapy. Principles and Applications. Philadelphia: W. B. Saunders Company; 1993. p. 162 - 171.
29. Streiner DL. Stating at the beginning: an introduction to coefficient alpha and internal consistency. J Pers Assess. 2003; 80: 99 - 103.
30. Orozco LC. Confiabilidad o de la consistencia, reproducibilidad, acuerdo y algo más. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 73 - 103.
31. Consiglio E, Belloso WH. Nuevos indicadores clínicos. La calidad de vida relacionada con la salud. Medicina. 2003; 63: 172 - 178.
32. Tavakol M, Dennick R. Making sense of Cronbach’s alpha [editorial]. Int J Med Educ. 2011; 2: 53 - 55.
33. Terwee CB, Bot SDM, de Boer MR, DAW vdW, Dirk L, Knol DL et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007; 60: 34 - 42.
34. Deyo RA, Diehr P, Patrick DL. Reproducibility and responsiveness of health status measures. Statistics and strategies for evaluation. Control Clin Trials. 1991; 12: 142S - 158S.
35. Castro-Jiménez MÁ, Cabrera-Rodríguez D, Castro-Jiménez MI. Evaluación de tecnologías diagnósticas: conceptos básicos en un estudio con muestreo transversal. Rev Colomb Obstet Ginecol. 2007; 58: 45 - 52.
36. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979; 86: 420 - 428.
37. Bland M, Altman D. Statistical methods for assessing agreement between two methods of clinical measurements. Lancet. 1986; 8: 307 - 310.
38. Scientific Advisory Committee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: Attributes and review criteria. Qual Life Res. 2002; 11: 193 - 205.
39. Montero E. Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actualidades en Psicología. 2013; 27: 113 - 128.
40. DeVellis RF. Classical Test Theory. Med Care. 2006; 44: S50 - S59.
41. Muñiz J. Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo. 2010; 31: 57 - 66.
42. Hambleton RK, Jones RW. Comparison of Classical Test Theory and Item Response Theory and their applications to test development. Educational Measurement and Practice. 1993; 12: 38 - 47.
43. Pardo CA. Transformaciones en las pruebas para obtener resultados diferentes. República de Colombia, Ministerio de Educación Nacional, ICFES; 2002: 8.
44. Sánchez M. Introducción a la teoría de respuesta al ítem, una herramienta para el análisis de variables latentes: aplicación a la medición de la calidad de vida de la infancia. 2004; URL disponible en: http://www.asepelt.org/ficheros/File/Anales/2004%20-%20Leon/comunicaciones/S%E1nchez%20Rivero%20Texto.pdf.
45. Smith EVJ, Conrad KM, Chang K, Piazza J. An introduction to Rasch measurement for scale development and person assessment. J Nurs Meas. 2002; 10: 189 - 206.
46. Prieto G, Delgado AR. Análisis de un test mediante el modelo Rasch. Psicothema. 2003; 15: 94 - 100.
47. Tennant A, Conaghan PG. The Rasch measurement model in Rheumatology: what is it and why use it? When should it be applied and what should one look for in a Rasch paper? Arthritis & Rheumatism. 2007; 57: 1358 - 1362.
48. Tennant A, McKenna S, Hagell P. Application of Rasch analysis in the development and application of Quality of Life instruments. Value Health. 2004; 7: S22 - S26.
49. Sánchez R, Villamizar L, Ortiz N. Validación de la escala FACT-Cx en Colombia usando el modelo de teoría de respuesta al ítem. Rev Colomb Cancerol. 2011; 15: 13 - 21.
50. Szklo M, Nieto J. Falta de Validez: Sesgo. In: Szklo M, Nieto J, editors. Epidemiología Intermedia. Conceptos y Aplicaciones. Madrid: Díaz de Santos; 2003. p. 109 - 153.
51. Kelly S, Berry E, Proderick P, Harris KM, Cullingworth J, Gathercole L et al. The identification of bias in studies of the diagnostic performance of imaging modalities. Br J Radiol. 1997; 70: 1028 - 1035.
52. Orozco LC. Validez de los estudios de validez o de los sesgos, cómo evitarlos y algo más. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 159 - 169.
53. Campbell SK, Kolobe THA, Osten ET, Girolami GL. Construct validity of the Test Infant Motor Performance. Phys Ther. 1995; 75: 585 - 596.
54. Finlayson ML, Peterson EW, Fujimoto KA, Plow MA. Rasch validation of the Falls Prevention Strategies Survey. Arch Phys Med Rehabil. 2009; 90: 2039 - 2046.
55. Wong HM, McGrath CP, King NM. Rasch validation of the Early Childhood Oral Health Impact Profile. Community Dent Oral Epidemiol. 2011; 39: 449 - 457.
56. Franchingnoni M, Giordano A, Levrini L, Ferriero G, Franchignoni F. Rasch analysis of the Geriatric Oral Health
2. Sánchez MDC. Glosario General. En: Ortin E, Sánchez JA, Menárguez JF, Hidalgo IM. Lectura Crítica de un Artículo sobre Diagnóstico. p. 43 - 66. URL disponible en: murciasalud.es.
3. Guyatt G, Feeny D, Patrick D. Measuring health related quality of life. Ann Int Med. 1993; 118: 622 - 629.
4. Slade GD. Derivation and validation of a short-form Oral Health Impact Profile. Community Dent Oral Epidemiol. 1997; 25: 284 - 290.
5. Atchinxon KA, Dolan TA. Development of the geriatric oral health assessment index. J Dent Educ. 1990; 54: 680 - 687.
6. Pahel BT, Rozier RG, Slade GD. Parental perception of children’s oral health: The Early Childhood Oral Health Impact Scale (ECOHIS). Health Qual Life Outcomes. 2007; 5: 6.
7. Nunnally JC, Bernstein IJ. Enfoques tradicionales de la Escala de Medición. En: Teoría Psicométrica. México: McGraw - Hill; 1995. p. 37 - 91.
8. Domholdt E. Measurement Theory. Physical Research Therapy. Principles and applications. Philadelphia: W. B. Saunders Company; 1993. p. 143 - 161.
9. Raykov T, Marcoulides GA. Introduction to Psychometric Theory. New York: Taylor & Francis Group; 2011.
10. Connolly MA, Johnson JA. Measuring quality of life in paediatric patients. Pharmacoeconomics. 1999; 16: 605 - 626.
11. Sackett DL, Haynes RB. The arquitecture of diagnostic research. BMJ. 2002; 324: 539 - 541.
12. Gluud C, Gluud LL. Evidence based diagnostic. BMJ. 2005; 330: 724 - 726.
13. Orozco LC, Camargo DM. Evaluación de tecnologías diagnósticas y tipos de muestreos. Biomédica. 1997; 17: 321 - 324.
14. Kraemer HC. Populations and Sampling. Evaluating Medical Tests. Objective and Quantitative Guidelines. London: Sage Publications; 1992. p. 34 - 61.
15. Orozco LC. Fases y muestreos, o de cómo tomar las personas de una población para hacer un estudio. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 63 - 72.
16. Streiner DL, Norman GR. Validity. Health Measurement Scales. A Practical Guide to Their Developmenta and Use. New York: Oxford University Press; 2008. p. 247 - 276.
17. Valderas JM, Ferrer M, Alonso J. Instrumentos de medida de calidad de vida relacionada con la salud y de otros resultados percibidos por los pacientes. Med Clin (Barc). 2005; 125: 56 - 60.
18. Kane MT. Current concerns in validity theory. J Educ Measure. 2001; 38: 319 - 342.
19. Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955; 52: 281 - 302.
20. Guion RM. On trinitarian doctrines of validity. Professional Psychol. 1980; 11: 385 - 398.
21. Landy FJ. Stamp collecting versus science. Validation as hypothesis testing. Am Psychol. 1986; 41: 1183 - 1892.
22. Orozco LC. Validez y validación o de cómo construir la validez de un constructo. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 105 - 114.
23. Messick S. Validity of psychological assessment. Validation of inferences from person’s responses and performances as scientific inquiry into score meaning. Am Psychol. 1995; 50: 741 - 749.
24. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standars for Education and Psychological Testing. Washington, D.C.: American Educational Research Association; 1999.
25. Prieto G, Delgado AR. Fiabilidad y validez. Papeles del Psicólogo. 2010; 31: 67 - 74.
26. Fayers P, Machin D. Scores and Measurements: Validity, Reliability, Sensivity. En: Quality of Life: The Assessment, Analysis and Interpretation of Patient-Reported Outcomes. Great Britain: Willey; 2007. p. 77 - 108.
27. Bond TG, Fox CM. Applying the Rasch Model. Fundamental Measurement in the Human Sciences. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., Publishers; 2007.
28. Domholdt E. Methodological Research. Physical Research Therapy. Principles and Applications. Philadelphia: W. B. Saunders Company; 1993. p. 162 - 171.
29. Streiner DL. Stating at the beginning: an introduction to coefficient alpha and internal consistency. J Pers Assess. 2003; 80: 99 - 103.
30. Orozco LC. Confiabilidad o de la consistencia, reproducibilidad, acuerdo y algo más. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 73 - 103.
31. Consiglio E, Belloso WH. Nuevos indicadores clínicos. La calidad de vida relacionada con la salud. Medicina. 2003; 63: 172 - 178.
32. Tavakol M, Dennick R. Making sense of Cronbach’s alpha [editorial]. Int J Med Educ. 2011; 2: 53 - 55.
33. Terwee CB, Bot SDM, de Boer MR, DAW vdW, Dirk L, Knol DL et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007; 60: 34 - 42.
34. Deyo RA, Diehr P, Patrick DL. Reproducibility and responsiveness of health status measures. Statistics and strategies for evaluation. Control Clin Trials. 1991; 12: 142S - 158S.
35. Castro-Jiménez MÁ, Cabrera-Rodríguez D, Castro-Jiménez MI. Evaluación de tecnologías diagnósticas: conceptos básicos en un estudio con muestreo transversal. Rev Colomb Obstet Ginecol. 2007; 58: 45 - 52.
36. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979; 86: 420 - 428.
37. Bland M, Altman D. Statistical methods for assessing agreement between two methods of clinical measurements. Lancet. 1986; 8: 307 - 310.
38. Scientific Advisory Committee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: Attributes and review criteria. Qual Life Res. 2002; 11: 193 - 205.
39. Montero E. Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actualidades en Psicología. 2013; 27: 113 - 128.
40. DeVellis RF. Classical Test Theory. Med Care. 2006; 44: S50 - S59.
41. Muñiz J. Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo. 2010; 31: 57 - 66.
42. Hambleton RK, Jones RW. Comparison of Classical Test Theory and Item Response Theory and their applications to test development. Educational Measurement and Practice. 1993; 12: 38 - 47.
43. Pardo CA. Transformaciones en las pruebas para obtener resultados diferentes. República de Colombia, Ministerio de Educación Nacional, ICFES; 2002: 8.
44. Sánchez M. Introducción a la teoría de respuesta al ítem, una herramienta para el análisis de variables latentes: aplicación a la medición de la calidad de vida de la infancia. 2004; URL disponible en: http://www.asepelt.org/ficheros/File/Anales/2004%20-%20Leon/comunicaciones/S%E1nchez%20Rivero%20Texto.pdf.
45. Smith EVJ, Conrad KM, Chang K, Piazza J. An introduction to Rasch measurement for scale development and person assessment. J Nurs Meas. 2002; 10: 189 - 206.
46. Prieto G, Delgado AR. Análisis de un test mediante el modelo Rasch. Psicothema. 2003; 15: 94 - 100.
47. Tennant A, Conaghan PG. The Rasch measurement model in Rheumatology: what is it and why use it? When should it be applied and what should one look for in a Rasch paper? Arthritis & Rheumatism. 2007; 57: 1358 - 1362.
48. Tennant A, McKenna S, Hagell P. Application of Rasch analysis in the development and application of Quality of Life instruments. Value Health. 2004; 7: S22 - S26.
49. Sánchez R, Villamizar L, Ortiz N. Validación de la escala FACT-Cx en Colombia usando el modelo de teoría de respuesta al ítem. Rev Colomb Cancerol. 2011; 15: 13 - 21.
50. Szklo M, Nieto J. Falta de Validez: Sesgo. In: Szklo M, Nieto J, editors. Epidemiología Intermedia. Conceptos y Aplicaciones. Madrid: Díaz de Santos; 2003. p. 109 - 153.
51. Kelly S, Berry E, Proderick P, Harris KM, Cullingworth J, Gathercole L et al. The identification of bias in studies of the diagnostic performance of imaging modalities. Br J Radiol. 1997; 70: 1028 - 1035.
52. Orozco LC. Validez de los estudios de validez o de los sesgos, cómo evitarlos y algo más. En: Medición en Salud. Diagnóstico y Evaluación de Resultados. Bucaramanga: Universidad Industrial de Santander; 2010. p. 159 - 169.
53. Campbell SK, Kolobe THA, Osten ET, Girolami GL. Construct validity of the Test Infant Motor Performance. Phys Ther. 1995; 75: 585 - 596.
54. Finlayson ML, Peterson EW, Fujimoto KA, Plow MA. Rasch validation of the Falls Prevention Strategies Survey. Arch Phys Med Rehabil. 2009; 90: 2039 - 2046.
55. Wong HM, McGrath CP, King NM. Rasch validation of the Early Childhood Oral Health Impact Profile. Community Dent Oral Epidemiol. 2011; 39: 449 - 457.
56. Franchingnoni M, Giordano A, Levrini L, Ferriero G, Franchignoni F. Rasch analysis of the Geriatric Oral Health
Published
2012-07-01
How to Cite
Rodríguez Gómez, M., Camargo Lemos, D., & Orozco Vargas, L. (2012). METHODOLOGICAL ASPECTS FOR DIAGNOSTIC TESTS ASSESSMENT STUDIES. Ustasalud, 11(2), 115 - 123. https://doi.org/https://doi.org/10.15332/us.v11i2.1124
Issue
Section
Review papers
