Skip to main content
Log in

Qualität von Befunderstellung, Beurteilung und Selbsteinschätzung bei der Auswertung von Radiographien des Thorax in einer Ebene in Abhängigkeit von der Verwendung eines anatomischen Betrachtungsschemas und der Auswerterexpertise

Quality of findings, interpretation, and self-assessment of readers of chest x-rays acquired in one plane depending on the use of an anatomical viewing scheme and reader expertise

  • Originalien
  • Published:
Der Radiologe Aims and scope Submit manuscript

Zusammenfassung

Ziel

Die Objektivierung von Effekten eines anatomischen Betrachtungsschemas auf die Korrektheit von (a) Befunden, (b) Beurteilungen und (c) Selbsteinschätzungen der Auswerter bei Radiographien des Thorax in einer Ebene und die Einschätzung weiterer Einflussfaktoren.

Material und Methoden

Zwanzig Radiologen mit 3 bis 60 Monaten Vollzeiterfahrung in Radiographie werteten 12 Radiographien des Thorax in einer Ebene unterschiedlicher Schwierigkeit mit und ohne Verwendung eines anatomischen Betrachtungsschemas mit mindestens einem Monat Abstand aus (n = 480). Im Konsensus von 3 radiologischen Experten wurden (a) und (b) anhand einer aktuellen Computertomographie ermittelt und die Selbsteinschätzung (c) abgefragt.

Ergebnisse

(a) 21 % der vorhandenen Pathologien wurden übersehen oder nicht beschrieben. Weitere 20 % wurden zwar erkannt, aber in ihrem Ausmaß nicht korrekt erfasst. (b) 62 % der Beurteilungen und 31 % der abgeleiteten klinischen Konsequenz waren falsch und (c) in 39 % der Auswertungen überschätzten sich die Probanden. Experten waren schneller und besser als Novizen, aber für die Schemaverwendung ergaben sich darüber hinaus keine nennenswerten Unterschiede (p jeweils >0,5). Der stärkste Effekt trat für einen Vergleich mit dem in der Routine erzeugten Befundbericht auf, der nach gemeinsamer Auswertung von Novizen und Experten entstand und auch den Studienergebnissen der Experten allein in (a), (b) und (c) jeweils deutlich überlegen war (p jeweils <0,001).

Schlussfolgerung

Die Auswertung der Radiographien des Thorax in einer Ebene war oft unvollständig oder sogar falsch und die Auswerter überschätzten sich, woran die Verwendung des anatomischen Betrachtungsschemas jeweils nichts änderte. Da sich die Fehler zwischen den Auswertern teilweise stark unterschieden, erscheint eine in vielen Weiterbildungseinrichtungen bereits gegebene Doppelauswertung von Radiographien durch zwei verschiedene Radiologen möglicherweise grundsätzlich empfehlenswert.

Abstract

Purpose

To objectify effects of an anatomical viewing scheme on the respective correctness of (a) findings, (b) interpretations, and (c) self-assessments of readers in chest radiographs acquired in one plane and the assessment of other influencing factors.

Materials and methods

In all, 20 radiologists with 3–60 months of full-time radiography experience evaluated 12 chest radiographs of varying difficulty: once with and once without using an anatomical viewing scheme with at least 1 month in between (n = 480). In consensus of 3 radiological experts (a) and (b) were determined by means of a current computed tomography. The self-assessment (c) of readers was queried.

Results

(a) Findings were either missed or not described in 21%. Another 20% were recognized, but incorrectly described, (b) 62% of interpretations and 31% of derived clinical consequences were wrong and (c) in 39% of items the readers overestimated themselves. Experts were faster and better than novices, but for the scheme usage no further significant differences were detected (p > 0.5, respectively). The most pronounced effect was found in comparison with the routine report produced by the joint evaluation of novices and experts being clearly superior even to the expert study results (a), (b) and (c) alone (p < 0.001, respectively).

Conclusion

Reporting of chest X‑rays acquired in one plane was often incomplete or even wrong, and the evaluators overestimated themselves, which was not influenced by the use of the anatomical viewing scheme. Since errors between the evaluators sometimes differed greatly, duplicate evaluation of the radiographs by two different radiologists, which is already the case in many training facilities, may possibly be advisable in general.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Abb. 1
Abb. 2
Abb. 2
Abb. 3
Abb. 4
Abb. 5
Abb. 6
Abb. 7

Literatur

  1. Fotenos AF, Safdar NM, Nagy PG, Mezrich R, Lewin JS (2013) Unbiased review of digital diagnostic images in practice: informatics prototype and pilot study. Acad Radiol 20(2):238–242

    Article  Google Scholar 

  2. Wirth S, William YA, Paolini M, Wirth K, Maxien D, Reiser M et al (2018) Improvement of radiological teaching—effects of focusing of learning targets and increased consideration of learning theory knowledge. Rofo 190(2):161–174

    Article  Google Scholar 

  3. Christiansen JM, Gerke O, Karstoft J, Andersen PE (2014) Poor interpretation of chest X‑rays by junior doctors. Dan Med J 61(7):A4875

    PubMed  Google Scholar 

  4. Kok EM, Jarodzka H, de Bruin AB, BinAmir HA, Robben SG, van Merriënboer JJ (2016) Systematic viewing in radiology: seeing more, missing less? Adv Health Sci Educ Theory Pract 21(1):189–205

    Article  Google Scholar 

  5. Wirth S, Schofer H, Kotsianos-Hermle D, Korner M, Lucke A, Pfeifer KJ et al (2006) Comparison of different review displays with respect to the detection of low-contrast details in digital radiographs. Rofo 178(7):698–705

    Article  CAS  Google Scholar 

  6. Faul F, Erdfelder E, Lang AG, Buchner A (2007) G*Power 3: a flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behav Res Methods 39(2):175–191

    Article  Google Scholar 

  7. Shaffer JP (1995) Multiple hypothesis testing. Annu Rev Psychol 46:561–584

    Article  Google Scholar 

  8. MFT (2015) Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM), S 185–188 (Available from: http://www.nklm.de/files/nklm_final_2015-07-03.pdf)

    Google Scholar 

  9. Subramaniam RM, Sherriff J, Holmes K, Chan MC, Shadbolt B (2006) Radiology curriculum for medical students: clinicians’ perspectives. Australas Radiol 50(5):442–446

    Article  CAS  Google Scholar 

  10. Eva KW, Hatala RM, Leblanc VR, Brooks LR (2007) Teaching from the clinical reasoning literature: combined reasoning strategies help novice diagnosticians overcome misleading information. Med Educ 41(12):1152–1158

    Article  Google Scholar 

  11. Ark TK, Brooks LR, Eva KW (2006) Giving learners the best of both worlds: do clinical teachers need to guard against teaching pattern recognition to novices? Acad Med 81(4):405–409

    Article  Google Scholar 

  12. Carmody DP, Kundel HL, Toto LC (1984) Comparison scans while reading chest images. Taught, but not practiced. Invest Radiol 19(5):462–466

    Article  CAS  Google Scholar 

  13. Kok EM, de Briun ABH, Robben SGF, van Merriënboer JJG (2012) Looking in the same manner but seeing it differently: bottom up and expertise effects in radiology. Appl Cogn Psychol 26:854–862

    Article  Google Scholar 

  14. Morita JMK, Kitasaka T et al (2008) Interactions of perceptual and conceptual processing: expertise in medical image diagnosis. Int J Hum Comput Stud 66:370–390

    Article  Google Scholar 

  15. Blondon K, Wipfli R, Lovis C (2015) Use of eye-tracking technology in clinical reasoning: a systematic review. Stud Health Technol Inform 210:90–94

    PubMed  Google Scholar 

  16. Pinto A, Brunese L (2010) Spectrum of diagnostic errors in radiology. World J Radiol 2(10):377–383

    Article  Google Scholar 

  17. Berbaum KS, Schartz KM, Caldwell RT, El-Khoury GY, Ohashi K, Madsen M et al (2012) Satisfaction of search for subtle skeletal fractures may not be induced by more serious skeletal injury. J Am Coll Radiol 9(5):344–351

    Article  Google Scholar 

  18. Berbaum KS, Schartz KM, Caldwell RT, Madsen MT, Thompson BH, Mullan BF et al (2013) Satisfaction of search from detection of pulmonary nodules in computed tomography of the chest. Acad Radiol 20(2):194–201

    Article  Google Scholar 

  19. Berbaum KS, Franken EA Jr., Anderson KL, Dorfman DD, Erkonen WE, Farrar GP et al (1993) The influence of clinical history on visual search with single and multiple abnormalities. Invest Radiol 28(3):191–201

    Article  CAS  Google Scholar 

  20. Simons DJ, Chabris CF (1999) Gorillas in our midst: sustained inattentional blindness for dynamic events. Perception 28(9):1059–1074

    Article  CAS  Google Scholar 

  21. Drew T, Vo ML, Wolfe JM (2013) The invisible gorilla strikes again: sustained inattentional blindness in expert observers. Psychol Sci 24(9):1848–1853

    Article  Google Scholar 

  22. Fleck MS, Mitroff SR (2007) Rare targets are rarely missed in correctable search. Psychol Sci 18(11):943–947

    Article  Google Scholar 

  23. Kreitz C, Furley P, Memmert D, Simons DJ (2015) Inattentional blindness and individual differences in cognitive abilities. PLoS ONE 10(8):e134675

    Article  Google Scholar 

  24. Most SB, Simons DJ, Scholl BJ, Jimenez R, Clifford E, Chabris CF (2001) How not to be seen: the contribution of similarity and selective ignoring to sustained inattentional blindness. Psychol Sci 12(1):9–17

    Article  CAS  Google Scholar 

  25. Manning D, Ethell S, Donovan T (2004) Categories of observer error from eye tracking and AFROC data. Proc SPIE 5372:90. https://doi.org/10.1117/12.533489

    Article  Google Scholar 

  26. Manning DJ, Ethell SC, Donovan T (2004) Detection or decision errors? Missed lung cancer from the posteroanterior chest radiograph. Br J Radiol 77(915):231–235

    Article  CAS  Google Scholar 

  27. Kelly BS, Rainford LA, Darcy SP, Kavanagh EC, Toomey RJ (2016) The development of expertise in radiology: in chest radiograph interpretation, “expert” search pattern may predate “expert” levels of diagnostic accuracy for pneumothorax identification. Radiology 280(1):252–260

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Daniel Maxien MD.

Ethics declarations

Interessenkonflikt

S. Wirth, F. Mueck, M.T. Berndt, M. Berndt, M. Fischer und D. Maxien geben an, dass kein Interessenkonflikt besteht.

Alle beschriebenen Untersuchungen am Menschen oder an menschlichem Gewebe wurden mit Zustimmung der zuständigen Ethikkommission, im Einklang mit nationalem Recht sowie gemäß der Deklaration von Helsinki von 1975 (in der aktuellen, überarbeiteten Fassung) durchgeführt. Von allen beteiligten Probanden liegt eine Einverständniserklärung vor.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Wirth, S., Mueck, F., Berndt, M.T. et al. Qualität von Befunderstellung, Beurteilung und Selbsteinschätzung bei der Auswertung von Radiographien des Thorax in einer Ebene in Abhängigkeit von der Verwendung eines anatomischen Betrachtungsschemas und der Auswerterexpertise. Radiologe 60, 850–862 (2020). https://doi.org/10.1007/s00117-020-00673-7

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s00117-020-00673-7

Schlüsselwörter

Keywords

Navigation