Skip to main content
Erschienen in: Wiener Medizinische Wochenschrift 5-6/2019

18.09.2018 | themenschwerpunkt

Gütekriterien bei universitären Prüfungen im Lichte von Kanes Rahmenwerk

verfasst von: PD Dr. Volkhard Fischer

Erschienen in: Wiener Medizinische Wochenschrift | Ausgabe 5-6/2019

Einloggen, um Zugang zu erhalten

Zusammenfassung

Die Empfehlungen für fakultätsinterne Prüfungen von GMA und MFT von 2014 stellen einen wichtigen Schritt zur Verbesserung der Prüfungen in der deutschsprachigen Medizinausbildung dar. Weil aber einige wichtige Aspekte von Prüfungen in den Empfehlungen nur angedeutet wurden, sind weitere Anstrengungen notwendig.
Von den internationalen Publikationen, die sich mit substanziellen Fragen zur Verbesserung von Tests beschäftigen, kommt dem theoretischen Rahmen, den Kane 2013 zur Validierung von Tests vorgeschlagen hat, besondere Bedeutung für Prüfungen im Medizinstudium zu. Aber seine konsequente Anwendung zur Verbesserung von Prüfungen in Studiengängen wie dem der Medizin steht noch aus. Der Beitrag versucht eine indirekte, allgemeine Antwort auf die Frage zu geben, was bei der Planung von Prüfungen im Zusammenhang mit einem Studiengang wie dem der Medizin zu beachten ist.
Literatur
1.
Zurück zum Zitat Bandaranayake RC. Setting and maintaining standards in multiple choice examinations. Dundee: Association for Medical Education in Europe; 2010. Bandaranayake RC. Setting and maintaining standards in multiple choice examinations. Dundee: Association for Medical Education in Europe; 2010.
2.
Zurück zum Zitat Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790–801.CrossRef Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790–801.CrossRef
3.
Zurück zum Zitat Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007;29(9):855–71.CrossRef Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007;29(9):855–71.CrossRef
4.
Zurück zum Zitat Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30(9–10):836–45.CrossRef Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30(9–10):836–45.CrossRef
5.
Zurück zum Zitat Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569–84.CrossRef Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569–84.CrossRef
6.
Zurück zum Zitat Friedman Ben-David M. Standard setting in student assessment. Dundee: Association for Medical Education in Europe; 2000. Friedman Ben-David M. Standard setting in student assessment. Dundee: Association for Medical Education in Europe; 2000.
7.
Zurück zum Zitat Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955;52(4):281–302.CrossRef Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955;52(4):281–302.CrossRef
8.
Zurück zum Zitat Lienert GA. Testaufbau und Testanalyse. 4. Aufl. München: Psychologie Verlags Union; 1989. Lienert GA. Testaufbau und Testanalyse. 4. Aufl. München: Psychologie Verlags Union; 1989.
9.
Zurück zum Zitat Messick S. Validity. In: Linn RL, Hrsg. Educational measurement. New York: American Council on Education, Macmillan; 1989. S. 13–103. Messick S. Validity. In: Linn RL, Hrsg. Educational measurement. New York: American Council on Education, Macmillan; 1989. S. 13–103.
10.
Zurück zum Zitat Cook TD, Campbell DT. Quasi-Experimentation. Chicago: Rand McNally; 1979. Cook TD, Campbell DT. Quasi-Experimentation. Chicago: Rand McNally; 1979.
11.
Zurück zum Zitat Schuwirth LWT, van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ. 2012;46:38–48.CrossRef Schuwirth LWT, van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ. 2012;46:38–48.CrossRef
12.
Zurück zum Zitat Jünger J, Just I. Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human‑, Zahn- und Tiermedizin. Z Med Ausbild. 2014;31(3):doc34. Jünger J, Just I. Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human‑, Zahn- und Tiermedizin. Z Med Ausbild. 2014;31(3):doc34.
13.
Zurück zum Zitat Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer M. Leitlinie für Fakutäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pürfungen und des Kompetenzentrums Prüfungen Baden-Württemberg. Z Med Ausbild. 2008;25(1):Doc74. Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer M. Leitlinie für Fakutäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pürfungen und des Kompetenzentrums Prüfungen Baden-Württemberg. Z Med Ausbild. 2008;25(1):Doc74.
14.
Zurück zum Zitat Kirschstein T, Wolters A, Lenz J‑H, Fröhlich S, Hakenberg O, Kundt G, et al. Ein Algorithmus zur Berechnung von Klausurqualität als Bemessungsgrundlage für LOM-Lehre. GMS J Med Educ. 2016;33(3):Doc44.PubMedPubMedCentral Kirschstein T, Wolters A, Lenz J‑H, Fröhlich S, Hakenberg O, Kundt G, et al. Ein Algorithmus zur Berechnung von Klausurqualität als Bemessungsgrundlage für LOM-Lehre. GMS J Med Educ. 2016;33(3):Doc44.PubMedPubMedCentral
15.
Zurück zum Zitat Fischer V, Just I. Objectivity of written assessments: An approach to evaluate this criterion. 4th Research in Medical Education Symposium; 20.03.2015; München 2015. Fischer V, Just I. Objectivity of written assessments: An approach to evaluate this criterion. 4th Research in Medical Education Symposium; 20.03.2015; München 2015.
17.
Zurück zum Zitat American Educational Research Association, American Psychological Association, National Council on Measurement education. Standards for educational and psychological testing. Washington, DC: AERA, APA, NCME; 2014. American Educational Research Association, American Psychological Association, National Council on Measurement education. Standards for educational and psychological testing. Washington, DC: AERA, APA, NCME; 2014.
18.
Zurück zum Zitat Fischer V. Konzeptuelle Überlegungen für valide, reliable und faire Prüfungen. Jahrestagung der Gesellschaft für Medizinische Ausbildung; 23.9.2017; Münster. 2017. Fischer V. Konzeptuelle Überlegungen für valide, reliable und faire Prüfungen. Jahrestagung der Gesellschaft für Medizinische Ausbildung; 23.9.2017; Münster. 2017.
19.
Zurück zum Zitat Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2013;50(1):1–73.CrossRef Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2013;50(1):1–73.CrossRef
20.
Zurück zum Zitat Kane MT. Current concerns in validity theory. J Educ Meas. 2001;38(4):319–42.CrossRef Kane MT. Current concerns in validity theory. J Educ Meas. 2001;38(4):319–42.CrossRef
21.
Zurück zum Zitat Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporay approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49:560–75.CrossRef Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporay approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49:560–75.CrossRef
22.
Zurück zum Zitat Kane MT. Validation as a pragmatic, scientific activity. J Educ Meas. 2013;50(1):115–22.CrossRef Kane MT. Validation as a pragmatic, scientific activity. J Educ Meas. 2013;50(1):115–22.CrossRef
23.
Zurück zum Zitat Kane MT. Validating high-stakes testing programs. Educ Meas Issues Pract. 2002;21(1):31–41.CrossRef Kane MT. Validating high-stakes testing programs. Educ Meas Issues Pract. 2002;21(1):31–41.CrossRef
24.
Zurück zum Zitat Popper KR. Logik der Forschung. 7. Aufl. Tübingen: Mohr; 1982. Popper KR. Logik der Forschung. 7. Aufl. Tübingen: Mohr; 1982.
25.
Zurück zum Zitat Kunnan AJ. Statistical analyses for test fairness. Rev Fr Linguist Appl. 2010;1(15):39–48. Kunnan AJ. Statistical analyses for test fairness. Rev Fr Linguist Appl. 2010;1(15):39–48.
26.
Zurück zum Zitat Koretz D. Making the term “validity” useful. Assess Educ Princ Policy Pract. 2016;23(2):290–2. Koretz D. Making the term “validity” useful. Assess Educ Princ Policy Pract. 2016;23(2):290–2.
27.
Zurück zum Zitat Newton PE, Shaw SD. Disagreement over the best way to use the word “validity” and options for reaching consensus. Assess Educ Princ Policy Pract. 2016;23(2):178–97. Newton PE, Shaw SD. Disagreement over the best way to use the word “validity” and options for reaching consensus. Assess Educ Princ Policy Pract. 2016;23(2):178–97.
28.
Zurück zum Zitat Newton PE. Two kinds of argument? J Educ Meas. 2013;50(1):105–9.CrossRef Newton PE. Two kinds of argument? J Educ Meas. 2013;50(1):105–9.CrossRef
29.
Zurück zum Zitat Moss PE. Validity in action: lessons from studies of data use. J Educ Meas. 2013;50(1):91–8.CrossRef Moss PE. Validity in action: lessons from studies of data use. J Educ Meas. 2013;50(1):91–8.CrossRef
30.
Zurück zum Zitat Wolming S, Wikström C. The concept of validity in theory and practice. Assess Educ Princ Policy Pract. 2010;17(2):117–32. Wolming S, Wikström C. The concept of validity in theory and practice. Assess Educ Princ Policy Pract. 2010;17(2):117–32.
31.
Zurück zum Zitat Lindner MA, Strobel B, Köller O. Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. Z Padagog Psychol. 2015;29(3–4):133–49. Lindner MA, Strobel B, Köller O. Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. Z Padagog Psychol. 2015;29(3–4):133–49.
32.
Zurück zum Zitat Tekian A, Norcini JJ. Overcome the 60 % passing score and improve the quality of assessment. Z Med Ausbild. 2015;32(4):Doc43. Tekian A, Norcini JJ. Overcome the 60 % passing score and improve the quality of assessment. Z Med Ausbild. 2015;32(4):Doc43.
33.
Zurück zum Zitat Fischer V, Müller H, Just I. How differentiated are assessments in rating performance differences? A pragmatic method. 3rd Research in Medical Education Symposium; 25.3.2013; Berlin. 2013. Fischer V, Müller H, Just I. How differentiated are assessments in rating performance differences? A pragmatic method. 3rd Research in Medical Education Symposium; 25.3.2013; Berlin. 2013.
34.
Zurück zum Zitat MacKay DG. Problems with popper: the initial goal is to develop viable theories, not disconfirm them. Conscious Cogn. 1992;1:231–40.CrossRef MacKay DG. Problems with popper: the initial goal is to develop viable theories, not disconfirm them. Conscious Cogn. 1992;1:231–40.CrossRef
35.
Zurück zum Zitat Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment. Dundee: Association for Medical Education in Europe (AMEE); 2008. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment. Dundee: Association for Medical Education in Europe (AMEE); 2008.
Metadaten
Titel
Gütekriterien bei universitären Prüfungen im Lichte von Kanes Rahmenwerk
verfasst von
PD Dr. Volkhard Fischer
Publikationsdatum
18.09.2018
Verlag
Springer Vienna
Erschienen in
Wiener Medizinische Wochenschrift / Ausgabe 5-6/2019
Print ISSN: 0043-5341
Elektronische ISSN: 1563-258X
DOI
https://doi.org/10.1007/s10354-018-0661-z

Weitere Artikel der Ausgabe 5-6/2019

Wiener Medizinische Wochenschrift 5-6/2019 Zur Ausgabe