zur Navigation zum Inhalt
 
Praxis 3. Juli 2008

Fachliche Kritik an der Testqualität

Die Präsentation der Analyse des Eignungstests für das Medizinstudium im Frühjahr hat viel Staub aufgewirbelt. Vor allem die Schuldzuweisung an den offenbar zu wenig gendergerechten Schulunterricht (die Ärzte Woche berichtete) sorgte für Aufregung. Die bei der testtheoretischen Analyse festgestellten strukturellen Probleme des EMS wurden in der Öffentlichkeit hingegen kaum zur Sprache gebracht.

Die Ärzte Woche bat die Studienautorinnen Prof. Dr. Christiane Spiel und Prof. Dr. Barbara Schober vom Institut für Wirtschaftspsychologie, Bildungspsychologie und Evaluation an der Universität Wien zum Interview.

Frau Prof. Spiel, Sie haben den EMS wegen den geschlechtsspezifischen Testergebnissen hinsichtlich der Fairness überprüft. Wie war die Vorgehensweise?
Spiel: Wir haben anhand der klassischen testtheoretischen Gütekriterien analysiert – das sind klar vorgegebene Kriterien, die zu erfüllen sind. Wir haben uns außerdem die bildungswissenschaftlichen und psychologischen Anforderungen an Auswahlverfahren angesehen. Wir können nun sagen, dass eine Reihe von Kriterien beim EMS erfüllt sind. So hat er z. B. eine langjährige Entwicklungsarbeit hinter sich, in die viele Expertinnen und Experten eingebunden waren, er basiert auf einem Anforderungsprofil und er ist ein objektiver Test.

Aber es gibt auch Kritikpunkte?
Spiel: Schon bezüglich des Anforderungsprofils muss ich einschränken, dass von den ursprünglich etwa 50 definierten Bereichen nur ein kleiner Ausschnitt geprüft wird. Nämlich die Bereiche, die sich sehr leicht prüfen lassen.

In Ihrem Bericht nennen Sie die fehlende Trennschärfe der Aufgaben als wesentlichen Mangel des EMS. Was ist gemeint?
Spiel: Eine Aufgabe ist trennscharf, wenn sie gut zwischen Personen differenzieren kann, die insgesamt gut und weniger gut sind. Wenn der Test z. B. 20 Aufgaben hat, dann erwarten wir von einer Person, die 18 der Aufgaben löst, dass sie eine zufällig herausgegriffene eher richtig hat als eine Person, die insgesamt nur zwei Aufgaben im Test löst. Für den EMS kommt heraus, dass die Aufgaben keine so gute Trennschärfe haben.

Welche Folgen hat das?
SPIEL: Der Test ist nicht sehr gut in der Lage, zu differenzieren und auszusagen, ob eine Person sehr gut in einer bestimmten Eigenschaft ist oder nicht. Weil die einzelnen Aufgaben das eben nicht können.

Frau Prof. Schober, das ist eine grundlegende Kritik am Eignungstest für Medizinstudierende?
BAUER: Definitiv. Zumal die meisten Aufgaben nicht einmal ein mittleres Maß erreichen. In Summe ist eigentlich keine Aufgabe dabei, die einen guten Wert hat.

Messen die Aufgaben wirklich nur die zu prüfenden Fähigkeiten?
Spiel: Wir haben uns angesehen, ob nicht noch andere Faktoren einen Einfluss auf die Lösung haben. Dabei haben wir festgestellt, dass sehr wohl andere Aspekte, wie z. B. das Geschlecht oder der soziale Hintergrund eine Rolle spielen.

Wie ist es mit dem Faktor Zufall?
Spiel: Der Multiple-choice-Test gibt fünf Antwortalternativen vor, eine ist jeweils richtig. Das bedeutet, dass durch Raten 20 Prozent der Aufgaben richtig gelöst werden können. Das ist zweifellos ein Manko. Andere Verfahren schalten die Ratewahrscheinlichkeit aus, indem es jeweils ein bis vier richtige Antworten pro Aufgabe gibt. Zudem ist es problematisch, dass nur auf Gesamttestebene eine Reliabilität gegeben ist, aber nicht für die einzelnen Untertests.

Das Gespräch führte Inge Smolek

In der nächsten Ausgabe: die besondere Bedeutung der Schwächen des EMS für heimische Studierwillige.

Inge Smolek, Ärzte Woche 27/2008

Zu diesem Thema wurden noch keine Kommentare abgegeben.

Medizin heute

Aktuelle Printausgaben