Multiple Choice-Prüfungen

„Item writing has been, is, and always will be an art. However, sophisticated, technically oriented, and computer-generative techniques have been developed to assist the item writer.“ (Rodriguez 2005, 3)

Prüfungen im Antwort-Wahl-Format, meist als „Multiple und Single Choice“ oder kürzer als „Multiple Choice“ (MC) bezeichnet, sind in Zeiten von Online-Klausuren von besonderem Interesse. Die inhaltliche Konzeption wird in der Literatur wiederholt als „Kunst“ bezeichnet, weil sie aufwendiger ist als das kurze Format glauben lässt. Dabei gilt für diese Art geschlossener Fragen dasselbe wie für andere Prüfungsfragen: Sie müssen auf die Lernziele und das didaktische Konzept der Lehrver­anstaltung (beziehungsweise des Moduls) abgestimmt sein (Constructive Alignment). „Neben der inhaltlichen Übereinstim­mung sollen auch die in der Lehrveranstaltung eingeübten Denkprozesse auf demselben Komplexi­tätsniveau liegen, wie sie in der Prüfung zu leisten sind.“ (Uni Zürich, 1)

Testtheorie, Gütekriterien, Schwierigkeitsindex & Trennschärfe

Welche rechtlichen Rahmenbedingungen gibt es für Prüfungen? Welchen Zweck verfolgen Universitäten mit Prüfungen? Wie sind Prüfungsnoten einzuordnen? Darum geht in den ersten knapp zehn Minuten des folgenden Videos. Es handelt sich um einen Mitschnitt einer Präsentation von Dr. med. Andreas Burger vom Zentrum für medizinische Lehre der Ruhr-Universität Bochum, die er im Rahmen eines Online-Workshops für Lehrende zur Konzeption von Multiple Choice-Prüfungen am 2. Februar 2021 gehalten hat (Video-Dauer gesamt: 22:43 Minuten).

Ab ca. 10:30 Minuten des Videos erläutert Burger die klassische Testtheorie und die Gütekriterien für Prüfungen (Objektivität, Reliabilität und Validität). Ab ca. Minute 15:25 des Mitschnitts erklärt der Prüfungsexperte die wichtigen Parameter Schwierigkeitsindex und Trennschärfe.

Beide Statistiken können Sie sich nach Vollendung einer Online-Klausur in Moodle anzeigen lassen, wie Ralf Otto vom eLearning-Team der RUB in diesem einminütigen Video zeigt.

Blueprint

Ein Blueprint ist ein Schema, das Sie vorab für eine Prüfung anlegen, um die Inhalte zu gewichten. Wie ein solcher Blueprint aussehen kann und warum er sinnvoll ist, erläutert Andreas Burger im folgenden Mitschnitt des Online-Workshops (Dauer: 6:15 Minuten)

Hier finden Sie eine Vorlage für ein Blueprint (Office-Dokument).

Fragetypen

Es gibt sieben gängige Fragetypen:

• Positive Einfachwahl aus fünf Wahlantworten (Typ A)
• Negative Einfachwahl aus fünf Wahlantworten (Typ Aneg)
• Zuordnung (Typ B)
• Erweiterte Zuordnung (Typ R)
• Wahl einer angegebenen Zahl bester Antworten (Typ PickN)
• Vierfache Entscheidung richtig/falsch (Typ Kprim/K’)
• Kausale Verknüpfung (Typ E)

Zusatzinfos zu den Fragetypen (aufklappbar)

In seiner frei zugänglichen Publikation über MC-Prüfungen schätzt der Schweizer Forscher René Krebs den Typ A als den „Standardtyp der MC-Methode“ ein, der „anteilsmässig in jeder MC-Prüfung klar dominieren“ solle (sic!) (Krebs 2004, 8).

Bei Typ Aneg gilt zu beachten, dass Sie keine doppelte Verneinung verwenden, und die Negation optisch hervorheben. „Sicher angezeigt ist dieser Itemtyp in den seltenen Fällen, in denen das Kennen einer wichtigen Ausnahme entscheidend ist. Viel häufiger wird er aber anders eingesetzt. Eigentlich soll das Kennen der vier positiven Antworten geprüft werden, die „richtige“ Antwort ist bloss das Abfallprodukt der Lösungen. Wenn es dabei um einen schwarz/weiss-Entscheid geht, wäre von der Prüfungsabsicht her ein Kprim-Item logischer. Fragen Sie sich aber zuerst grundsätzlich, ob nicht das Kennen des wichtigsten, wahrscheinlichsten, gefährlichsten XY relevanter und anwendungsnäher, ein positives A-Item also besser wäre.“ (sic!) (Krebs 2004, 9)

Typ B erfordert eine Zuordnung aus mehreren Optionen und wird von Krebs definiert mit den Worten „eigentlich um eine Serie von Fragen des Typs A mit den jeweils gleichen Wahlantworten“ (2004, 10). Er schätzt den Fragetyp „sowohl unter dem Validitäts- wie dem Reliabilitätsaspekt gleich gut geeignet wie der positiv formulierte Typ A“, und empfiehlt daher: „Es sollte von der Breite und Bedeutung deszugrunde liegenden Themas her entschieden werden, ob dafür ein einzelnes A-Item ausreicht, oder ob ein B-Komplex mit mehreren Items angemessener ist.“ (ebd)

Fragetyp R unterscheidet sich von Typ B dadurch, dass die Antwortliste bis zu 26 Optionen (A-Z) enthalten kann. Zur Anwendung beschreibt Krebs den Gedanken, der hinter der langen Liste von Antwortoptionen steht: „Es wird erhofft, dass es bei entsprechend langen Antwortlisten für die Prüfungskandidaten unökonomisch wird, diese nach der richtigen Lösung zu durchsuchen, dass sie diese selbst entwickeln und sie dann gezielt in der Liste suchen (=Annäherung an Fragen mit freier Beantwortung).“ (2004, 11)

Typ PickN ist die Bezeichnung für Fragen, die typischerweise unter „multiple choice“ verstanden werden, nämlich die Auswahl mehrerer Antwortoptionen, deren Anzahl zuvor festgelegt wird. Daraus ergibt sich der Einsatzzweck: „Der Typ ist für Problemstellungen geeignet, bei denen es mehrere wichtige Optionen gibt, die sich deutlich von anderen abheben (…)“ (Krebs 2004, 12).

Wenn für jede Antwortoption entschieden werden muss, ob diese richtig oder falsch ist, handelt es sich um den Fragetypen Kprim (auch K’). Hier ist eine Einschränkung wichtig: „Inhaltlich betrachtet ist der Typ K’ angezeigt, wenn es um einen Sachverhalt geht, bei dem mehrere Aspekte bedeutsam sein können, resp. ein Problem, zu dessen richtiger Lösung mehrere Elemente gehören können. Alle Antworten müssen schwarz/weiss beurteilbar sein. Der Typ K’ sollte nicht missbraucht werden, um völlig heterogene Aussagen zu einem breiten Thema in einem Item zusammenzuwürfeln.“ (sic!) (Krebs 2004, 13)

Bei Fragetyp E geht es um kausale Verknüpfungen, d.h. Sie brauchen zwei in sich geschlossene Aussagen, um diese auf Kausalität analysieren zu lassen. Krebs warnt vor dem Einsatz dieses Fragetypen: „Unter messtechnischem Gesichtspunkt sind E-Items ziemlich problematisch. Kausalitäten sind recht selten schwarz/weiss zu beurteilen. (Ist die Kausalität z.B. zu bejahen, wenn die zweite Aussage nur ein Grund unter mehreren ist?) Die Entscheidung zwischen den Antworten A und B ist damit oft auch eine Ermessensfrage und nicht nur vom Fachwissen abhängig. Anderseits ist es schwierig, E-Items zu konstruieren, in denen alles plausibel erscheint, obwohl eine oder gar beide Aussagen falsch sind. E-Items sind damit anfällig auf Cues, welche ihre Trennschärfe beeinträchtigen.“ (sic!) Darauf schlussfolgert er: „Typ E-Items sollten deshalb – wenn überhaupt – nur sehr sparsam eingesetzt werden.“ (2004, 15)

Antworten (Formulierungshilfen)

In einer dritten Präsentation erläuterte Burger im Online-Workshop die Entwicklung qualifizierter Prüfungsfragen. MC-Prüfungen bieten neben dem geringeren Korrekturaufwand den großen Vorteil, dass Sie damit ein größeres Spektrum an Inhalten abprüfen können als bei der Verwendung offener Fragetypen. Das Video (Dauer 29:33 Minuten) beginnt mit dem Nachteil des erhöhten Vorbereitungsaufwandes, es folgen eine Übersicht über die Grundregeln und die Fragetypen und viele konkrete Formulierungshilfen und Beispiele. Empfohlen wird zudem ein kollegiales Review, um gute MC-Fragen zu konzipieren.

Drei Antwortoptionen

Auf der Basis einer Meta-Studie widerspricht der Psychologe Michael C. Rodriguez der häufig anzutreffenden Vorgabe, vier oder fünf Antwortoptionen vorzugeben. Vielmehr deute die Datenlage darauf hin, dass drei Antwortoptionen praktikabel seien (2005, 11). Mehr Optionen führen demnach selten zu Verbesserungen der Testergebnisse, zumindest solange die weiteren Distraktoren nicht gut formuliert sind.

Hier und hier finden Sie zwei Arbeitsblätter zur Erstellung eigener MC-Fragen (Office-Dokumente).
Mit diesem Dokument des Zentrums für medizinische Lehre der RUB können Sie Ihr Wissen rund um MC-Fragen testen (pdf).

Prinzipien

Zusammenfassend lassen sich nach Krebs (2004, 10 ff.) folgende sieben Prinzipien für die Konzeption von MC-Fragen festhalten:

1. Inhalt vorwärtsorientiert relevant
2. Thema anwendungsorientiert
3. Frage fokussiert ? Antworten homogen
4. Lösung eindeutig
5. Schwierigkeit angemessen: (40)50 – 90 % richtige Antworten
6. eindeutig, prägnant, einfach formulieren
7. ungewollte Lösungshinweise vermeiden

Bestehensgrenze

Wo sollte die Bestehensgrenze angelegt werden und was bedeutet eine Gleitklausel für die Praxis an der Universität? Im folgenden Video äußert sich Dr. Burger zu seinen Erfahrungen aus der Lehre an der Medizinischen Fakultät der RUB (Dauer: ca. 3:48 Minuten).

Online-Klausuren mit Moodle

Moodle bietet Ihnen vielfältige Aufgaben- und Fragetypen, so dass Sie Multiple Choice-Prüfungen mit Moodle umsetzen können. Der Vorteil gegenüber einer MC-Prüfung in Präsenz ist, dass Sie in Moodle eine Randomisierung der Fragen und der Antwortoptionen einstellen können. Zudem können Sie, wenn Sie einen großen Fragepool einrichten, den Studierenden individuelle Prüfungen von Moodle generieren lassen. All das mindert die Täuschungswahrscheinlichkeit in Distanz-Prüfungen, wie sie durch die Covid-19-Pandemie notwendig wurden. Im Folgenden finden Sie mehrere wichtige Links.

Literatur & Links

Krebs, R. (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Bern: Universität Bern.

Rodriguez, M. C. (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. In: Educational Measurement: Issues and Practice, Volume 24, Issue 2, 3-13. doi:10.1111/j.1745-3992.2005.00006.x

Universität Zürich (o. J.): Hochschuldidaktik A – Z: Multiple-Choice-Prüfungen.

Unterschiedliche Beispielprüfungen hat der eAssessment-Dienst der Universität Bremen auf der Seite Informationen für Studierende zusammengestellt (Tipp von e-teaching.org).

Auf der Seite Cambrige Assessment der University of Cambridge finden sich unter der Rubrik Admission Tests Beispiele für Multiple-Choice-Tests, die nicht nur Fakten, sondern z.B. auch „Thinking Skills“ abfragen (Tipp von e-teaching.org).