Sie sind hier: Ruhr-Universität Bochum LEHRE LADEN Planung & Durchführung Feedback Praxisbeispiele Evaluationsbögen individualisieren

Studentische Evaluation der Lehrveranstaltungen an der Fakultät für Philosophie und Erziehungswissenschaft

Was sind die zentralen Ausgangspunkte Ihres Evaluationskonzepts?

Die studentische Veranstaltungsbewertung ist einerseits ein top-down Prozess, der sowohl gesetzlich vorgeschrieben als auch für die Akkreditierung der Studienfächer unabdingbar ist. Anderseits bezweckt die Evaluation, dass die Hauptakteure – die Lehrenden und die Studierenden – zusammen in den Lehrveranstaltungen über das Unterrichtsgeschehen lösungs- und zukunftsorientiert nachdenken. Daraus folgt, dass das Instrument der Evaluation sowohl der Außendarstellung als auch der „Innenverarbeitung“ der Lehre dienlich sein muss und dass die Lehrenden dem angewendeten Instrument und den Methoden vertrauen und mit diesen umgehen können. Wir haben gute Erfahrungen damit gemacht, die (möglichen) Stolpersteine auf diesem Weg zu erkennen und bewusst dagegen zu arbeiten. Hier ist eine Auswahl der Lösungen aus unserer Fakultät.

Detailliert oder kurz? Geht beides!

In unserer Fakultät wird die subjektive Wahrnehmung der Qualität der Lehrveranstaltung von den Studierenden durch 17 Zustimmungsitems erhoben, die in fünf folgenden Konstrukten bzw. Skalen zusammengefasst werden können:

Skala 1: Fachliche und fachdidaktische Kompetenz der Veranstaltungsleitung
Skala 2: Nachvollziehbarkeit der Inhalte der Lehrveranstaltung
Skala 3: Arbeitsaufwand der Studierenden
Skala 4: Lernerfolg
Skala 5: Breite des inhaltliches Spektrums der Lehrveranstaltung

Die Items zu den Skalen wurden in einem mehrstufigen Validierungsverfahren entwickelt und zeigen seit mehreren Semestern eine sehr gute interne Konsistenz.

Mit der Auswertung bei EvaSys bekommen die Lehrenden nicht nur die Werte der Items, sondern auch die Werte der Skalen berichtet. Das gibt den Lehrenden die Möglichkeit, die Schwerpunkte bei den Feedbackgesprächen zu setzen und einige Skalen zusammenfassend und kurz zu betrachten, bei anderen ins Detail zu gehen.

Antwortformat? Je mehr Streuung, desto mehr Information!

Es ist ein offenes Geheimnis, dass die standardisierten Abfragen nur dann verwendbare Informationen liefern, wenn sie Streuung erschaffen. Übersetzt in die Praxis bedeutet das, dass die Anzahl der Antwortmöglichkeiten nicht zu klein sein darf. In dem Fragebogen unserer Fakultät haben alle Zustimmungsitems das siebenstufige Antwortformat von 1= „trifft überhaupt nicht zu“ bis 7= „trifft voll und ganz zu“. Zusätzlich ist die Antwort „kein Urteil möglich“ vorgesehen.

Abbildung 1: Siebenstufige Anwortskala, von 1 (trifft überhaupt nicht zu) bis 7 (trifft voll und ganz zu)

Durch eine siebenstufige Antwortskala liegt den Studierenden ein großes Antwortspektrum vor, um ihre Einschätzung zu differenzieren. Gleichzeitig bleibt die Antwortskala noch übersichtlich.

Ein weiterer Stolperstein ist die Formulierung der Bewertungsfragen zur Veranstaltung oder Veranstaltungsleitung. Hier werden leider immer noch oft Schulnoten als Antwortmöglichkeiten vorgegeben, was die Gefahr birgt, dass den Noten oft individuelle, in Abhängigkeit von der Fachkultur unterschiedliche Bedeutungen zugeschrieben werden.

Wir haben dieses Problem dadurch gelöst, dass für die Bewertung eine siebenstufige Skala von 1=„sehr schlecht“ bis 7=„sehr gut“ vorgesehen ist.

Abbildung 2: Siebenstufige Anwortskala, von 1 (sehr schlecht) bis 7 (sehr gut)

Dieses Antwortformat bietet im Vergleich zu Schulnoten mehr Differenzierungsmöglichkeiten und nivelliert die individuellen sowie fachkulturspezifischen Differenzen in der Bedeutung von Noten.

Standardisiert oder individuell? Beides möglich!

Es ist klar, dass die Vielfalt der Lehre und Standardisierung der Evaluation in einem gewissen Widerspruch zueinander stehen. Die Standardisierung, die eine aggregierte Aussage auf Fakultätsebene ermöglicht, hat den Nachteil, dass über alle Veranstaltungen hinweg gleiche Informationen erhoben werden. Auch inhaltlich gut durchdachte Skalen können nicht bzw. nicht ausreichend alle Aspekte, die für die Lehrenden wichtig erscheinen, erfassen.

Um den Lehrenden die Möglichkeit zu geben, die Evaluation ihrer Lehrveranstaltungen zu individualisieren, befinden sich in den Evaluationsfragebögen unserer Fakultät drei Fragen, die nur mit „Zusatzfrage 1“, „Zusatzfrage 2“, „Zusatzfrage 3“ beschriftet sind.

Abbildung 3: Individualisierung der Evaluation mit Zusatzfragen möglich, ebenfalls mit Antwortskalen von 1 bis 7.

Die Handhabung ist einfach: Wenn ein bestimmter Aspekt aus Sicht der*des Lehrenden ausgewertet werden soll, dann können sie bis zu drei Fragen bzw. drei Items formulieren und diese bei der Durchführung der Evaluation ihren Studierenden mitteilen. Diese individuell für die Veranstaltungen zugeschnittenen Fragen werden dann von EvaSys mit den anderen Fragen ausgewertet. In der Auswertung erscheinen diese Fragen als „Zusatzfrage 1“, „Zusatzfrage 2“, „Zusatzfrage 3“; der Inhalt ist nur den Lehrenden und den Studierenden bekannt. Einzige Voraussetzung ist, dass die Fragen bzw. Items so formuliert werden müssen, dass sie mithilfe des vorliegenden Antwortformats (von 1 = „trifft überhaupt nicht zu“ bis 7 = „trifft voll und ganz zu“) beantwortet werden können. Hier sind einige Beispiele für solch individuelle, für eine bestimmte Veranstaltung formulierte Items:

„Der Informationsaustausch durch WiKi hat gut funktioniert.“ (In einem Seminar mit eLearning-basierten Elementen.)
„In meiner Arbeitsgruppe herrschte eine gute Arbeitsatmosphäre.“ (In einem Seminar mit vielen Aufgaben, die in Gruppenarbeit gelöst wurden.)
„Die Bereitstellung der Aufnahmen der Vorlesung war für mich sehr hilfreich.“ (In einer Vorlesung, die per RUB-Cast aufgezeichnet wird.)

Wenn die Lehrenden von dieser Möglichkeit keinen Gebrauch machen möchten, werden die Antwortfelder einfach freigelassen.

Interpretation? Mit Hilfestellung geht’s besser!

Die Auswertung des standardisierten Evaluationsbogens gewinnt an Aussagekraft, wenn die individuellen Ergebnisse durch die Werte der Lehreinheit bzw. der Fakultät vervollständigt werden. Nahliegend sind hier der arithmetische Mittelwert sowie maximale und minimale Werte. Auch wenn der Umgang mit Zahlen und Statistiken zum täglichen Geschäft der Lehrenden gehört, kann es nicht schaden, an einem Beispiel die Interpretation zu erläutern. Zur Veranschaulichung ein Ausschnitt aus der Interpretationshilfestellung unserer Fakultät:

Abbildung 4: Ausschnitt aus der Interpretationshilfestellung zum Item „Man konnte dem Stoff leicht folgen“

Die Werte der Referenzgruppe liegen zwischen ca. 3,5 und 7 bzw. in der oberen Hälfte der Zustimmungsskala von 1 = “trifft überhaupt nicht zu“ bis 7 = “trifft voll und ganz zu“ (weißer Bereich). D. h. es gibt keine Veranstaltungen, in denen die Zustimmung zu diesem Item unter 3,5 liegt.
Der Mittelwert der Referenzgruppe ist gleich 5,3 (blauer Punkt) und damit größer als die Mitte der Skala (4 Punkte).
Der Mittelwert der Referenzgruppe liegt in etwa in der Mitte des weißen Bereichs. Es kann davon ausgegangen werden, dass die Veranstaltungen der Referenzgruppe symmetrisch um den Mittelwert der Referenzgruppe verteilt sind.
Die evaluierte Veranstaltung (roter Punkt) hat den Mittelwert von 3,9. Dieser Wert liegt in der Mitte der vorgegebenen Skala und deutet daher (absolut gesehen) auf die mittlere Zustimmung.
Allerdings liegt dieser Wert (roter Punkt) deutlich unter dem Durchschnitt bei der Referenzgruppe (blauer Punkt) bzw. außerhalb der mittleren Hälfte des weißen Bereichs und sehr nah am Minimum. Das deutet darauf hin, dass die Zustimmung zu diesem Item in der Relation in Referenzgruppe deutlich schwächer ausgefallen ist.

Als weitere hilfreiche Maßnahme für die Verarbeitung und Interpretation der Evaluationsergebnisse haben sich bei uns die Modulkonferenzen erwiesen, bei denen sich Lehrende im kleinen Kreis über die Lehrveranstaltungen eines Moduls austauschen können.