Prüfen mit dem Portfolio

Portfolio-Prüfung
[Dr. Astrid Seckelmann 0:00:05 – 0:01:01]
Die Portfolio-Prüfung habe ich in einem Projektseminar angewendet. Projektseminare sind bei uns in der Geographie relativ komplexe Lehrveranstaltungen, da die Studierenden aus der Theorie Fragestellung herleiten müssen, die sie dann mit empirischen Methoden bearbeiten. Das heißt es gibt eine Vielzahl an Arbeitsschritten und damit auch an Zwischenergebnissen, die Sie dann in die Leistungsbewertung mit einschließen können. Und dafür ist meines Erachtens ein Portfolio eine ziemlich ideale Prüfungsform, weil es die Möglichkeit bietet, solche unterschiedlichen Anforderungen anzuwenden. Dementsprechend habe ich von den Studierenden auch erwartet, dass sie in dem Portfolio einerseits einen wissenschaftlichen Endbericht erstellen, andererseits aber auch über verschiedene Dokumente und Zwischenprojekte ihre Arbeitsschritte und ihren Arbeitsprozess belegen und das durch eine kritische Reflexion begleiten.

Welche Kompetenzen haben Sie geprüft?
[Dr. Astrid Seckelmann 0:01:05 – 0:02:23]
In meinem Fall waren es vor allem vier Kompetenzen, die für ihr Studienprojekt wichtig waren, und von denen ich mir erhofft habe, dass sie dann auch im Portfolio irgendwie zum tragen kommen. Das war zum einen natürlich die fachliche Kompetenz, die sich dann im Endbericht – in dem klassischen wissenschaftlichen Endbericht – widerspiegelt. Die methodische Kompetenz, die sich ebenfalls in diesem Endbericht widerspiegelt, die aber dann auch durch zusätzliche Zwischenprodukte der Arbeit noch unterstrichen oder dokumentiert werden konnte. Dann spielte die soziale Kompetenz eine ziemlich große Rolle, weil die Teams sich selbst organisieren mussten und als Team die Arbeitsaufteilung festlegen und jetzt Zeitmanagement organisieren mussten. Dementsprechend als vierte Kompetenz war auch diese organisatorische Kompetenz befragt, die Selbstorganisationsfähigkeit der Studierenden im Hinblick auf Zeit und Prozessabläufe. Diese beiden letzten Kompetenzen, die soziale und die organisatorische Kompetenz, die sind durch einen klassischen wissenschaftlichen Endbericht nicht zu erfassen. In dem Portfolio konnten sie durch verschiedene Dokumente – wie zum Beispiel Zeitpläne oder Arbeitsverteilungslisten – dokumentiert werden und vor allen Dingen auch in der Reflexion wieder aufgegriffen werden.

Wie haben Sie die Leistungen der Studierenden bewertet?
[Dr. Astrid Seckelmann 0:02:27 – 0:02:50]
Ich hatte im Vorhinein ein Bewertungsraster entwickelt, das ich den Studierenden dann auch zur Verfügung gestellt habe. Da habe ich Idealausprägungen für Inhalt, Struktur, Sprache und Form von Portfolio und natürlich auch vom Endbericht formuliert und die Studierenden hatten damit so eine Art ‚Checkliste‘ an der Hand, mit der sie arbeiten konnten.

Welche Erfahrungen haben Sie in Portfolio-Prüfungen gemacht?
[Dr. Astrid Seckelmann 0:02:59 – 0:03:44]
Besonders gute Erfahrungen habe ich mit der Reflexion gemacht. Die Studierenden sind da relativ detailliert vor allen Dingen auf ihren eigenen Lernprozess eingegangen, aber auch auf die Gruppendynamik und die Prozesse, die sich für sie daraus ergeben. Sie haben recht konkrete Überlegungen dazu angestellt, wie sie in Zukunft bei Teamarbeit und Projektarbeit vorgehen wollen. Nicht so gute Erfahrungen habe ich damit gemacht, dass ich so viel Spielraum zum Experimentieren gelassen habe, denn die Ergebnisse, die von den Studierenden kamen, waren sehr unterschiedlich. Außerdem hab auch ich ganz konkrete Anregungen dazu bekommen, wie ich in Zukunft die Rahmenbedingungen für solche Projektarbeiten verändern kann. Da haben einige Studierende sehr konstruktive und gut durchdachte Anregungen in ihre Reflexion aufgenommen.

Welche Tipps würden sie anderen Lehrenden geben?
[Dr. Astrid Seckelmann 0:03:48 – 0:04:43]
Lehrenden würde ich vor allen Dingen den Tipp geben, doch vielleicht etwas klarere Vorgaben zum Umfang dieses Portfolios zu machen. Ich hatte zwar eine Struktur vorgegeben, aber keinen Umfang, und dadurch war die Vergleichbarkeit nicht gewährleistet. Außerdem würde ich Lehrenden als Tipp geben, sich im Vorhinein zu überlegen, ob ein Portfolio für sie wirklich die richtige Prüfungsform ist. Meines Erachtens ist ein Portfolio dann sinnvoll, wenn man sehr unterschiedliche Anforderungen in einer Lehrveranstaltung vereint und die auch alle in die Leistungsbewertung mit aufnehmen möchte. Und dann ist es natürlich möglich, sehr unterschiedliche Dinge in das Portfolio aufzunehmen. Das können wie in meinem Fall die Dokumente sein. Aber es ist ja auch denkbar, dass in anderen Fächern Werkstoffe oder Modelle oder vielleicht künstlerische Produkte auch in so ein Portfolio mit aufgenommen werden und man auch von dieser E-Portfolio-Form abweicht.

Welches Fazit zu Portfolio-Prüfungen ziehen Sie?
[Dr. Astrid Seckelmann 0:04:47 – 0:05:24]
Mein persönliches Fazit ist, dass ich vor allen Dingen von den Reflexionen total begeistert bin und die in jedem Fall auch in späteren Prüfungen wieder einbinden möchte. Ob es immer in Verbindung mit einem Portfolio sein muss, oder ob man vielleicht auch andere Möglichkeiten findet, den Prozess des Nachdenkens über das eigene Lernverhalten anzustoßen, sei vielleicht nochmal dahin gestellt. In jedem Fall bietet ein Portfolio diese Möglichkeit, weil diese Reflexion eben ergänzt wird um Produkte des Arbeitsprozesses und damit für die Studierenden ein Anreiz besteht, über die einzelnen Arbeitsphasen nachzudenken.

Good Practice Example: Portfolio Assessment
[Dr. Astrid Seckelmann 00:06 – 01:00]
I used the portfolio assessment in a project seminar. Project seminars are relatively complex courses by us in Geography, since students have to develop a question from the theory which they then work on by applying empirical methods. That means there are multiple stages and interim results, which can be included in the assessment of their performance. For that, in my opinion, a portfolio is quite an ideal form of assessment because it can integrate such a variety of requirements. Accordingly, I also expected from the students that they compile in their portfolio on the one hand a scientific final report and on the other hand also enclose various documents and interim projects which verify their operational steps and work process and accompany that with a critical reflection.

Which competences did you test?
[Dr. Astrid Seckelmann 01:00 – 02:23]
In my case there were particularly four competences in the study project that were important and that I had hoped would somehow be recognized in the portfolio. Those were first the technical skills, which are reflected in the final report–in the classical final report. Methodological skills are likewise reflected in the final report, but which also can be emphasized or can be documented by additional interim results in their portfolio. Then social skills play quite a major role, because the teams had to organise themselves, and as a team they had to divide the tasks and organise their time management. Appropriately, as fourth competence these organisational skills were necessary, the ability of the students to organise themselves in regard to time and process procedures. Both these latter competences, social and organisational skills, cannot be captured in the classical scientific final report. In the portfolio they could be confirmed in various documents, for example in schedules or lists of the division of tasks, and in particular can be taken up again in the reflection.

How did you evaluate the students‘ performance?
[Dr. Astrid Seckelmann 02:28 – 02:45]
Before the course I had developed an assessment chart that I then made available to the students. There I formulated ideal criteria for contents, structure, language and the form of the portfolio and of course for the final report. And with that the students had a kind of checklist in hand to work with.

What was your experience with the portfolio?
[Dr. Astrid Seckelmann 02:55 – 03:42]
My experience was particularly good with the reflection. The students reported in detail mostly about their own learning process, but also about group dynamics and the processes that arose for them from those. They considered rather concretely how they would like to work in the future regarding teamwork and project work. Not so good was my experience that I left too much room to experiment, since the results from the students varied widely. In addition I received very concrete suggestions how I could change the framework for such project work in the future. Some students gave very constructive and thoughtful suggestions in their reflections.

What would you recommend to other lecturers?
[Dr. Astrid Seckelmann 03:49 – 04:41]
Mainly I’d give instructors the tip to perhaps give clearer specifications about the length of the portfolio. I did specify the structure, but not how long it should be and therefore comparison was difficult. Furthermore, I’d give instructors the tip to consider ahead of time whether a portfolio is really the appropriate form of assessment for them. In my view, a portfolio makes sense when a course combines various requirements and if one also wants all of them to be considered in the assessment. And then of course it is possible to include a wide range of things in a portfolio. That can be, in my case e-documents, but possibly in other subjects materials or models or perhaps artistic products can be included in a portfolio, which differs from this e-form of my portfolio.

What conclusions can you draw from a portfolio assessment?
[Dr. Astrid Seckelmann 04:48 – 03:44]
My personal conclusion is that most of all I’m totally excited about the reflection, and definately want to include it in future assessments. Whether it always need be within a portfolio, or if one finds other ways to encourage the process of thinking about one’s own learning behaviour is perhaps left open. In any case a portfolio offers this possibility, since this reflection is augmented by products from the process of the project work. And therefore the students are encouraged to reflect on each stage of their work.