Personalisierte Aufgaben und anonymer Peer Review mit FeedbackFruits

Die Idee, unseren Bachelorstudierenden in der Lehrveranstaltung „Grundlagen der Elektrotechnik“ an der Otto-von-Guericke-Universität in Magdeburg während des Semesters personalisierte Übungsaufgaben zum Entwickeln und Testen der entsprechenden Lösungskompetenzen zur Verfügung zu stellen, existiert schon seit einigen Jahren. Die konkreten Aufgabenstellungen sind dabei personalisiert bzw. randomisiert, so dass die Studierenden zwar die Möglichkeit haben und auch ermutigt werden, sich untereinander austauschen sowie gegenseitig bei der Lösung zu beraten und zu unterstützen, jedoch nicht einfach voneinander plagiieren können. Eingereicht werden von den Studierenden dann handschriftliche Lösungen der elektrotechnischen Problemstellungen, die das Schreiben von Formeln und mathematischen Herleitungen oder Umformungen sowie das Zeichnen von Schaltbildern, Diagrammen oder Skizzen sehr einfach machen. Handschriftliche Lösungen sind gegenüber einfachen Multiple-Choice-Fragen oder Zahlenwert-Einheit-Aufgaben auch besser geeignet, den Ansatz und Rechenweg sichtbar zu machen sowie studentischen Fehlvorstellungen oder Misskonzepte aufzudecken.

Um den Korrekturaufwand für die Lehrenden gering zu halten und den Studierenden zeitnahe und authentische Rückmeldung zu ermöglichen, korrigieren sich die Studierenden dann gegenseitig in einem doppelblinden Peer-Review-Verfahren anhand ebenso personalisierter Musterlösungen. Zur extrinsischen Motivation bekommen die Studierenden bei uns Zusatzpunkte für die Lösung der Aufgaben, die zur Prüfungszulassung hilfreich sind.

Wo bekommt man die passenden personalisierten Aufgaben her?

Die personalisierten Aufgaben und zugehörigen Musterlösungen werden in meinem Fall algorithmiert und automatisiert über ein MATLAB-Skript erzeugt, das LaTeX-Quelltexte generiert und zu PDF-Dateien kompiliert. Man könnte solche Aufgaben natürlich auch über ähnliche Skriptsprachen generieren, solange Aufgaben und Musterlösungen irgendwie algorithmierbar sind und sich auch für einen Computer „kochrezeptartig“ lösen lassen. Funktioniert das nicht, kann man als Lehrperson immer noch händisch viele verschiedene Aufgaben generieren bzw. diese Herausforderung auch gemeinsam mit Studierenden bzw. den Lernenden angehen, die gerade bei der Konzeption von Aufgaben (z.B. am Ende einer Lehrveranstaltung für die nächste Kohorte) sehr hohe Kompetenzen der Bloomschen Taxonomie wie Analysieren, Synthetisieren oder Evaluieren entwickeln und anwenden müssen. Wichtig ist natürlich, dass die entwickelten Aufgaben alle gut zum Lehrinhalt passen und für die Studierenden mit ähnlichem Aufwand zu bearbeiten und zu lösen sind.

Wie läuft das technisch ab?

Zur Verteilung der Aufgaben an die Studierenden, zur Einreichung der Lösungen, zur anschließenden Verteilung der eingereichten Lösungen und der zugehörigen Musterlösungen sowie zur abschließenden Einreichung der gegenseitigen Korrekturen benötigt man natürlich ein internetbasiertes System, damit das ganze Verfahren nicht in einen aufwendigen „Papierkrieg“ mündet.

In der bisherigen Vorgehensweise habe ich die Aufgaben per E-Mail über ein MATLAB-Programm automatisiert an die Studierenden verschickt. Nach der Bearbeitung haben diese ihre Lösungen über ein Formular in unserem Lernmanagementsystem Moodle eingereicht. Aus diesem habe ich dann händisch die Lösungen extrahiert und über ein weiteres MATLAB-Programm automatisiert zusammen mit passenden Musterlösungen per E-Mail an die Studierenden verschickt. Die gegenseitigen Korrekturen luden die Studierenden dann erneut über ein Moodle-Formular hoch. Ich musste diese wieder händisch extrahieren, über ein weiteres externes MATLAB-Programm zuordnen, auswerten und den Studierenden inklusive ihrer erreichten Punktzahl in einer weiteren E-Mail zukommen lassen.

Das beschriebene Verfahren ist natürlich recht aufwendig und fehleranfällig, insbesondere wenn Studierende sich nicht genau an die vorgesehene Vorgehensweise halten und z.B. seltsame Dateiformate einreichen, Lösungen bzw. Korrekturen in die falschen Einreichungsformulare hochladen oder vergessen eine maschinenlesbare Punktzahl einzugeben. Bisher „kostete“ mich ein Durchlauf insgesamt etwa einen vollen Arbeitstag, inklusive der Beantwortung studentischer Rückfragen. Außerdem konnte ich bisher, trotz vieler Webinare, Vorträge, Workshops und Veröffentlichungen nur wenige andere Lehrpersonen motivieren, ein ähnliches Verfahren in ihren Lehrveranstaltungen umzusetzen, was vielleicht auch daran liegt, dass meine MATLAB-Skripte (obwohl gut kommentiert und dokumentiert) und deren Nutzung vermutlich doch nur für mich verständlich sind, insbesondere wenn mal etwas nicht wie vorgesehen funktioniert (z.B. weil sich die als eindeutiges Identifikationsmerkmal genutzten studentischen E-Mail-Adressen ändern, wenn Studierende eine Stelle als wissenschaftliche Hilfskraft antreten).

Wie hilft FeedbackFruits (und was ist das überhaupt)?

Verbessern lässt sich das beschriebene Verfahren natürlich durch ein Plugin in einem Lernmanagementsystem, das viele (oder im Idealfall alle) der nötigen Prozessschritte automatisch umsetzen kann. Für Moodle gibt es bereits ein solches Plugin namens „Gegenseitige Beurteilung“, das aber keine individualisierten Aufgabenstellungen ermöglicht und sowohl für die administrierende Lehrperson als auch für die nutzenden Studierenden teilweise recht umständlich und wenig intuitiv in der Nutzung ist, was vielleicht auch an dem nicht mehr ganz zeitgemäßen Umsetzung der grafischen Schnittstelle liegt.

Darüber hinaus gibt es externe Tools zur gegenseitigen Begutachtung studentischer Lösungen wie z.B. das Peer-Review-Plugin von FeedbackFruits, einem niederländischen EdTech-Unternehmer, das 2012 im Fachbereich Physik an der Technischen Universität Delft gegründet wurde. Das von dort entwickelte und gepflegte Peer-Review-Plugin lässt sich sowohl für Studierende als auch für Lehrpersonen insbesondere von mobilen Endgeräten aus deutlich einfacher und intuitiver bedienen, was sicher auch an der ansprechenden und modernen Aufmachung liegt. Studierende sehen dort sehr eindeutig den jeweiligen Status ihrer Einreichungen und werden einfach durch die notwendigen weiteren Schritte geführt. Die gegenseitige Begutachtung kann direkt über den Browser erfolgen und benötigt keine weiteren externen Werkzeuge, so dass Medienbrüche und manuelle Down- und Uploads von Datensätzen und Dateien vermieden werden. Rückfragen zur Bewertung, z.B. bei Unklarheiten oder vermeintlich falscher Beurteilung, können ebenso direkt in der Weboberfläche gestellt werden. Auch die Studierenden in meiner Lehrveranstaltung bestätigen die einfache und intutitive Nutzung sowie die übersichtliche Überfläche von FeedbackFruits, wie die Ergebnisse dieser Umfrage am Ende des Sommersemesters 2022 zeigen.

Wie funktioniert die Umsetzung in FeedbackFruits?

Die technische Umsetzung erfolgt in drei groben Prozessschritten:

  1. Zunächst registrieren sich die Studierenden im Moodle-Kurs der Lehrveranstaltung und in der FeedbackFruits-Aktivität. Wie bisher lade ich mir dann eine Liste aller Studierenden herunter, um für jede*n aus MATLAB heraus eine entsprechende Aufgabe und Musterlösung zu erzeugen, und zunächst lokal abzuspeichern. Die Aufgaben werden dann ebenso automatisiert per E-Mail an die Studierenden verschickt.
  2. Die Studierenden bearbeiten nun ihre Aufgaben und reichen ihre Lösungen über die FeedbackFruits-Aktivität im Moodle ein. Dort finden sie nach der Einreichungsfrist auch die zu begutachtenden Lösungen ihrer Kommiliton*innen und entsprechende Bewertungsformulare, die einfach und intuitiv zu bedienen sind. Die zugehörigen Musterlösungen lade ich zu gegebener Zeit aus dem vorher erstellten lokalen Order auf einen universitätseigenen Webserver hoch. Die Studierenden greifen über einen Link auf die Musterlösungen zu, der jeweils als individueller QR-Code auf jedem Aufgabenblatt enthalten ist. Damit das funktioniert, müssen die Studierenden das Aufgabenblatt bzw. zumindest den QR-Code zusammen mit der Lösung einreichen. An dieser Stelle sei angemerkt, dass die Erweiterung um einen individuellen QR-Code pro Aufgabe meine eigene Ergänzung des Systems ist und nicht originärer Teil von FeedbackFruits ist.
  3. Nachdem die Studierenden ihre gegenseitigen Begutachtungen in der FeedbackFruits-Aktivität eingereicht haben, können sie ihr erhaltenes Feedback anschauen und gegebenenfalls kommentieren. Außerdem können sie eine kurze Reflexion zur Aufgabe, ihren Herausforderungen bei der Lösung und dem empfundenen Kompetenzzuwachs schreiben. Natürlich können die Studierenden zur Kontrolle auch auf ihre eigenen Musterlösungen zugreifen. Die erhaltene Punktzahl wird nach einem Export aus der FeedbackFruits-Aktivität in der Bewertungstabelle im Moodle-Kurs gespeichert.

Aus Sicht der Lehrperson ist es sehr einfach, die entsprechende FeedbackFruits-Aktivität in einem Moodle-Kurs anzulegen. Das geht über „Aktivität oder Material anlegen“ und „Externes Tool hinzufügen“. Die nötige Verknüpfung zum FeedbackFruits-Server über die LTI-Schnittstelle muss zuvor einmal angelegt werden, was allerdings schnell und einfach mit Hilfe des FeedbackFruits-Support-Teams erledigt werden kann. Aus den vielfältigen Aktivitätstypen von FeedbackFruits wird dann „Peer Review“ ausgewählt.

Innerhalb der Peer-Review-Aktivität von FeedbackFruits wird man dann als Lehrperson durch die verschiedenen Schritte der Konfiguration geführt.

  1. Aufgabenstellung (Instructions)
  2. Einreichung (Submissions)
  3. Gegebenes Feedback (Given reviews)
  4. Bekommenes Feedback (Received reviews)
  5. Reflexion (Reflections)
  6. Bewertung (Grading)

Dabei müssen nacheinander Einstellungen für die einzelnen Schritte getroffen werden, die jeweils sehr gut verständlich beschrieben und intuitiv nutzbar sind.

Die Formulare aus studentischer Sicht sind ähnlich aufgebaut, klar strukturiert und ebenso intuitiv nutzbar. Auf jeder Seite gibt es außerdem einen blauen Chat-Button, der eine Verbindung zum FeedbackFruits-Support herstellt. Insgesamt lässt sich damit der ganze Prozess des gegenseitigen Gebens und Erhaltens von studentischem Feedback bzw. der gegenseitigen Bewertung von Einreichungen sehr einfach strukturieren und effizient abwickeln.

Wichtigster Vorteil für mich als Lehrperson: Der Zeitaufwand pro Aufgabendurchlauf ist dadurch von etwa einem Arbeitstag auf einen halben Arbeitstag gesunken. Durch weniger Möglichkeiten der studentischen Fehlbedienung des Systems gab es weniger Fälle, in denen ich händisch etwas korrigieren musste, was natürlich auch zu weniger Nachfragen führt.

Welche Herausforderungen gibt es dabei noch?

Das häufigste Problem war tatsächlich, dass die Studierenden vergessen haben, den QR-Code mit einzureichen, der die Zuordnung der jeweiligen Musterlösung möglich macht. Die Quote der Studierenden, die das vergaß, nahm naturgemäß im Laufe des Semesters ab, erreichte aber leider nie Null. Das erzeugte unnötige Nachfragen per E-Mail an mich als Lehrperson, die teilweise auch zu Verzögerungen im Bewertungsprozess führten. Eine Möglichkeit, die personalisierten Aufgaben und Musterlösungen automatisch im System zu speichern, würde den QR-Code obsolet machen und dieses Problem lösen.

Weiterhin gab es seltene Darstellungsprobleme mit PDF-Dateien, die auf bestimmten Endgeräten mit bestimmten Programmen erzeugt wurden. Dieses Problem lässt sich bei der Vielzahl von PDF-Programmen und Konvertern sicher nie ganz aus dem Weg räumen, konnte vom FeedbackFruits-Support aber meist gelöst werden. Hilfreich wäre hier sicher eine Bestätigung beim Upload, ob die eingereichte Datei auch lesbar und darstellbar ist. Eine solche Bestätigung würde auch verhindern, dass Studierende aus Versehen eine falsche Datei von ihrem Endgerät auswählen und hochladen.

Ebenso störten sich einige Studierende daran, keine halben Punkte vergeben zu können, was z.B. bei Vorzeichenfehlern und fehlenden Einheiten durchaus zur Abstufung nützlich sein kann. Auch eine kurze Bestätigung der tatsächlich vergebenen Punktzahl vor der gegenseitigen Bewertung wurde als sinnvoll eingestuft, um nicht unbeabsichtigt eine falsche Bewertung zu geben, was z.B. auf Geräten mit Touchscreen schnell passiert, wenn man aus Versehen beim Absenden der Bewertung noch einen Schieberegler der Bewertung verstellt.

Außerdem wären zur Bewertung von handschriftlichen Lösungen natürlich auch handschriftliche Ergänzungen und Kommentare in den gegenseitigen Korrekturen sehr sinnvoll. Eine solche Option setzt natürlich auch einen Laptop bzw. Tablet-PC mit beschreibbarem Bildschirm oder ein Zeichentablet voraus. Eine derartige technische Ausstattung ist aber mittlerweile bei vielen Studierenden vorhanden.

Wie geht es weiter?

Nachdem der technische Ablauf der gegenseitigen Begutachtung einfach und effizient funktioniert, kann man sich als Lehrperson weiter mit der Verbesserung der Qualität und Fairness der gegenseitigen studentischen Gutachten beschäftigen und z.B. folgenden Fragen nachgehen:

  • Welche Hilfe, Anleitung und Unterstützung benötigen Studierende, um die Lösungen ihrer Kommiliton*innen nicht nur fachlich korrekt, sondern auch möglichst lernwirksam und konstruktiv zu bewerten?
  • Wie kann man die Fairness des Verfahrens steigern und absichtlich oder unabsichtlich falsche (also zu gute bzw. zu schlechte) gegenseitige Bewertungen besser erkennen oder vermeiden?
  • Inwieweit kann und sollte man als Lehrperson zumindest stichprobenartig weiter in die studentischen Lösungen und gegenseitigen Bewertungen schauen, auch wenn das technische Verfahren problemlos läuft und das eigentlich nicht notwendig macht?

Außerfachlich ist es auch wünschenswert, weiter an einer allgemein konstruktiven, offenen und wertschätzenden Feedback- und Fehlerkultur zu arbeiten, die Fehler nicht als Mangel, sondern als notwendige Effekte in einem Lernprozess auffasst. Fehler sind dabei nicht unbedingt zu vermeiden, sondern notwendig, um einen Sachverhalt im Sinne des Mastery Learning vollständig zu durchdringen und eine höhere Kompetenzstufe zu erreichen.

Perspektivisch ist es aus meiner Sicht sinnvoll und zielführend, Peer Feedback auch für Prüfungen nutzen, insbesondere für offene, authentische, kompetenzorientierte Aufgabenstellungen im Open-Book- und Open-Web-Kontext, die sich im Gegensatz zu geschlossenen Aufgaben oder Multiple-Choice-Fragen nur sehr schwer automatisiert korrigieren und bewerten lassen.

Werbung