Personalisierte Aufgaben und anonymer Peer Review mit FeedbackFruits

Die Idee, unseren Bachelorstudierenden in der Lehrveranstaltung „Grundlagen der Elektrotechnik“ an der Otto-von-Guericke-Universität in Magdeburg während des Semesters personalisierte Übungsaufgaben zum Entwickeln und Testen der entsprechenden Lösungskompetenzen zur Verfügung zu stellen, existiert schon seit einigen Jahren. Die konkreten Aufgabenstellungen sind dabei personalisiert bzw. randomisiert, so dass die Studierenden zwar die Möglichkeit haben und auch ermutigt werden, sich untereinander austauschen sowie gegenseitig bei der Lösung zu beraten und zu unterstützen, jedoch nicht einfach voneinander plagiieren können. Eingereicht werden von den Studierenden dann handschriftliche Lösungen der elektrotechnischen Problemstellungen, die das Schreiben von Formeln und mathematischen Herleitungen oder Umformungen sowie das Zeichnen von Schaltbildern, Diagrammen oder Skizzen sehr einfach machen. Handschriftliche Lösungen sind gegenüber einfachen Multiple-Choice-Fragen oder Zahlenwert-Einheit-Aufgaben auch besser geeignet, den Ansatz und Rechenweg sichtbar zu machen sowie studentischen Fehlvorstellungen oder Misskonzepte aufzudecken.

• 

  In diesem Beispiel steht die fertige Stammfunktion schon im Integranden des Integrals. Außerdem fehlen einige Einheiten, insbesondere an den Zeiten in den Integrationsgrenzen.

• 

  Hier wurde eine komplexe Impedanz fälschlicherweise in eine Zeitfunktion umgewandelt.

• 

  Obwohl in der Aufgabenstellung eindeutig von 4. Zeitabschnitten die Rede ist, wurden hier fälschlicherweise 5. Zeitabschnitte im Lösungsweg benutzt.

• 

  Hier wurden Fourierkoeffizienten für den periodischen Zeitverlauf einer Spannung fälschlicherweise von der Einheit Volt in Grad umgerechnet. Dahinter steckt vermutlich ein Fehlverständnis, dass die Fourierkoeffizienten eigentlich eher Winkel sind, die sich vom Bogenmaß ins Gradmaß umrechnen lassen.

• 

  Anstatt die Schaltung im Netzwerksimulator EasyEDA aus den vorhandenen Bauelementen nachzubauen wurde die Schaltung fälschlicherweise einfach aus Linien, Rechtecken und Kreisen nachgezeichnet, die natürlich ohne jegliche elektrotechnische Funktion und Bedeutung sind.

• 

  In dieser Schaltung zur Nachbildung eines komplizierteren Spannungsteilers fehlt fälschlicherweise die anregende Spannungsquelle. Damit ist die Ausgangsspannung natürlich auch Null.

• 

  In dieser Schaltung zur Nachbildung eines komplizierteren Spannungsteilers ist die anregende Spannungsquelle zwar vorhanden, wurde jedoch fälschlicherweise kurzgeschlossen. Damit ist die Ausgangsspannung natürlich auch Null.

• 

  In diesem Beispiel wurde das zur Bestimmung der zeitabhängigen Ladung notwendige Integral fälschlicherweise schon direkt in die Zeitfunktion des Stromes geschrieben.

Um den Korrekturaufwand für die Lehrenden gering zu halten und den Studierenden zeitnahe und authentische Rückmeldung zu ermöglichen, korrigieren sich die Studierenden dann gegenseitig in einem doppelblinden Peer-Review-Verfahren anhand ebenso personalisierter Musterlösungen. Zur extrinsischen Motivation bekommen die Studierenden bei uns Zusatzpunkte für die Lösung der Aufgaben, die zur Prüfungszulassung hilfreich sind.

Wo bekommt man die passenden personalisierten Aufgaben her?

Die personalisierten Aufgaben und zugehörigen Musterlösungen werden in meinem Fall algorithmiert und automatisiert über ein MATLAB-Skript erzeugt, das LaTeX-Quelltexte generiert und zu PDF-Dateien kompiliert. Man könnte solche Aufgaben natürlich auch über ähnliche Skriptsprachen generieren, solange Aufgaben und Musterlösungen irgendwie algorithmierbar sind und sich auch für einen Computer „kochrezeptartig“ lösen lassen. Funktioniert das nicht, kann man als Lehrperson immer noch händisch viele verschiedene Aufgaben generieren bzw. diese Herausforderung auch gemeinsam mit Studierenden bzw. den Lernenden angehen, die gerade bei der Konzeption von Aufgaben (z.B. am Ende einer Lehrveranstaltung für die nächste Kohorte) sehr hohe Kompetenzen der Bloomschen Taxonomie wie Analysieren, Synthetisieren oder Evaluieren entwickeln und anwenden müssen. Wichtig ist natürlich, dass die entwickelten Aufgaben alle gut zum Lehrinhalt passen und für die Studierenden mit ähnlichem Aufwand zu bearbeiten und zu lösen sind.

• 

  Beispiel für eine personalisierte Aufgabe: Alle Studierenden erhalten die gleiche Aufgabenstellung …

• 

  … aber jeweils ein anderes Schaltbild. Diese sind randomisiert auf Basis der Matrikelnummer erzeugt.

• 

  … aber jeweils ein anderes Schaltbild. Diese sind randomisiert auf Basis der Matrikelnummer erzeugt.

• 

  … aber jeweils ein anderes Schaltbild. Diese sind randomisiert auf Basis der Matrikelnummer erzeugt.

• 

  … aber jeweils ein anderes Schaltbild. Diese sind randomisiert auf Basis der Matrikelnummer erzeugt.

• 

  Die zugehörigen Musterlösungen lassen sich ebenso algorithmiert erzeugen.

• 

  Die zugehörigen Musterlösungen lassen sich ebenso algorithmiert erzeugen.

• 

  Die zugehörigen Musterlösungen lassen sich ebenso algorithmiert erzeugen.

• 

  Die zugehörigen Musterlösungen lassen sich ebenso algorithmiert erzeugen.

Wie läuft das technisch ab?

Zur Verteilung der Aufgaben an die Studierenden, zur Einreichung der Lösungen, zur anschließenden Verteilung der eingereichten Lösungen und der zugehörigen Musterlösungen sowie zur abschließenden Einreichung der gegenseitigen Korrekturen benötigt man natürlich ein internetbasiertes System, damit das ganze Verfahren nicht in einen aufwendigen „Papierkrieg“ mündet.

In der bisherigen Vorgehensweise habe ich die Aufgaben per E-Mail über ein MATLAB-Programm automatisiert an die Studierenden verschickt. Nach der Bearbeitung haben diese ihre Lösungen über ein Formular in unserem Lernmanagementsystem Moodle eingereicht. Aus diesem habe ich dann händisch die Lösungen extrahiert und über ein weiteres MATLAB-Programm automatisiert zusammen mit passenden Musterlösungen per E-Mail an die Studierenden verschickt. Die gegenseitigen Korrekturen luden die Studierenden dann erneut über ein Moodle-Formular hoch. Ich musste diese wieder händisch extrahieren, über ein weiteres externes MATLAB-Programm zuordnen, auswerten und den Studierenden inklusive ihrer erreichten Punktzahl in einer weiteren E-Mail zukommen lassen.

Das beschriebene Verfahren ist natürlich recht aufwendig und fehleranfällig, insbesondere wenn Studierende sich nicht genau an die vorgesehene Vorgehensweise halten und z.B. seltsame Dateiformate einreichen, Lösungen bzw. Korrekturen in die falschen Einreichungsformulare hochladen oder vergessen eine maschinenlesbare Punktzahl einzugeben. Bisher „kostete“ mich ein Durchlauf insgesamt etwa einen vollen Arbeitstag, inklusive der Beantwortung studentischer Rückfragen. Außerdem konnte ich bisher, trotz vieler Webinare, Vorträge, Workshops und Veröffentlichungen nur wenige andere Lehrpersonen motivieren, ein ähnliches Verfahren in ihren Lehrveranstaltungen umzusetzen, was vielleicht auch daran liegt, dass meine MATLAB-Skripte (obwohl gut kommentiert und dokumentiert) und deren Nutzung vermutlich doch nur für mich verständlich sind, insbesondere wenn mal etwas nicht wie vorgesehen funktioniert (z.B. weil sich die als eindeutiges Identifikationsmerkmal genutzten studentischen E-Mail-Adressen ändern, wenn Studierende eine Stelle als wissenschaftliche Hilfskraft antreten).

Wie hilft FeedbackFruits (und was ist das überhaupt)?

Verbessern lässt sich das beschriebene Verfahren natürlich durch ein Plugin in einem Lernmanagementsystem, das viele (oder im Idealfall alle) der nötigen Prozessschritte automatisch umsetzen kann. Für Moodle gibt es bereits ein solches Plugin namens „Gegenseitige Beurteilung“, das aber keine individualisierten Aufgabenstellungen ermöglicht und sowohl für die administrierende Lehrperson als auch für die nutzenden Studierenden teilweise recht umständlich und wenig intuitiv in der Nutzung ist, was vielleicht auch an dem nicht mehr ganz zeitgemäßen Umsetzung der grafischen Schnittstelle liegt.

Darüber hinaus gibt es externe Tools zur gegenseitigen Begutachtung studentischer Lösungen wie z.B. das Peer-Review-Plugin von FeedbackFruits, einem niederländischen EdTech-Unternehmer, das 2012 im Fachbereich Physik an der Technischen Universität Delft gegründet wurde. Das von dort entwickelte und gepflegte Peer-Review-Plugin lässt sich sowohl für Studierende als auch für Lehrpersonen insbesondere von mobilen Endgeräten aus deutlich einfacher und intuitiver bedienen, was sicher auch an der ansprechenden und modernen Aufmachung liegt. Studierende sehen dort sehr eindeutig den jeweiligen Status ihrer Einreichungen und werden einfach durch die notwendigen weiteren Schritte geführt. Die gegenseitige Begutachtung kann direkt über den Browser erfolgen und benötigt keine weiteren externen Werkzeuge, so dass Medienbrüche und manuelle Down- und Uploads von Datensätzen und Dateien vermieden werden. Rückfragen zur Bewertung, z.B. bei Unklarheiten oder vermeintlich falscher Beurteilung, können ebenso direkt in der Weboberfläche gestellt werden. Auch die Studierenden in meiner Lehrveranstaltung bestätigen die einfache und intutitive Nutzung sowie die übersichtliche Überfläche von FeedbackFruits, wie die Ergebnisse dieser Umfrage am Ende des Sommersemesters 2022 zeigen.

Wie funktioniert die Umsetzung in FeedbackFruits?

Die technische Umsetzung erfolgt in drei groben Prozessschritten:

1. Zunächst registrieren sich die Studierenden im Moodle-Kurs der Lehrveranstaltung und in der FeedbackFruits-Aktivität. Wie bisher lade ich mir dann eine Liste aller Studierenden herunter, um für jede*n aus MATLAB heraus eine entsprechende Aufgabe und Musterlösung zu erzeugen, und zunächst lokal abzuspeichern. Die Aufgaben werden dann ebenso automatisiert per E-Mail an die Studierenden verschickt.
2. Die Studierenden bearbeiten nun ihre Aufgaben und reichen ihre Lösungen über die FeedbackFruits-Aktivität im Moodle ein. Dort finden sie nach der Einreichungsfrist auch die zu begutachtenden Lösungen ihrer Kommiliton*innen und entsprechende Bewertungsformulare, die einfach und intuitiv zu bedienen sind. Die zugehörigen Musterlösungen lade ich zu gegebener Zeit aus dem vorher erstellten lokalen Order auf einen universitätseigenen Webserver hoch. Die Studierenden greifen über einen Link auf die Musterlösungen zu, der jeweils als individueller QR-Code auf jedem Aufgabenblatt enthalten ist. Damit das funktioniert, müssen die Studierenden das Aufgabenblatt bzw. zumindest den QR-Code zusammen mit der Lösung einreichen. An dieser Stelle sei angemerkt, dass die Erweiterung um einen individuellen QR-Code pro Aufgabe meine eigene Ergänzung des Systems ist und nicht originärer Teil von FeedbackFruits ist.
3. Nachdem die Studierenden ihre gegenseitigen Begutachtungen in der FeedbackFruits-Aktivität eingereicht haben, können sie ihr erhaltenes Feedback anschauen und gegebenenfalls kommentieren. Außerdem können sie eine kurze Reflexion zur Aufgabe, ihren Herausforderungen bei der Lösung und dem empfundenen Kompetenzzuwachs schreiben. Natürlich können die Studierenden zur Kontrolle auch auf ihre eigenen Musterlösungen zugreifen. Die erhaltene Punktzahl wird nach einem Export aus der FeedbackFruits-Aktivität in der Bewertungstabelle im Moodle-Kurs gespeichert.

• 

  1. Schritt

• 

  2. Schritt

• 

  3. Schritt

• 

  Beispiel für einen QR-Code, der den Link zur Musterlösung enthält, die nach der Abgabefrist auf dem Webserver verfügbar ist.

Aus Sicht der Lehrperson ist es sehr einfach, die entsprechende FeedbackFruits-Aktivität in einem Moodle-Kurs anzulegen. Das geht über „Aktivität oder Material anlegen“ und „Externes Tool hinzufügen“. Die nötige Verknüpfung zum FeedbackFruits-Server über die LTI-Schnittstelle muss zuvor einmal angelegt werden, was allerdings schnell und einfach mit Hilfe des FeedbackFruits-Support-Teams erledigt werden kann. Aus den vielfältigen Aktivitätstypen von FeedbackFruits wird dann „Peer Review“ ausgewählt.

• 

  Zunächst wählt man im Moodle-Kurs „Aktivität oder Material anlegen“ und dann „Externes Tool hinzufügen“.

• 

  Einmalig im Kurs konfiguriert, kann FeedbackFruits aus der Liste der vorkonfigurierten Kurs-Tools ausgewählt werden.

• 

  Aus den Optionen der FeedbackFruits-Aktivität wird dann „Peer Review“ ausgewählt.

Innerhalb der Peer-Review-Aktivität von FeedbackFruits wird man dann als Lehrperson durch die verschiedenen Schritte der Konfiguration geführt.

1. Aufgabenstellung (Instructions)
2. Einreichung (Submissions)
3. Gegebenes Feedback (Given reviews)
4. Bekommenes Feedback (Received reviews)
5. Reflexion (Reflections)
6. Bewertung (Grading)

• 

  Überblick und Schritt 1 (Aufgabenstellung)

• 

  Schritt 2 (Einreichung) und Schritt 3 (Gegebenes Feedback)

• 

  Schritt 4 (Bekommenes Feedback) und Schritt 5 (Reflexion)

• 

  Schritt 6 (Bewertung)

Dabei müssen nacheinander Einstellungen für die einzelnen Schritte getroffen werden, die jeweils sehr gut verständlich beschrieben und intuitiv nutzbar sind.

• 

  Einstellungen für Schritt 1 (Aufgabenstellung)

• 

  Einstellungen für Schritt 2 (Einreichung)

• 

  Einstellungen für Schritt 3 (Gegebenes Feedback)

• 

  Einstellungen für die Bewertungskriterien

• 

  Weitere Einstellungen, z.B. für die Anonymität der Bewertung

• 

  Einstellungen für Schritt 4 (Bekommenes Feedback) und Schritt 5 (Reflexion)

• 

  Einstellungen für Schritt 6 (Bewertung)

Die Formulare aus studentischer Sicht sind ähnlich aufgebaut, klar strukturiert und ebenso intuitiv nutzbar. Auf jeder Seite gibt es außerdem einen blauen Chat-Button, der eine Verbindung zum FeedbackFruits-Support herstellt. Insgesamt lässt sich damit der ganze Prozess des gegenseitigen Gebens und Erhaltens von studentischem Feedback bzw. der gegenseitigen Bewertung von Einreichungen sehr einfach strukturieren und effizient abwickeln.

Wichtigster Vorteil für mich als Lehrperson: Der Zeitaufwand pro Aufgabendurchlauf ist dadurch von etwa einem Arbeitstag auf einen halben Arbeitstag gesunken. Durch weniger Möglichkeiten der studentischen Fehlbedienung des Systems gab es weniger Fälle, in denen ich händisch etwas korrigieren musste, was natürlich auch zu weniger Nachfragen führt.

Welche Herausforderungen gibt es dabei noch?

Das häufigste Problem war tatsächlich, dass die Studierenden vergessen haben, den QR-Code mit einzureichen, der die Zuordnung der jeweiligen Musterlösung möglich macht. Die Quote der Studierenden, die das vergaß, nahm naturgemäß im Laufe des Semesters ab, erreichte aber leider nie Null. Das erzeugte unnötige Nachfragen per E-Mail an mich als Lehrperson, die teilweise auch zu Verzögerungen im Bewertungsprozess führten. Eine Möglichkeit, die personalisierten Aufgaben und Musterlösungen automatisch im System zu speichern, würde den QR-Code obsolet machen und dieses Problem lösen.

Weiterhin gab es seltene Darstellungsprobleme mit PDF-Dateien, die auf bestimmten Endgeräten mit bestimmten Programmen erzeugt wurden. Dieses Problem lässt sich bei der Vielzahl von PDF-Programmen und Konvertern sicher nie ganz aus dem Weg räumen, konnte vom FeedbackFruits-Support aber meist gelöst werden. Hilfreich wäre hier sicher eine Bestätigung beim Upload, ob die eingereichte Datei auch lesbar und darstellbar ist. Eine solche Bestätigung würde auch verhindern, dass Studierende aus Versehen eine falsche Datei von ihrem Endgerät auswählen und hochladen.

Ebenso störten sich einige Studierende daran, keine halben Punkte vergeben zu können, was z.B. bei Vorzeichenfehlern und fehlenden Einheiten durchaus zur Abstufung nützlich sein kann. Auch eine kurze Bestätigung der tatsächlich vergebenen Punktzahl vor der gegenseitigen Bewertung wurde als sinnvoll eingestuft, um nicht unbeabsichtigt eine falsche Bewertung zu geben, was z.B. auf Geräten mit Touchscreen schnell passiert, wenn man aus Versehen beim Absenden der Bewertung noch einen Schieberegler der Bewertung verstellt.

Außerdem wären zur Bewertung von handschriftlichen Lösungen natürlich auch handschriftliche Ergänzungen und Kommentare in den gegenseitigen Korrekturen sehr sinnvoll. Eine solche Option setzt natürlich auch einen Laptop bzw. Tablet-PC mit beschreibbarem Bildschirm oder ein Zeichentablet voraus. Eine derartige technische Ausstattung ist aber mittlerweile bei vielen Studierenden vorhanden.

Wie geht es weiter?

Nachdem der technische Ablauf der gegenseitigen Begutachtung einfach und effizient funktioniert, kann man sich als Lehrperson weiter mit der Verbesserung der Qualität und Fairness der gegenseitigen studentischen Gutachten beschäftigen und z.B. folgenden Fragen nachgehen:

• Welche Hilfe, Anleitung und Unterstützung benötigen Studierende, um die Lösungen ihrer Kommiliton*innen nicht nur fachlich korrekt, sondern auch möglichst lernwirksam und konstruktiv zu bewerten?
• Wie kann man die Fairness des Verfahrens steigern und absichtlich oder unabsichtlich falsche (also zu gute bzw. zu schlechte) gegenseitige Bewertungen besser erkennen oder vermeiden?
• Inwieweit kann und sollte man als Lehrperson zumindest stichprobenartig weiter in die studentischen Lösungen und gegenseitigen Bewertungen schauen, auch wenn das technische Verfahren problemlos läuft und das eigentlich nicht notwendig macht?

Außerfachlich ist es auch wünschenswert, weiter an einer allgemein konstruktiven, offenen und wertschätzenden Feedback- und Fehlerkultur zu arbeiten, die Fehler nicht als Mangel, sondern als notwendige Effekte in einem Lernprozess auffasst. Fehler sind dabei nicht unbedingt zu vermeiden, sondern notwendig, um einen Sachverhalt im Sinne des Mastery Learning vollständig zu durchdringen und eine höhere Kompetenzstufe zu erreichen.

Perspektivisch ist es aus meiner Sicht sinnvoll und zielführend, Peer Feedback auch für Prüfungen nutzen, insbesondere für offene, authentische, kompetenzorientierte Aufgabenstellungen im Open-Book- und Open-Web-Kontext, die sich im Gegensatz zu geschlossenen Aufgaben oder Multiple-Choice-Fragen nur sehr schwer automatisiert korrigieren und bewerten lassen.

Werbung

Siehst du dieses Licht? — Meine Erfahrungen mit einem Lightboard

„Wat is en Leihtboort?“

Eine kleine Begriffsklärung zu Beginn: Ein Lightboard ist eine beschreibbare Glasscheibe mit abgedunkeltem Hintergrund zur Produktion von Erklärvideos. Man stellt sich dahinter und kann mit speziellen neonfarbigen Stiften wie auf einer Tafel oder einem Whiteboard schreiben, wobei die Schreibfläche durchsichtig ist und man durch sie hindurch gefilmt wird. Somit kann man gleichzeitig in Richtung der Kamera schauen, etwas schreiben und erklären. Damit die Farbe der Stifte ordentlich leuchtet, wird die Glasscheibe von den seitlichen Kanten per UV-Licht beleuchtet. Um die Schrift richtig herum lesbar zu machen, wird das Kamerabild einfach horizontal gespiegelt, z.B. mit einem Konverter. In diesem Internet gibt es etliche Selbstbauanleitungen für Lightboards, die mich als Ingenieur natürlich als herausfordendes Bastelprojekt reizten, die ich aber aus Zeitmangel nie konkret umsetzen vermochte. Irgendwann im Laufe des ersten Coronajahres 2020 fand dann ein kommerzielles Lightboard den Weg in unsere Fakultät und ich hoffte, es irgendwann auch mal ausprobieren und nutzen zu können. Die Gelegenheit dazu ergab sich zufällig Ende 2021, einen Tag vor der Weihnachtspause.

95″-Lightboard von Revolution Lightboards mit zwei vertikal angeordneten Kontrollmonitoren, dazwischen die Kamera

Erster Test der Anzeige des Kamerabilders auf dem Kontrollmonitor mit Shirts in verschiedener Helligkeit bei der Einweisung durch einem Kollegen

Mathias hat einen Plan

Also habe ich mir vier passende Themen (Zweigstromanalyse, Maschenstromanalyse, Zweipoltheorie, Superpositionsprinzip) zu unserer Grundlagenlehrveranstaltung zur Elektrotechnik überlegt, zu denen ich noch keine Videos hatte, die sich rein handschriftlich aufschreiben und erklären lassen, und sich somit für Lightboard-Aufnahmen eignen. Diese Netzwerkberechnungsverfahren können zusammenhängend am gleichen Beispiel dargestellt werden, ermöglichen aber trotzdem vier eigenständige Videos. Ansonsten umfasste die Vorbereitung nur eine kleine Einführung in die Bedienung des Lightboards und des angeschlossenen Rechners durch einen Kollegen sowie die Organisation einer Schließberechtigung für den Raum, der nicht direkt zu unserem Institut gehört. Außerdem habe ich mir das sehr gute Lightboard-Einführungsvideo von Anja Pfennig angeschaut. Ihrem Tipp entsprechend hatte ich mir dann für die Aufnahme verschiedene Shirts und Polohemden mitgenommen. Die passende Beispielschaltung für die fachlichen Erklärungne habe ich mir am Vortag überlegt. Die Spickzettel für meinen Lösungsweg und zur groben Aufteilung der verfügbaren Tafelfläche habe ich jeweils erst kurz vor den Aufnahmen geschrieben.

Let’s go

Vor der ersten eigentlichen Aufnahme habe ich natürlich ein bisschen getestet:

• Stimmt das Licht? An der Seite des Lightboard gibt es drei Potentiometer-Dimmer für das UV-Licht, das seitliche Licht und das Licht nach hinten. Mir fehlte hier eine sinnvolle Anleitung, was man bei der Einstellung beachten sollte. Ich habe es einfach „nach Gefühl“ sowie nach „bestem Wissen und Gewissen“ eingestellt.
• Welchen Bereich des Lightboards nimmt die Kamera wirklich auf? Hier habe ich mir kleine Markierungen an den Rändern gemacht, die für mich die Grenzen des beschreibbaren Bereichs markieren. Der Kontrollmonitor direkt unterhalb der Kamera ist dafür sehr nützlich.
• Ist die Aussteuerung des Mikrofons in Ordnung? Kurze Probeaufnahme, kurz anhören, das sollte so passen.
• Klappt die Aufzeichnung per vorinstalliertem Camtasia auf dem Rechner, das ich in Ermangelung von Administratorrechten zur Installation von OBS Studio nutzen musste?

Da ich nur einen halben Tag für die Aufnahmen eingeplant hatte, habe ich dann direkt das erste Video aufgezeichnet. Benutzt habe ich die Originalstifte ohne Pumpmechanismus, ein dunkelgrün-braunes Shirt und das vorinstallierte Mikrofon. Aus meiner Sicht ist das Bild etwas zu dunkel. Man sieht fast nur meine Hände und meinen Kopf. Den blauen und pinken Stift sieht man kaum. Glücklicherweise habe ich das fertig beschriebene Lightboard noch mal per Smartphonekamera fotografiert, auf dessen Aufnahme man alles viel deutlicher erkennen kann.

Neon-Stifte ohne Pumpmechanismus

Auf dem mit dem Smartphone abfotografierten fertigen Anschrieb am Whiteboard erkennt man deutlich, wie die Neon-Stifte je nach Beleuchtungsstärke und UV-Lichteinfall ihre Farbe ändern.

Das oben auf dem Lightboard angebrachte Mikrofon ist okay, nimmt aber aufgrund des Abstands natürlich auch viel Raumhall und Hintergrundrauschen auf. Außerdem schwankt die Lautstärke je nach Standposition vor dem Lightboard, was man ebenso deutlich im Video hört. Das mag eine Einstellungssache sein, ist aber für den Gesamtpreis des Setups aus meiner Sicht kaum akzeptabel.

Am Lightboard vorinstalliertes Mikrofon von Azden

Weiteres Problem, aber vermutlich ebenso eine Einstellungssache: Die Kamera zieht während der Aufnahme automatisch den Weißabgleich bzw. den Farbkontrast nach. Am Anfang des Videos (ohne farbigen Anschrieb) sehe ich aus wie eine Wasserleiche im Tatort, zum Ende (mit mehr Farben auf dem Lightboard) wirke ich dann zumindest von der Gesichtsfarbe her etwas lebendiger.

Änderung meiner Gesichtsfarbe im Laufes des Videos durch die automatische Nachjustage des Weißabgleichs durch die Kamera

Everybody gets a second chance

Ich habe im zweiten Video versucht, aus den Fehlern des 1. Videos zu lernen und eines helleres, hellblaues Poloshirt, ein anderes Mikrofon (Rode Wireless Go) und andere Stifte mit Pumpmechanismus benutzt. Die Helligkeit in diesem Videos sieht besser aus, denn man kann nun auch meinen Körper besser sehen. Der Ton ist ebenso deutlich besser, insbesondere wenn ich nicht in der Mitte sondern am Rand stehe und nach unten gucke. Die Pumpstifte decken besser, jedenfalls gelb und grün. Der pinke Stift ist auch hier leider kaum sichtbar, was mich etwas nervt, weil auch die Stifte direkt vom Hersteller des Lightboards mitgeliefert wurden. Vielleicht fehlte aber auch einfach noch mehr UV-Licht, vielleicht sind die Stifte auch schon zu alt. Das Problem mit der schwankenden Farbwiedergabe der Kamera bleibt. Ansonsten bin ich mit diesem Ergebnis schon ganz zufrieden.

Neon-Stifte mit Pumpmechanismus

Aller guten Dinge sind drei

Im dritten Video habe wieder ein paar andere Dinge probiert, z.B. ein farbiges, rotes Oberteil, das gleiche RODE-Wireless-Go-Mikrofon, jedoch mit etwas anderen Einstellungen (weniger Pegel) und erneut die Stifte ohne Pumpmechanismus, wobei ich aber nur gelb und grün, kein blau und pink benutzt habe. Das Ergebnis ist ganz gut. Die Stifte sind zum Teil jedoch wieder recht blass, insbesondere in der Mitte des Lightboards, wo die UV-Beleuchtung an Intensität verliert. Außerdem sticht das weiße Mikrofon natürlich etwas hervor. Weiterhin sieht man in der oberen Bildmitte einen größeren hellen Fleck. Dies ist eine Reflexion des zweiten, oberen Kontrollmonitors, auf dem ich mir meinen abfotografierten Spickzettel eingeblendet hatte.

Verschiedene Shirts und Hemden zur Probe, die ich in der Reihenfolge von oben nach unten in den vier Lightboard-Videos getragen habe

Eines geht noch

Für das vierte und letzte Video habe wieder ein paar andere Dinge probiert, z.B. ein farbiges, dunkelrotes T-Shirt, noch mal ein anderes Funkansteckmikrofon (Hollyland Tech LARK 150), wieder die Stifte mit Pumpmechanismus, aber erneut nur gelb und grün, kein blau und pink. Außerdem habe ich den obigen Kontrollmonitor ausgeschaltet, der im dritten Video (aber interessanterweise nicht in Video 1 und 2) eine störende Reflexion verursacht hatte. Dafür hatte ich dann keinen „Spickzettel“ mehr für den Anschrieb und musste die Zahlenrechnungen wirklich alle im Kopf haben oder eben schnell ausrechnen. Zusätzlich habe ich noch das weiße Rode Wireless Go getragen, um mit dem Smartphone ein Making-Of-Video zu drehen.

Das Ergebnis ist ebenso ganz gut. Die Stifte sind überall ganz gut lesbar, allerdings mit weniger Deckung in der Mitte des Lightboards, wo die UV-Beleuchtung an Intensität verliert. Außerdem sticht das weiße Mikrofon natürlich wieder etwas hervor. Vor der Videoaufzeichnung musste ich übrigens eine Weile auf die Mittagssonne bzw. ihr Verschwinden warten, die mir einen unschönen hellen Fleck auf den abgedunkelten Hintergrund projezierte.

Störender Lichtfleck durch die flach einstrahlende Mittagssonne auf der Südseite, die immer ihren Weg durch die Jalousieren findet

Insgesamt habe ich also schon problemlos geschafft, vier Erklärvideos zu je etwa 20 Minuten Dauer an einem halben Arbeitstag aufzunehmen. Die entsprechende Postproduktion (Hochladen, Titel, Beschreibung, Schlagworte, Meta-Daten, Thumbnails, Kapitelmarken, zugehörige MATLAB-Skripte, Verlinkung im Moodle-Kurs, …) hat mich dann insgesamt noch mal etwa einen halben Tag gekostet. Ein Verhältnis von 1:3 bis 1:4 zwischen reiner Spielzeit und der insgesamten Produktionszeit ist selbst für meine relativ unaufwendigen Videos, die ich ohne den für mich sehr zeitraubenden Schnitt immer an einem Stück produziere, mittlerweile üblich.

Meine vier „Spickzettel“ für die vier produzierten Videos zur Probe der groben Aufteilung des Anschriebs auf die verfügbare Tafelfläche

Die hellen Dinge

Sicher hat so ein Lightboard einige Vorteile. Das Ergebnis ist visuell recht ansprechend. Das Anschreiben ist ähnlich wie an einer Tafel oder einem Whiteboard und erfordert damit kaum Umgewöhnung. Die Fokussierung auf die Handschrift und der Verzicht auf Folieneinblendungen, MATLAB-Simulationen oder LTspice-Schaltbilder richtet den Blick auf das Wesentliche und zwingt die Lehrperson zur Langsamkeit. Mal eben schnell etwas zeigen oder erklären geht halt nicht, man muss es schon in Ruhe aufschreiben.

Der ganze Aufbau ermöglicht jederzeit guten Blickkontakt direkt in die Kamera oder zumindest in deren grobe Richtung und auch ich müsste mich schon extrem ungeschickt anstellen, damit man in einer Lightboard-Aufnahme meinen Hinterkopf sieht. Auch kann man sehr schön mit den Augen auf etwas blicken sowie mit den Fingern, den Händen oder dem ganzen Arm auf etwas zeigen und so die Zuschauenden visuell durch einen ausführlichen Aufschrieb oder eine komplexe Skizze führen.

Das war es dann meines Erachtens aber auch schon mit den Vorzügen, denn trotzdem muss man gleichzeitig etwas darauf achten, nichts mit einem zu hellen Hintergrund (Gesicht, Hände, Kleidung) zu überstrahlen oder von der Schrift selbst überdeckt zu werden.

Wo Licht ist, ist auch Schatten

Auf der anderen Seite ist eine erfolgreiche Aufnahme an einem Lightboard ein sehr komplexes Zusammenspiel vieler Komponenten und ermöglicht damit unglaublich vielfältige Wege zum Scheitern. Das fängt bei der Wahl der Kleidung an. Nicht zu dunkel, aber auch nicht zu hell sollte diese sein, möglichst einfarbig aussehen, keine Muster und keine störende Schrift besitzen. Erwähnte ich bereits, dass ich deshalb einige T-Shirt „auf links“ und mit dem Rücken nach vorn trug?

Das Zusammenspiel von UV-Beleuchtung und LED-Lichtstärke am Lightboard sowie Kontrast, Helligkeit und Weißabgleich der Kamera muss natürlich relativ gut zusammenpassen, damit man in der fertigen Aufnahme das und nur das sieht, das man auch wirklich sehen soll. Natürlich muss dafür auch der Raum sehr gut abgedunkelt sein, damit inbesondere im Winter auf der Südseite eines Gebäude kein flach einfallender Sonnenstrahl die Aufnahme stört. Sind die Sonne ausgesperrt und die Deckenleuchten ausgeschaltet, kann dir immer noch der Kontrollmonitor eine störende Reflexion ins Bild zaubern.

Dieser Kontrollmonitor ist ansonsten natürlich sehr nützlich, denn er ermöglicht eine Live-Kontrolle des Videobildes und damit rasche Korrekturen eventueller Anzeigeprobleme. Weiteres mögliches Problem: Der Kontrollmonitor in meinem Setup war vermutlich zu hell eingestellt. Manche Stifte, die ich dort noch gut sehen konnte, waren in der fertigen, deutlich dunkleren Aufnahme kaum zu erkennen. Außerdem ändern die Stifte in der Aufnahme je nach Position auf dem Lightboard sowie der Intensität und dem Einfallswinkel des UV-Lichts gern mal die Farbe bzw. sind farblich kaum zu unterscheiden.

Eher anekdotischen Wert hat die Ergänzung, dass das Lightboard auch eine elektrische Höhenverstellung besitzt, die aber auf die US-amerikanischen 110 V-Betriebsspannung angewiesen ist und deshalb an unserem europäischen 230 V-Steckdosen nicht funktioniert. Schon fast witzig ist die Zusatzinformation, dass der damit für den Betrieb notwendige Transformator sich nicht einsetzen lässt, weil er zuverlässig den Fehlerstromschutzschalter auslöst und damit den ganzen Laborraum lahmlegt, in dem das Lightboard provisorisch installiert ist.

Wer jetzt immer noch mit dem Gedanken spielt, sich unbedingt ein Lightboard anschaffen zu müssen, sei gewarnt, dass man das Ding nach jedem Einsatz auch intensiv putzen muss. Obwohl die Stifte laut Aufschrift trocken abwischbar sein sollen, klappte das bei mir nicht. Also muss man das Lightboard erst mal mit einer Sprühflasche etwas anfeuchten, dann mit einem Lappen alles verschmieren und anschließend trocken abrubbeln. Was lobe ich mir da den elektronischen Radierer eines Smartboards oder die „Alles markieren“- und „Löschen“-Funktionen in Windows Journal.

Wie eine klassische Tafel kann man ein Lightboard auch mit einem Tafelwischer bzw. -abzieher oder Lappen bzw. Papiertüchern reinigen

Fazit

Ja, der optische Effekt eines Lightboards ist auf jeden Fall ganz nett (und lässt sich mit etwas mehr Sorgfalt und Erfahrung bei der Einstellung der Lichter und der Kamera auch sicher noch optimieren), und wenn man gut an einer Tafel schreiben und gleichzeitig etwas dazu erzählen kann, kommt einem das System natürlich auch entgegen, da zunächst wenig Umgewöhnung nötig ist. Zum Blickkontakt mit der Kamera muss man sich natürlich trotzdem etwas zwingen. Ansonsten gefällt mir, dass man auch sehr schön mit beiden Händen auf Dinge zeigen kann. Außerdem zwingt das System natürlich wie eine normale Kreidetafel oder ein Whiteboard etwas zur Langsamkeit, was die Nachvollziehbarkeit der Ausführungen für die Studierenden sicher verbessert.

Ansonsten ist ein Lightboard halt ein unglaublich komplexes, aufwendiges und teures System (knapp 18 k€ Gesamtkosten in der genutzten Variante, allein 900 € für die Kamera mit Polarisationsfilter, 300 $ für den HDMI-Konverter zur Spiegelung, …), das wahnsinnig viele Möglichkeiten zum Fehlermachen bietet (zu wenig Kontrast, schlechter Weißabgleich, schlechte Stifte, schlechtes Mikrofon, unpassende Kleidungswahl, viele verwirrende Einstellmöglichkeiten für das Licht, Probleme mit Reflexionen und Sonnenlicht, Spiegelungen des Kontrollmonitors, unzureichende Verdunklung, aufwendige Reinigung, etc.). Das beste und teuerste Lightboard nützt einem nämlich auch nichts, wenn es nach der teuren Anschaffung lieblos in einen unpassenden Raum geworfen und nicht richtig eingestellt wurde, sich niemand um Pflege, Wartung und intensive Einweisung/Schulung der Nutzenden kümmert. Hier stellt sich auch eine eher administrative Frage: Lohnt sich eher einmalig angeschafftes teures Equipment, das kollaborativ viele Lehrende sequentiell nutzen oder sollte man liebere mehrere, jeweils günstigere, parallel nutzbare Aufnahmemöglichkeiten schaffen? Welcher Produktionspreis pro fertiger Minute Videomaterial ist allein vom Aufnahmeequipment her angemessen? Wie können Raumzugänge und Technikschulungen effizient organisiert werden? Wie ist sicher gestellt, dass immer unter optimalen Bedingungen aufgezeichnet und das nötige Wissen dazu nicht nur als „Oral History“ weitergegeben wird?

Verwendetes Kameramodell VIXIA HF G50 mit 4K-Auflösung von Canon

Für die 18 k€ Anschaffungspreis des Lightboard-Sets bekomme ich auch locker 15 bis 20 Büros mit einem folgendem Setup ausgestattet:

• Elgato Greenscreen für Deckenmontage, 200 €
• Logitech Streamcam, 160 €
• Rode Mikrofon NT-USB Mini , 100 €
• Rode Mikrofonarm PSA-1, 90 €
• Wacom Schreibtablett Intuos, 130 €

und hätte sogar noch Geld über, die Mitarbeiter*innen und Kolleg*innen entsprechend zu schulen oder in gutes Licht zu investieren). Mit dem Chroma-Keying-Filter von OBS Studio bekommt man dann auch sehr ansprechende Videos hin, hat einen ebenso schönen optischen Effekt und kann viel mehr machen, als nur Schreiben, sondern z.B. auch in MATLAB oder LTspice simulieren.

Greenscreen-Setup in meinem Büro zur Aufnahme von Videomaterial

Erklärvideo, das ich mit meinem Greenscreen-Setup im Büro aufgezeichnet habe

Ansonsten kann man sich auch einfach mit einem normalen guten Funkansteckmikrofon vor ein gut ausgeleuchtetes und reflexionsarmes Whiteboard stellen, darauf schreiben, etwas dazu erzählen und das mit einem Smartphone auf einem Stativ filmen. Natürlich sieht man die erklärende Person dann eher von hinten und selten von vorn, die Art der Inhaltsvermittlung bleibt aber die gleiche. Ein entsprechendes Video zur gleichen Schaltung mit der Vierpoltheorie habe ich zum Vergleich Anfang Januar aufgezeichnet. Die Kosten für dieses Setup betragen exklusive des üblicherweise vorhandenen Whiteboards und Smartphones nur etwa 500 €. Außerdem kann man hier auch endlich mal die Farben der Stifte unterscheiden.

Video, das ich an einem üblichen Whiteboard aufgezeichnet habe

Impressionen von einer Erklärvideoaufnahme an einem üblichen Whiteboard

Das Lightboard ist für deshalb so etwas wie der Ferrari oder der Porsche unter den Videoaufnahmesystemen, teuer, exklusiv, kompliziert und eigentlich ziemlich unnötig, aber eben auch sehr schick und als Luxusvariante natürlich trotzdem „absolut notwendig für die Lehre„. Mein oben beschriebenes Greenscreen-Setup ist dann vielleicht so etwas wie der VW Golf oder Passat, ein „Vernunftsetup“, der Preis-Leistungs-Sieger. Die Variante mit gutem Mikrofon, Smartphone-Kamera und normaler Tafel/Whiteboard ist dann der Polo oder Nissan Micra, fährt auch, kommt auch ans Ziel, verbraucht weniger Sprit, macht als Sparvariante aber auch nicht so viel her.

Erfahrungen aus einer Open-Book-Präsenzprüfung in den Grundlagen der Elektrotechnik

In einem früheren Blog-Artikel habe ich bereits ein Konzept und ein paar Ideen zu einer Präsenzprüfung in einem ingenieurwissenschaftlichen Grundlagenfach wie der Elektrotechnik vorgestellt, bei der die Studierenden ähnlich wie bei einer Take-Home-Prüfung sämtliche denkbaren Hilfsmittel wie Bücher, Skripte, Vorlesungs- und Übungsmitschriften sowie elektronische Endgeräte wie Laptops, Tablet-PCs oder Smartphones verwenden dürfen. Da auch der Zugriff auf das Internet erlaubt war, kann man nicht nur vor Open-Book- sondern sogar von einer Open-Web-Prüfung sprechen. Einzige Einschränkung für die Studierenden bzw. die Prüflinge war die Forderung, die ihnen gestellten, individuell zusammengestellten Aufgaben eigenständig zu bearbeiten. Hier möchte ich nun, nachdem die Prüfung konzipiert, durchgeführt, korrigiert und ausgewertet ist, von einigen Erfahrungen berichten, ein Fazit ziehen und Verbesserungsvorschläge diskutieren.

Konzept

Die Erfahrungen mit einer online-durchgeführten Open-Book-Prüfung am Ende des Corona-Wintersemesters 2020/2021 waren durchaus vielversprechend, so dass deren grundlegendes Konzept beibehalten werden sollte. Die Studierenden wünschten sich jedoch durchaus mehr Chancengleichheit durch die gleichzeitige Beaufsichtigung in einem Prüfungsraum wie einem Hörsaal oder einer Messehalle, die eine zu starke Inanspruchnahme von Contract Cheating bzw. ein gemeinsames Lösen einer Einzelprüfung in einer größeren Studierendengruppe deutlich erschwert. Die gesunkenen Inzidenzen am Ende des bis dahin weitgehend online durchgeführten 2. Corona-Sommersemesters 2021 machten das auch möglich. Trotzdem war nicht ganz auszuschließen, dass einzelne Prüflinge zum Prüfungszeitpunkt in behördlich angeordnete Quarantäne mussten. Auch für diese Zielgruppe sollte eine gleichzeitige äquivalente Online-Prüfung möglich sein, was mit dem vorgestellten Konzept auch kein Problem war und von einem Prüfling in Anspruch genommen wurde.

Da alle Prüflinge sich aber weiterhin über das Internet hätten austauschen und auch externe Dienste zur Erbringung der Prüfungsleistung in Ansprech nehmen konnten, gab es wieder individuell zusammengestellte Aufgabenbögen. Diese habe ich erneut über ein MATLAB-Skript automatisiert aus den LaTeX-Quelltexten des Prüfungsaufgabenkatalogs erstellt. Gegenüber der vorherigen Online-Prüfung habe ich diese jedoch ausgedruckt und nicht einfach per E-Mail an die Studierenden verschickt.

Irgendwie ein Nachteil an diesen „Präsenzklausuren“ – man kann die Aufgaben nicht einfach online bereitstellen, sondern braucht so ein großes Gerät namens ‚Kopierer/Drucker‘, viel dünnes weißes Zeug namens Papier und eine Menge Zeit. Hoffentlich ist im nächsten Semester wieder alles online.😉

Dieses Ausdrucken und Austeilen der Papierbögen, früher eigentlich eine Selbstverständlichkeit, erschien mir diesmal unnötig aufwendig und zeitraubend gegenüber dem direkten E-Mail-Versand an die Prüflinge. Damit man die randomisiert zusammengestellten Prüfungsbögen eindeutig identifizieren konnte, waren diese auf der Titelseite fortlaufend nummeriert. Die einzelnen Aufgaben waren auf den Prüfungsbögen sehr generisch von 1 bis 10 durchnummeriert, so dass keine direkte Zuordnung zu einem eventuell von der Fachschaft gepflegten Prüfungsaufgaben- und Musterlösungskatalog möglich war.

Durchführung

Die eigentliche Prüfung verlief wie eine übliche Präsenzprüfung. Die Studierenden betraten den Prüfungsraum, in unserem Fall eine Messehalle und suchten sich einen noch freien Tisch. Nach einigen kurzen einführenden Worten teilten zwei Kollegen und ich die ausgedruckten Prüfungsbögen aus, wobei jede*r Student*in einfach einen beliebigen Prüfungsbogen vom Stapel bekam. Es gab also keine feste Zuordnung von Prüflingen und Prüfungsbögen, die ohne eine festen Sitzplan auch nur sehr schwer zu realisieren gewesen wäre. Diese quasi-zufällige Zuordnung von Prüfungsbögen zu Prüflingen ist vielleicht tatsächlich ein Vorteil der analogen Papiervariante, schließlich könnte ein Prüfling, die/der den randomisiert zusammengestellten Bogen per E-Mail erhält, immer einwenden, dass seine oder ihre zugeteilten Prüfungsaufgaben besonders herausfordernd seien und extra für ihn oder sie unter Umgehung der Randomisierung zusammengestellt wurden, um seine oder ihre Prüfungsleistung zu schmälern.

Nach dem Start der Bearbeitungszeit begannen die Studierenden mit der Lösung der Aufgaben und notierten Ansatz, Rechenweg, Zwischen- und Endergebnisse mit Stiften auf Papier. Einige nutzen dabei das QR-Code-Papier für den automatischen Rückversand der Korrektur, andere ganz normale Schreibblöcke. Ich ging durch die Reihen, beantwortete inhaltliche Fragen und machte eine kleine Statistik, welche typischen Hilfsmittel von wie vielen Studierenden genutzt wurde.

Ich hatte eine kleine Statistik gemacht. Von 106 angemeldeten Studierenden nahmen nur 65 an der Open-Book-Prüfung teil. 48 hatten einen Laptop dabei. 36 nutzten gedruckte Bücher/Skripte/Mitschriften. 57 nutzten ihr Smartphone. Nur zwei Personen probierten es ganz ohne Hilfsmittel.

Das ubiquitäre Smartphone liegt nicht verwunderlich an der Spitze, gefolgt von Laptops (mächtiger, aber teuer, größer, weniger Akkulaufzeit) und Büchern, Skripten und anderen gedruckten Nachschlagewerken. Nur zwei Studierende probierten es ganz ohne Hilfsmittel. Darauf angesprochen erklärte der Eine, er habe leider nichts vom Open-Book-Format gewusst. Der Zweite meinte, er habe alle Hilfsmittel im Rucksack, fühle sich stark, probiere es deshalb aber erst mal ohne, schließlich können ein Laptop und Smartphone ja auch ablenken. Dieser Einstellung zolle ich großen Respekt. Sie erinnert mich aber auch daran, dass ich 2003 für meine schriftliche sechstündige Mathematik-Abiturprüfung meinen Taschenrechner zuhause vergaß und mich zur großen Verwunderung meiner damaligen Mitschüler*innen erst nach mehr als zwei Stunden meldete und unseren Mathematiklehrer fragte, ob er mir vielleicht seinen Taschenrechner leihen kann, was er dann glücklicherweise auch tat.

• 

• 

• 

• 

• 

• 

Entsprechend des Open-Book- und Open-Web-Formats der Prüfung haben viele (aber nicht alle) Studierenden einen Laptop, Tablet-PC oder ein Smartphone dabei. Man sieht viele Bücher und Skripte. Die Aufgaben sind dafür randomisiert, um einfache Plagiate zu verhindern.

Ansonsten fiel mir auf, dass viele Studierende sich der Vielseitigkeit und Mächtigkeit der ihnen erlaubten Werkzeuge wie Laptop und Smartphone nicht wirklich bewusst waren. Nur selten sah ich Leute, die numerische Rechnungen mit komplexen Zahlen oder das Lösen von Gleichungssystemen in MATLAB durchführten oder passende Schaltbilder in LTspice oder EasyEDA simulierten. Stattdessen nutzen die Studierenden die Laptops und Smartphones hauptsächlich für banalere Dinge wie eine Volltextsuche im Skript oder Buch, das schnelle Scrollen durch Übungsmitschriften oder eine rasche Recherche bei Wikipedia, auf YouTube oder in Foren, die im Sinne der Eigenständigkeit hoffentlich nur passiv genutzt wurden.

Zum Ende der Bearbeitungszeit erinnerte ich alle Studierenden noch mal daran, genau diese Eigenständigkeitserklärung zu unterschreiben (was natürlich mehr als 10 Leute trotzdem vergaßen) und zumindest den Namen oder die Matrikelnummer auf alle anderen Blätter zu schreiben, falls nicht das QR-Code-Papier genutzt wurde. Dann gingen meine Kollegen und ich herum und sammelten die Lösungen von den Studierenden ein. Auf eine schriftliche Bestätigung der Abgabe und der Anzahl der eingereichten Blätter verzichteten wir, um im Sinne des Infektionsschutzes lange Schlangen mit geringen Abständen zu vermeiden.

Im Gegensatz zu Online-Prüfungen gab es dann nach dem Prüfungsende die typische studentische Grüppchenbildung vor dem Prüfungsraum (natürlich unter Einhaltung der Abstandsregeln), in der kurz die Prüfungsfragen ausgewertet wurden. Dazu trug vielleicht auch der Getränkeausschank der Fachschaft bei. Da sich bei jeweils unterschiedlichen Aufgaben der Prüflinge aber nur schwer eine gemeinsame Diskussionsbasis finden lässt, zerfielen die Gruppen recht schnell oder schwenkten auf andere Themen um, schließlich gab es nach zwei Online-Semestern, in denen die Prüfung eines der wenigen Präsenzformate darstellte, viel zu bereden.

Korrektur

Die Korrektur der Prüfungen erfolgte wie bei früheren Präsenzprüfungen. Ich sortierte immer fünf studentische Prüfungen in einen Hefter, von denen es dann insgesamt 13 Stück gab. Diese Hefter verteilte ich an die insgesamt sechs an der Korrektur beteiligten Kollegen. Weiterhin bekamen die Kollegen per E-Mail zwei Links auf einen Cloudspeicher. Der erste Link zeigt auf einen Ordner mit den relevanten Musterlösungen. Der zweite Link zeigte auf eine Datenbank, die eine Zuordnung zwischen den Prüfungsnummern, Aufgabennummern und zugehörigen Musterlösungen ermöglichte. Ein dritter Link zeigte zu einer Bewertungstabelle im Moodle-Kurs der Lehrveranstaltung zum Eintragen der Punkte. Dieser Medienbruch, analoge Prüfungsbögen sowie online-verfügbare Musterlösungen und Bewertungstabellen war sicher nicht optimal. Bei früheren Präsenzprüfungen konnte man auch Offline-Zeit im Zug, im Park oder auf der Terasse nutzen, um rein offline Prüfungen zu kontrollieren. Das war hier nicht möglich. Im Gegensatz zur vorherigen Online-Prüfung konnte man sich als Korrekteur aber auch nicht für eine gewisse Zeit von der (analogen) Außenwelt abschotten und alle Prüfungen in einem Rutsch rein online korrigieren, weil einige der 13 analogen Hefter ja stets bei irgendwelchen anderen Kollegen im Büro (oder auch im Home-Office) verstreut waren. Da wir mittlerweile über mehrere Gebäude auf dem Campus und im Home-Office natürlich über das ganze Stadtgebiet von Magdeburg verstreut sind, ist das ein echtes Problem.

Die 65 Studierenden haben für eine 180-min-Prüfung mal wieder ganz schön viel Papier produziert.

Weiterer Nachteil dieses Medienbruchs: Die Studierenden sahen in der online-verfügbaren Bewertungstabelle, dass eine Lösung von ihnen mit einer bestimmten Punktzahl bewertet wurde. Gegenüber der vorherigen Online-Prüfung sahen die Studierenden aber nicht sofort die Korrekturhinweise, denn diese bekamen sie erst am Ende der Bewertungsphase in Form ihrer eingescannten Korrekturen zugeschickt, nachdem alle Aufgaben korrigiert, alle Punkte eingetragen und alle Noten berechnet waren. Anstatt wie bei der reinen Online-Prüfung einfach in die online-verfügbare Korrektur zu schauen, schickten mir die Studierenden berechtigterweise also Fragen zu ihrer korrigierten Lösung per E-Mail. Diese Fragen konnte ich in den meisten Fällen aber nicht direkt beantworten, weil der entsprechende analoge Papierhefter natürlich in einem beliebigen anderen Büro oder Home-Office lag. Nun könnte man anmerken, dass die Studierenden früher™ auch nicht sofort ihre erreichten Punkte und Korrekturen sahen und das auch in Ordnung war. Nichtsdestotrotz ist heutzutage eine gewisse Sofortness in einer Kultur der Digitalität aber durchaus selbstverständlich. Zeitnahes und individuelles Feedback ist auch lerntheoretisch vorteilhaft und deshalb erstrebenswert. Rechtliche Rahmenbedingungen ähnlich dem Onlinezugangsgesetz werden Hochschulen in den kommenden Jahren außerdem dazu verpflichten, Verwaltungsdienstleistungen wie Klausureinsichten auch rein digital anzubieten. Auch das spricht trotz handschriftlicher Lösungen für einen rein digitalen Prüfungsworkflow

Erschwerend kam bei der Korrektur wieder hinzu, dass jede individuell zusammengestellte Prüfung eine andere erreichbare Maximalpunktzahl in jeder Aufgabe und für die gesamte Klausur hatte, die in der Auswertung und Bestimmung der Noten entsprechend berücksichtigt werden musste. Außerdem müsste ich in der Bewertungstabelle natürlich wieder eine Verknüpfung zwischen den Namen der Studierenden und den ihnen zufällig vom Druckstapel zugelosten Prüfungsbögen herstellen. Jede manuelle Zuordnung birgt dabei natürlich ein gewisses Fehlerpotential. Am Ende der Korrektur und Bewertung scannte ich alle Prüfungen ein und stellte sie den Studierenden digital zur Verfügung, um eine aufwendige Prüfungseinsicht in Präsenz zu vermeiden. Einige Studierenden stellten Fragen, die ich per E-Mail, in einer Zoom-Konferenz oder im persönlichen Gespräch beantwortete.

Nach der Korrektur wurden die handschriftlichen Prüfungen über einen Scanner mit Einzelblatteinzug digitalisiert, um den Studierenden eine Online-Prüfungseinsicht zu ermöglichen.

Fazit

Alles in allem „funktionierte“ dieses Prüfungsformat recht gut und wurde von den Studierenden auch gut angenommen, etwas gelobt oder zumindest wenig kritisiert. Der Aufwand für die analoge Papierlogistik während der Korrektur, der angesprochene Medienbruch und der immense Korrekturaufwand durch die individuell zusammengestellten Prüfungen und damit immer wieder anderen Musterlösungen war jedoch sehr hoch und wurde von vielen Kollegen zurecht kritisiert.

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

Punkteverteilung der einzelnen Aufgaben und der Gesamtpunktzahl sowie ein Notenspiegel

Die Verteilung der Punktzahlen der einzelnen Aufgabenbereiche und der Gesamtpunktzahl sind aufgrund der Schiefe nach links auch etwas enttäuschend, insbesondere unter Berücksichtigung der vielfältigen erlaubten Hilfsmittel. Andererseits muss man berücksichtigen, dass hier hauptsächlich Studierende geprüft wurden, die vorher zwei oder drei Semester teils unter Emergency-Remote-Teaching-Bedingungen lernen mussten.

Verbesserungsvorschläge

Um den Korrekturaufwand zu senken, könnte man sich folgende Dinge überlegen:

1. Wenn man den Internetzugriff abschaltet, könnten sich Studierende nicht mehr darüber austauschen und man müsste die Aufgaben nicht mehr randomisieren. Das ist aber äußerst problematisch, denn:
   1. Man kann das Internet nicht einfach so abschalten. Selbst wenn man den WLAN-Zugang im Prüfungsraum deaktiviert oder einschränkt, gibt es immer noch Zugriff über mobile Daten der diversen Mobilfunkdienste, die aus guten Gründen nicht gestört oder blockiert werden können und dürfen. Ein unterschiedlich schneller Mobilfunkdatenzugriff je nach gebuchtem Datentarif der Prüflinge würde aber die Chancengleichheit massiv einschränken.
   2. Ohne Internet sind auch keine Internetrecherchen mehr möglich, die durchaus auch eine sehr praxisrelevante Kompetenz ausmachen.
2. Wenn man z.B. in einer Safe-Exam-Browser-Umgebung nur bestimmte Dienste (wie Wikipedia, MATLAB Online oder EasyEDA) erlaubt, könnten Studierende diese Dienste nutzen, sich aber trotzdem nur unter erschwerten Bedingungen austauschen.
   Problematisch ist dabei: Safe-Exam-Browser sind schwer mit einem Bring-you-own-device-Konzept der studentischen digitalen Endgeräte vereinbar und technisch relativ einfach zu umgehen.
3. Wenn man keine Laptops oder Smartphones, sondern nur programmierbare Taschenrechner erlaubt, könnten Studierenden damit zwar rechnen (auch mit komplexen Zahlen), Gleichungssysteme lösen, eventuell etwas ableiten und integrieren sowie Funktionen plotten, jedoch nicht kommunizieren, insbesondere nicht mit der Außenwelt über das Internet.
   Problematisch dabei ist: Wirklich niemand benutzt im Berufsleben einen programmierbaren Taschenrechner, wenn man auch einen Computer oder Laptop nutzen kann. Programmierbare Taschenrechner kommen praktisch nur in künstlich eingeschränkten Lern- und Prüfungsumgebungen vor und lassen jegliche berufspraktische Relevanz vermissen.
4. Statt in jedem der zehn Themenbereiche die maximale Anzahl von 15 bis 30 Aufgaben in den Pool möglicher Aufgaben zu werfen, könnte man diese auf zwei bis vier Aufgaben einschränken. Damit muss sich jede*r Korrekteur*in nicht mehr in jeden Lösungsweg individuell hineindenken, sondern nur noch zwei bis vier Musterlösungen „auswendig“ kennen.
   Bei jeweils nur zwei Aufgaben pro Themenbereich ergeben sich so immerhin schon 1024 unterschiedliche Prüfungsvarianten, bei jeweils drei Aufgaben knapp 60000 und bei jeweils 4 Aufgaben schon mehr als eine Million unterschiedlicher Zusammenstellungen. Das senkt die Plagiatswahrscheinlichkeit enorm, schränkt Contract Cheating immernoch hinreichend ein und ermöglicht trotzdem eine zeiteffiziente Korrektur.
   Wählt man außerdem in jedem Themenbereich nur Aufgaben aus, die jeweils die gleiche Punktzahl haben, entfällt auch der Zusatzaufwand für jeden Prüfling eine eigene erreichbare Maximalpunktzahl in der Bewertung zu berücksichtigen. Außerdem wird die Klausur fairer, wenn alle die gleiche Maximalpunktzahl erreichen können, schon allein durch Rundungsfehler bei der Anwendung der Notenskala.

Statt der analogen Abwicklung (Ausdrucken, Ausgeben, Einsammeln, Einscannen) der Prüfungsbögen könnte man trotz des Präsenzformats einen nahezu komplett digitalen Prüfungsworkflow benutzen. Die randomisiert zusammengestellten Klausuren werden den Studierenen per E-Mail oder Moodle online zur Verfügung gestellt. Die Studierenden notieren ihre Lösungen weiterhin handschriftlich per Zettel und Stift (aufgrund der Chancengleichheit), fotografieren diese aber wie bei der Online-Prüfung ab und reichen diese im Moodle-Kurs ein. Die darauf folgende Korrektur, Bewertung und Prüfungseinsicht erfolgen dann rein digital.

Herausfordernd dabei ist: Alle Studierenden benötigen zwingend ein digitales Endgerät. Für die Ausgabe der Prüfung könnte man als Backupvariante wenige Druckexemplare von Prüfungsbögen bereit halten. Für die Abgabe könnte man einige Leihendgeräte vorhalten (z.B. Tablet-PCs), mit denen die Studierenden ihre Lösungen abfotografieren und unter dem eigenen Account im Moodle hochladen. Selbstredend benötigt der Prüfungsraum dann zumindest während der Abgabezeit ein leistungsfähiges und zuverlässiges Drahtlosnetzwerk, das einen direkten Zugriff auf das Moodle ermöglicht. Außerdem müssen alle Korrekteur*innen wieder rein digital korrigieren, was entsprechende Endgeräte mit beschreibwaren Displays oder elektronischen Zeichentabletts voraussetzt. Eine entsprechende Ausstattung sollte nach drei Coronasemestern aber mittlerweile zum Standard gehören.

Perspektivisch erlaubt eine Open-Book- und Open-Web-Prüfung mit digitalen Endgeräten für die Studierenden auch endlich mal, Aufgabenformate zu etablieren, in denen direkt Lösungen in MATLAB, GNU Octave, LTspice oder EasyEDA zu erstellen und zur Bewertung einzureichen sind. Das soll nicht heißen, dass gar nicht mehr mit Zettel, Stift und Taschenrechner gearbeitet wird, aber eben nicht ausschließlich mit diesen klassischen Arbeitsmitteln. Digitale Artefakte wie MATLAB-Lösungen bietet über Werkzeuge wie MATLAB Grader auch die Option, automatisch bewertet zu werden und senken damit perspektiv den Korrekturaufwand, erhöhen jedoch vermutlich den Aufwand für die Aufgabenerstellung, insbesondere bei gleichzeitiger Randomisierung der Aufgabenvarianten. In jedem Fall werden solche Prüfungen authentischer, zeitgemäßer, kompetenzorientierter und weniger „googlebar“. Außerdem wird der häufige Straßenlampen-Effekt von herkömmlichen Prüfungen vermieden, in denen oft nur das geprüft wird, was einfach zu prüfen, jedoch nicht notwendigerweise relevant zum Nachweis des Lernziels und Kompetenzerwerbs ist.

Quelle: Beat Döbeli Honegger, https://twitter.com/beatdoebeli/status/1444225274128879617

Eine Outdoor-Hybrid-Übung auf der „grünen Wiese“ und in Zoom

Während der Corona-Pandemie wurde von Studierenden immer wieder der Wunsch nach Präsenz- oder Hybridformaten geäußert, die abseits reiner synchroner Videokonferenzen einen direkteren zwischenmenschlichen Austausch ermöglichen. Im Sommersemester 2021 wurde dafür von mir ein passendes Outdoor-Hybrid-Format entwickelt, erprobt und mehrfach durchgeführt, das ich hier etwas näher beleuchten möchte.

Eindruck vom ersten Produktivtermin einer Outdoor-Hybrid-Sprechstunde in den Grundlagen der Elektrotechnik

Idee

Um das Infektionsrisiko geschlossener Räumlichkeiten zu umgehen, habe ich als Lehrveranstaltungsort eine schattige, windgeschützte, ruhige, grüne Wiese auf dem Campus genutzt. Da draußen aufgrund des Umgebungslichts keine typischen Beamer oder Projektoren nutzbar sind, für eine Übung oder Sprechstunde in den Grundlagen der Elektrotechnik aber Skizzen, Formeln, Schaltbilder und Diagramme essentiell zur Diskussion von Lösungswegen sind, benötigte die „grüne Wiese“ auch eine Wand mit einem Haken, die das Aufhängen einer improvisierten Flipchart-Tafel erlaubt. Die gleichzeitige Teilnahmemöglichkeit für Studierende über ein Videokonferenzsystem ist möglich, benötigt aber eine recht umfangreiche technische Lösung (Laptop, Webcam, verschiedene Mikrofone und Lautsprecher, WLAN-Zugang, etc.), die ich unten beschreibe.

Einbettung in die restliche Lehrveranstaltung

Die übergeordnete Lehrveranstaltung zu den Grundlagen der Elektrotechnik bestand aus einem wöchentlichen synchronen Online-Plenum mit Audience-Response-Fragen, kleinen Experimenten und der Besprechung von Beispielen sowie mehreren wöchentlichen Online-Übungsterminen. Außerdem gab es für die Studierenden einen asynchron nutzbaren Wochenplan mit empfohlenen Seiten im Buch/Skript, Übungsaufgaben, besonders einfachen Einstiegsaufgaben, personalisierten Zusatzaufgaben mit anonymem Peer Review, interaktiven Quizzen und kurzen Erklärvideos. Alle diese Angebote waren aber rein digitaler Natur, ebenso ein wöchentliche Online-Sprechstunde als optionaler Termin zum Stellen von Fragen und der Diskussion lehrveranstaltungsbezogener Themen, die parallel bei Zoom und Twitch übertragen wurde.

Der Wunsch nach Präsenzformaten wurde immer wieder geäußert, jedoch waren gerade zu Beginn des Semesters die Inzidenzen sehr hoch und die Universität deshalb berechtigterweise zu großen Teilen geschlossen. Ein Hybridformat im Außenbereich erschien aber möglich und würde Studierende, die aus verschiedensten Gründen (Infektionsrisiko, Quarantäne, aktueller Wohnort ist nicht Studienort, …) nicht in Präsenz teilnehmen können, nicht ausschließen. Da die Akustik und Sichtbedingungen vor Ort aber nur eine begrenzte Teilnehmendenanzahl zulassen und ich nicht sicher war, wie gut das alles funktioniert, habe ich mich dafür entschieden, nicht die Vorlesung oder einer der Übungen, sondern eben die fakultative Sprechstunde als Outdoor-Hybrid-Variante umzusetzen. Als Lehrperson konnte ich dabei Fragen beantworten, Beispiele besprechen, Ansätze und Lösungswege vorstellen und diskutieren sowie Studierende bei der Aufgabenbearbeitung begleiten. Die Studierenden konnten Fragen stellen, die Beispiele und Lösungswege nachvollziehen, Partner*innen für Gruppenarbeiten sowie Lerngruppen finden und sich gegenseitig näher kennenlernen.

Technik

Eine solche Outdoor-Hybrid-Lehrveranstaltung benötigt eine recht umfangreiche technische Lösung:

• Eine USB-Webcam mit USB-Verlängerungskabel auf einem Stativ nimmt die Flipchart und den Bereich herum auf. (Alternativ kann man dafür auch ein aktuelles Smartphone mit guter Kamera auf einem Stativ benutzen, ins WLAN einbinden und über die Zoom-App in die Videokonferenz einspeisen.)
  
• Eine eventuell zweite Kamera (z.B. die Rückkamera eines Laptops) filmt die das Auditorium vor Ort für die Zoom-Teilnehmenden. Das erfordert aber natürlich die Zustimmung der Studierenden.
• Eine eventuell dritte Kamera (z.B. die Frontkamera eines Laptops) nimmt nur die Lehrperson für etwas längere Erklärungen ohne die Flipchart auf.
• Eine akkubetriebener Bluetooth-Lautsprecher macht die Fragen und Diskussionbeiträge der Online-Gruppe auch draußen gut hörbar. (Alternativ kann auch ein Student als Co-Host per Kopfhörer nebenbei dem Zoom-Meeting zuhören und entsprechende Mitteilungen für die Präsenzgruppe wiederholen und moderieren.)
  
• Ein Funk-Ansteck-Mikrofon für die Lehrperson sorgt für guten Ton in Zoom.
• Eine Funkmikrofon für Zwischenfragen der Studierenden vor Ort ermöglicht, dass diese auch direkt in Zoom gehört werden (idealerweile laufen beide Funkmikrofone über den gleichen Funkempfänger, so dass kein Mischer und keine manuelle Umschaltung erforderlich ist).
  
• Die Lehrperson benötigt einen Laptop zum Anschluss der Kamera und Mikrofone und zur Übertragung in Zoom.
• Der Laptop benötigt dafür natürlich einen WLAN-Zugang auf der grünen Wiese. Hier konnte ich einfach den WLAN-Zugang durch die Fensterfront eines nahes Universitätsgebäudes nutzen.
• Um den Laptop bei längeren Sessions zwischendurch eventuell nachzuladen, ist eine 12-V-Autobatterie mit Inverter auf 230-V-Wechselspannung nützlich.
• Studierende freuen sich eventuell auf Hockern oder Klappstühlen sitzen zu können und nicht zu stehen oder auf den Boden ausweichen zu müssen.
• Ein Laptopständer sorgt für eine ergomische Arbeitshöhe.
  
• Wasserdichte und robuste Transportkoffer sind optional als Schutz für die empfindlichen elektronischen Geräte nützlich, insbesondere wenn das Wetter nicht sehr stabil ist.
  
• Ich schwöre außerdem auf meinen Rollwagen (ein Krane AMG 750) für das ganze Equipment, der sich auch umklappen und als mobiler Tisch nutzen lässt.
  

Außerdem benötigt man natürlich eine Flipchart oder etwas ähnliches als Tafel-Ersatz sowie passende Stifte, die gut decken und im Kamerabild genügend Kontrast erzeugen. Dabei können die typischen Farben schwarz, blau, grün und rot sinnvoll für verschiedene Inhalte genutzt werden (z.B. schwarz für die Aufgabenstellung, blau für nötige Formeln aus der Literatur, grün für die Lösung und rot für die Diskussion typischer studentischer Fehler). Als große Schreibfläche habe ich drei Flipchart-Blöcke nebeneinander auf eine alte Aluminiumgardinenstange getackert, in deren Nut ich mit einem Hammer etwas Holz aus alten Silvesterraketenstöcken eingetrieben hatte. Etwas Maurerschnur und einige Kabelbinder dienten zur Befestigung der Stange an einem Haken, der irgendwie auch zur rechten Zeit in der richtigen Höhe an der gelben Garagenrückwand war.

Die Studierenden benötigen als Arbeitsmaterialien genau wie in anderen Lehrveranstaltungen eventuell auch (eigene) Laptops oder andere digitale Endgeräte, Notizblöcke bzw. Arbeitsmappen sowie Stifte und optional Taschenrechner.

Softwaretechnisch bietet Zoom alle Möglichkeiten für vernünftige Einstellungen. Der Audioeingang läuft über den gemeinsamen Empfänger für Ansteck- und Handmikrofon. Die Audioausgabe geht an die Bluetooth-Box. Als primäres Kamerabild habe ich meine Surface-Frontkamera freigegeben, so dass sie ein Portraitbild von mir aufnimmt, wenn ich vor dem Laptop stehe. Die Zweitkamera für die Flipchart hatte ich dann als Bildschirmfreigabe in Zoom geteilt.

Logistik

Ich habe zum Beginn des Semesters alle nötigen Sachen zusammengesucht, auf den Rollwagen gepackt und diesen im Labor geparkt. Etwa 30 Minuten vor Lehrveranstaltungsbeginn ging es dann damit etwa 5 Minuten über den Campus zur Wiese. Der Aufbau dauerte typischerweise weitere 15 Minuten. Nach einem kurzen Technikcheck war ich dann einsatzbereit. Nach Ende der Lehrveranstaltung brauchte ich meist weitere 30 Minuten, bis alles wieder zusammengepackt, zurückgefahren und zum nächsten Einsatz bereit im Labor stand.

Nötiges technisches Equipment für eine Outdoor-Hybrid-Übung auf dem Rollwagen vor unserem Fakultätsgebäude

Beispielhafter Ablauf

Die Studierenden trudelten meist während meiner Aufbauphase ein, machten Smalltalk und führten informelle Gespräche, bis es wirklich losging, zumindest die Vor-Ort-Studierenden. Die Zoom-Teilnehmenden kamen meist pünktlich auf die Minute, sagten dann aber zumindest kurz Hallo. Sobald alle bereit waren, begrüßte ich dann noch mal offiziell alle Teilnehmenden vor Ort und in Zoom, erklärte gerade in den ersten Terminen noch mal kurz das Hybridsetting, führte kurz in das aktuelle Wochenthema ein und ermunterte alle zum Stellen von Fragen, denn davon lebt eine Sprechstunde. Tatsächlich war gerade vor Ort die Hemmschwelle deutlich geringer und die Studierenden stellten Fragen auf Basis der von ihnen bearbeiteten Aufgaben. Ich als Lehrperson gab die Fragen dann oft zurück in die Runde, so dass wir schrittweise gemeinsam eine Antwort entwickeln konnten, die ich Form von Gleichungen, Schaltbilder und Diagrammen an der Flipchart festgehalten habe. Relativ selten haben Vor-Ort-Studierende auch mal etwas an die Flipchart geschrieben. Die Online-Teilnehmenden können das natürlich nicht und sehen nur den Anschrieb auf der Flipchart, interagieren dann aber über den Audiokanal bzw. über den Chat, wenn es Anschlussfragen, Unklarheiten oder Kommentare dazu gibt. Als Ergebnissicherung habe ich dann stets die finalen Mitschriften auf der Flipchart-Tafel abfotografiert und als Fotos im Nachrichtenforum unseres Moodle-Kurses geteilt.

Beschriebene Flipchart-Tafel am Ende einer Sprechstunde

Vorteil für mich: Ich kenne natürlich fast alle unsere Aufgaben aus dem Übungsheft und kann da überall ohne große Vorbereitung etwas fundiertes zu sagen. Ansonsten wäre es vielleicht didaktisch sinnvoll, als Lehrperson Fragen auf ein bestimmtes Gebiet einzuschränken, auf das man sich dann auch noch mal etwas spezifischer vorbereitet hat.

Vorteile des Hybridformats

Als Motivation und Anreize für die lokale Teilnahme vermute ich folgende Punkte:

• man sieht die anderen Studierenden und Kommiliton*innen sowie die Lehrperson mal als ganzen Menschen und auch ohne Mund-Nasen-Schutz
• man kann sich vorher oder im Anschluss einfach informell unterhalten
• Alle Teilnehmenden sind nicht wie in Zoom in einer gemeinsamen Audiodomäne. Das heißt, man kann sich auch mal nebenbei mit seinem Sitznachbarn oder der Lerngruppe unterhalten, ohne dass das alle anderen hören und dabei fachspezifische (und natürlich auch außerfachliche) Dinge diskutieren, wenn es leise genug ist, um die anderen Teilnehmenden nicht zu stören.
• man ist an der frischen Luft und sich auch etwas bewegen, statt nur still zu setzen oder zu stehen
• es bringt ein bisschen Abwechslung in Ergänzung zu reinen Online-Lehrformaten
• man kann die gastronomische Versorgung auf dem Campus nutzen (Mensen, Cafeterien, etc.)

Lebhafte Diskussionen während der Outdoor-Hybrid-Übung gab es zumindest zwischen den lokalen Teilnehmenden

Für die reine Online-Teilnahme sprechen dafür aus meiner Sicht folgende Punkte:

• man muss nicht zur Universität fahren
• man kann einfacher mitschreiben, da man wohl meist an einem Tisch sitzt
• man kann einfacher Numeriksoftware/Simulationsprogramme an einem Computer nutzen

Gern bin ich hier an anderen Vor- und Nachteilen aus anderen Sichtweisen interessiert, die gern im Kommentarbereich ergänzt werden können.

Nachteile des Hybridformats

Eine erste organisatorische Herausforderung ist eine Anmeldemöglichkeit der lokalen Teilnehmenden, die zwar zusätzlichen Aufwand erzeugt, aber die Abschätzung der Anzahl der zu erwartenden Studierenden und eine spätere Kontaktverfolgung ermöglicht. Eine solche Anmeldemaske habe ich in unserem Moodle-Kurs angelegt. Da der Andrang aber auch nach mehreren Terminen überschaubar blieb, habe ich im weiteren Semesterverlauf auf einen vorherige Anmeldung der Präsenzteilnehmenden verzichtet.

Die zweite Herausforderung, die speziell Outdoor-Hybrid-Formate betrifft, ist das Wetter. Schlechtes Wetter erfordert eine kurzfristige Absage, wofür ein Nachrichtenforum im Moodle-Kurs nützlich ist. Wechselhaftes Wetter erfordert robustes Equipment. Zu starker Wind ist ungünstig für die Tonqualität und macht dem Papier der Flipchart zu schaffen. Greller Sonnenschein ist unangenehm und kann zu Reflexionen im Kamerabild führen.

Aus didaktischer Sicht ist es in Hybridformaten generell schwierig, auf beide Zielgruppen (lokal und online) einzugehen. So ist es z.B. sinnvoll, Fragen und Arbeitsanweisungen konkret, eindeutig und möglichst klar für beide Zielgruppen zu formulieren. Außerdem besteht weiterhin die Schwierigkeit, den visuellen und akustischen „Hybriditätsgraben“ zwischen den lokalen und online-zugeschalteten Teilnehmenden zu überwinden. Bei wenigen und kurzen Zwischenfragen sollte man als Lehrperson die Frage kurz wiederholen und erst dann beantworten (oder die Frage noch mal anders in der Antwort verpacken). Bei lebhafteren Diskussionen kann stattdessen eine/n Student*in vor Ort das Handmikrofon übernehmen und darüber auch die Fragen und Kommentare der anderen Vor-Ort-Studierenden für die Online-Teilnehmenden formulieren und zusammenfassen.

Gegenüber den reinen Online-Übungen und Sprechstunden kann man natürlich schlecht etwas mit MATLAB rechnen oder simulieren, weil ich draußen ja keinen Beamer habe. Das war aber „früher“ in den herkömmlichen Übungsräumen auch so, in denen es immer eine klassische Tafel aber selten einen Beamer gab.

Weil unser Gehör problemlos mehrere parallel laufende Gespräche auseinander halten kann, funktionieren didaktische Methoden wie Ich-Du-Wir oder Think!-Pair!-Share! in der Präsenzgruppe viel einfacher und niederschwelliger als in Zoom, wo man jedes Mal neue Breakout-Räume aufmachen muss. Online kann man sich natürlich auch noch mit jemand anderem per Telefon oder zweitem Audiokanal (z.B. Discord) zusammenschalten, aber dort ist es akustisch viel schwieriger, zwei oder mehr parallele Gesprächsfäden auseinanderzuhalten.

Fazit

Eine Outdoor-Hybrid-Lehrveranstaltung ist logistisch etwas aufwendig und natürlich stark wetterabhängig, technisch mit dem passenden Equipment aber kein allzu großes Problem. Der didaktische Mehrwert ist natürlich überschaubar. Man bekommt die Inhalte rein technisch auch genau so gut oder besser in Zoom hin. Priceless ist jedoch: Die Studierenden kamen nach mehr als einem Jahr mal raus aus der Wohnung, auf den Campus, trafen sich mal ‚in echt‘ und hatten die Möglichkeit zum informellen Austausch, der in Zoom, http://wonder.me, http://spatial.chat und http://gather.town eben doch nicht das Gleiche wie auf der „grünen Wiese“ ist. Trotzdem wurde das Format von den Studierenden nicht so angenommen und frequentiert, wie man es bei den oft gehörten Wünschen nach mehr Präsenz- und Hybridformaten erwarten würde. Warum eigentlich?

Seltener Blick der Zoom-Teilnehmenden auf die lokalen Teilnehmenden durch die Rückkamera meines Laptops

Weitere Links:

Hier findet man bei Twitter weitere Informationen und Fotos aus den einzelnen Terminen:

• 27. April
  „Heute technische Probe für eine Outdoor-Hybrid-Übungstermin – also alles auf das #CraneKart laden und ab auf die grüne Wiese.“
• 11. Mai
  „Heute erster Produktivtermin für eine #OutdoorHybridÜbung in den #GrundlagenDerElektrotechnik – also wieder alles auf das #KraneCart laden und ab auf die grüne Wiese damit. Die Bäume haben mittlerweile auch ordentlich Blätter bekommen.“
• 1. Juni
  „Heute war bei besten Wetter mal wieder ein pandemiekonformer #OutdoorHybridÜbung|stermin in den #GrundlagenDerElektrotechnik. Technisch funktioniert das mittlerweile routiniert. Die analoge und auch bei Sonne ablesbare Flipchart hängt an einem neuen Haken etwas höher.“
• 9. Juni
  „Auf zu einer neuen Runde #OutdoorHybridÜbung in den #GrundlagenDerElektrotechnik“
• 16. Juni
  „Liebe Studies, wenn euch das reine Online-Studium oder die #OnlineLeere wirklich so nervt und stresst, warum kommt dann keine*r zu den wenigen Präsenz- und Hybridangeboten?
  Ich habe heute mein Equipment zur #OutdoorHybridÜbung praktisch umsonst auf die grüne Wiese gefahren.“
• 23. Juni
  „Heute war mal wieder ein Produktivtermin für eine #OutdoorHybridÜbung in den #GrundlagenDerElektrotechnik. Wir waren zwei Studierende vor Ort und noch einige in Zoom.“
• 7. Juli
  Letzte Semesterwoche an der @OVGUpresse – auf zur letzten #OutdoorHybridÜbung in den #GrundlagenDerElektrotechnik
• 2. August
  „Heute eine letzte #OutdoorHybridÜbung vor der #GrundlagenDerElektrotechnik-Prüfung am Mittwoch – ich erwarte eine hohe Beteiligung und habe neben den üblichen Laborhockern noch ein paar Sitzkissen und Picknickdecken dabei.“

Open-Book-Präsenzklausur in den Grundlagen der Elektrotechnik

Aufgrund gesunkener Inzidenzen sind Präsenzprüfungen nach aktuellem Planungsstand an der Otto-von-Guericke-Universität in Magdeburg wieder möglich. Nachdem eine online durchgeführte Open-Book-Prüfung im letzten Wintersemester relativ problemlos funktionierte, würde ich in diesem Sommersemester gern ein Open-Book-Format in Präsenz erproben. Das Präsenzformat wurde von den Studierenden im Sinne der Chancengleichheit gewünscht und ich finde es spannend, auch dort weitere Hilfsmittel wie Smartphones, Tablet-PCs oder Notebooks/Laptops zu erlauben, um praxisrelevante Kompetenzen wie die Nutzung von Numerikprogrammen wie MATLAB bzw. Octave oder Netzwerksimuationsprogrammen wie LTspice oder EasyEDA in einer Prüfung abzubilden. Dementsprechend habe ich folgende Informationen an die Studierenden gegeben:

Die für Mittwoch, den 04.08.2021 im Zeitraum von 12 Uhr bis 15 Uhr geplante Prüfung zur Lehrveranstaltung „Grundlagen der Elektrotechnik 1, 2“ (ÜS 800011) wird als Präsenzprüfung in der Messehalle 2 durchgeführt. Vor der Prüfung melden Sie sich wie üblich im LSF bzw. über das Prüfungsamt zur Prüfung an. Voraussetzung dafür ist der Übungsschein.

Ähnlich wie die letzte Online-Prüfung wird auch die Präsenzprüfung im Open-Book-Format durchgeführt. Für Sie als Student*in bedeutet dies, dass Sie zwar eine eigenständige Lösung erarbeiten müssen, für diese aber viele verschiedene Hilfsmittel nutzen können. Dazu zählen beispielsweise:

• Vorlesungsskripte und Bücher
• Mitschriften und Lösungen von Übungsaufgaben
• konventionelle und grafikfähige Taschenrechner
• digitale Endgeräte wie Smartphones, Tablet-PCs und Laptops/Notebooks mit:
  • Numerikprogrammen wie MATLAB/Octave
  • Computeralgebrasystemen wie Maxima
  • Netzwerksimulatoren wie LTspice, CONCIRC oder EasyEDA

Wenn Sie für die Prüfung ein digitales Endgerät nutzen möchten, stellen Sie bitte eine genügend lange Akkulaufzeit sicher, da die Prüfungsplätze in der Messehalle 2 nicht mit Steckdosen ausgestattet sind. Laden Sie Akkus vorher vollständig auf und halten Sie eventuell Ersatzakkus bzw. eine Powerbank bereit. Installieren Sie die benötigte Software vorher und richten Sie diese für einen Offline-Betrieb ein, denn ein drahtloser Internetzugang per WLAN steht in der Messehalle 2 nicht zur Verfügung.

Zu Beginn der Prüfung bekommen Sie die Prüfungsaufgaben ausgedruckt in einem Umschlag ausgehändigt. Die Prüfungsklausur besteht aus Aufgaben, die ähnlich wie die Übungsaufgaben aufgebaut sind. Die Themen der Aufgaben entsprechen den Übungsthemen, die in beiden Semestern behandelt wurden.

Ähnlich wie in der letzten Online-Prüfung sind die Aufgabenblätter individualisiert, d.h. jede(r) Prüfungsteilnehmer*in bekommt eigene Aufgaben, die aber in der Schwierigkeit, im Umfang und in den Themenbereichen vergleichbar sind. Da Sie bei der Lösung gegenüber den bisherigen Präsenzklausuren mehr Möglichkeiten (z.B. Software, siehe oben) nutzen können, steigt der Aufgabenumfang von 9 auf 10 Aufgaben. Die Bearbeitungszeit beträgt wie bisher 180 min bzw. 3 h.

Während der Prüfung lösen Sie die Aufgaben und notieren Ansatz, Lösungsweg sowie Zwischen- und Endergebnisse nachvollziehbar und handschriftlich auf den dazu vorbereiteten Lösungsblättern. Weitere Hinweise dazu:

• Berechnungen nicht mit Bleistift schreiben
• für jede Aufgabe das passende Blatt benutzen
• Punkte für einzelne Aufgaben siehe Aufgabenblatt
• es ist die vorgegebene Berechnungsmethode zu verwenden, sonst 0 Punkte
• richtiges Ergebnis gilt nur, wenn der Lösungsweg plausibel ist
• eventuell vorhandene Aufgabenunterteilung in a), b), … beibehalten
• Endergebnisse nach Möglichkeit hervorheben

Halten Sie während der Prüfung bitte Ihren Studierendenausweis zur Identifizierung bereit. Am Ende der Prüfung geben Sie Ihre handschriftlichen Lösungen in einem Umschlag ab. Außerdem müssen Sie eine Erklärung zur eigenständigen Lösung ausfüllen und unterschrieben abgeben.

Nur für den schriftlich begründeten Ausnahmefall, dass Sie während der Prüfungszeit nicht an der Präsenzprüfung teilnehmen können, z.B. durch eine behördlich angeordnete Quarantäne, amtliche Reisebeschränkungen oder ähnliche pandemiebedingte Gründe, können Sie die Prüfung auch in einem videobeaufsichtigten Online-Format absolvieren. In diesem Fall bekommen Sie die Prüfungsaufgaben kurz vor der Prüfung (etwa 5 min) als PDF-Datei per E-Mail an Ihre studentische E-Mail-Adresse zugeschickt. Sie lösen die Aufgaben und notieren Ansatz, Lösungsweg sowie Zwischen- und Endergebnisse nachvollziehbar und handschriftlich. Am Ende der Prüfung fotografieren Sie Ihre handschriftlichen Lösungen ab bzw. scannen diese ein und laden sie hoch. Dabei muss auf jedem abfotografierten Lösungsblatt Ihr Studierendenausweis in der linken unteren Ecke deutlich sichtbar sein. Für das Abfotografieren/Einscannen und Hochladen stehen Ihnen weitere 15 min Zeit zur Verfügung.

Herausfordernd in diesem Format sind vermutlich folgende Dinge:

• Die Akkulaufzeit der eventuell schon etwas dienstälteren Geräte wird vermutlich nicht bei allen Studierenden für die gesamte Prüfungszeit reichen. Powerbanks für Mobiltelefon sind üblich, für mobile Computer aber sehr selten.
• Es wird spannend zu sehen, wie viele Studierenden auch ohne WLAN einen Internetzugang über mobile Daten bzw. Mobilfunkverbindungen zur Verfügung haben und in welchen Rahmen nutzen werden.
• Die Korrektur und Auswertung von individualisierten Klausuren bleibt relativ aufwendig. Vermutlich werde ich die handschriftlichen Lösungen erst gesammelt einscannen (mit einem Scanner/Kopierer mit automatischem Einzelblatteinzug), so dass die darauffolgende Korrektur durch die Kolleg*innen und die Einsichtnahme durch die Studierenden wieder komplett online erfolgen kann.

Erfahrungen mit einer Online-Take-Home-Prüfung in den Grundlagen der Elektrotechnik

In einem früheren Blog-Artikel habe ich ein mögliches Format für eine Online-Take-Home-Prüfung in den Grundlagen der Elektrotechnik beschrieben. Am 18.02.2021 haben wir diese Prüfung dann genau nach diesem Konzept an der Fakultät für Elektro- und Informationstechnik an der Otto-von-Guericke-Universität durchgeführt. Hier möchte ich über einige Erfahrungen dazu berichten.

Konzeption

Der erste und wichtige Punkt der Prüfungsvorbereitung ist sicher die Erarbeitung eines Konzepts und dessen Kommunikation und kurze Diskussion mit den Studierenden. Dazu hatte ich nicht nur den schon angesprochenen Blog-Artikel veröffentlicht, sondern auch entsprechende Mitteilungen über das Lernmanagementsystem Moodle versandt. Prüfungen mussten aufgrund der Pandemiebedingungen online stattfinden, doch sowohl auf Seiten der prüfenden Lehrpersonen als auch der geprüften Studierenden gab es allgemein große Unsicherheiten wegen mangelnder Erfahrungen mit Online-Prüfungsformaten. Prüfende hatten allgemeine Befürchtungen vor vermehrten Betrugsversuchen, technischen Schwierigkeiten bei der Durchführung, prüfungs- und datenschutzrechtlichen Herausforderungen und einem gesteigerten Aufwand bei der (vermutlich immer wiederkehrenden) Aufgabenerstellung sowie Korrektur und Bewertung der Lösungen. Studierende hatten allgemein ähnliche Befürchtungen vor ungewohnten Aufgabenformaten („Hilfe! Der Klausuraufgabenkatalog des Fachschaftsrats hilft uns nicht mehr.“), zu strikten Konsequenzen bei „vermuteteten“ Betrugsversuchen, technischen Problemen wie Computerabstürzen und Verbindungsabbrüchen während der Prüfung und einem gesteigerten Aufwand bei der Prüfungsvorbereitung. Insgesamt hatte man den Eindruck, dass so Prüfende und Prüflinge einer Lose-Lose-Situation entgegen blickten.

Langfristige Vorbereitung

Zur Vorbereitung auf die hier beschriebene Prüfung hatte ich ein MATLAB-Programm geschrieben, das aus den LaTeX-Quelltexten unseres Prüfungsaufgabenkatalogs mit etwa 240 Aufgaben individuelle Prüfungsbögen zusammenstellt und zunächst als PDF-Dateien lokal abspeichert. Dafür war es natürlich vorteilhaft, überhaupt einen so großen Prüfungsaufgabenkatalogs zur Verfügung zu haben. Eine große Variabilität der Aufgaben ist in ingenieurwissenschaftlichen Fächer wie den Grundlagen der Elektrotechnik vermutlich auch eher möglich als in anderen Fachkulturen. Selbst in der theoretischen Elektrotechnik, in der es wenig prüfungstaugliche Aufgabenstellungen gibt, die sich mit überschaubarem Aufwand überhaupt analytisch lösen lassen, könnte man aber andere Aufgabenvarianten erzeugen, in denen man die gleiche Anordnung in anderen Koordinatensystemem berechnen lässt. Letztlich ist hier einfach etwas Kreativität und Engagement der Prüfenden gefordert. Ebenso von Vorteil war, vom Prüfungsamt eine direkt maschinenlesbare Liste der etwa 70 zur Prüfung angemeldeten Studierenden zu erhalten, auf Basis derer die Prüfungsbögen erstellt wurden.

Beispiel für einen individuell zusammengestellten Prüfungsbogen

Auf der ersten Seite gab es neben dem individuellen Namen und der Matrikelnummer der zu prüfenden Person noch mal die wichtigsten Informationen für die Prüfllinge zur Durchführung der Prüfung. Danach folgten jeweils zehn randomisiert zusammengestellte Aufgaben aus zehn Themenbereichen auf zehn einzelnen Seiten. Am Fuß jeder Seite befanden sich ein direkt anklickbarer Link und ein scanbarer QR-Code, der zur jeweiligen Einreichungsseite im Moodle führte.

Die zehn Themenbereiche für die Prüfung waren:

1. Ladung und Strom
2. Temperaturabhängiger Widerstand, Stromdichte, spezifischer Widerstand, differentieller Widerstand, Kapazität, Induktivität
3. Grundstromkreis, Strom- und Spannungsteilerregel, DC-Leistung, Ersatzwiderstand, Brückenschaltung, Leistungsanpassung
4. Zweipoltheorie, Vierpoltheorie
5. Zweigstromanalyse, Maschenstromanalyse oder Knotenspannungsanalyse, Superposition
6. Mittelwert und Effektivwert, Komplexe Rechnung
7. Zeigerbild oder Ortskurve, Schwingkreise
8. Komplexe Leistung und Leistungsfaktorkorrektur
9. Drehstrom
10. Schaltvorgang

Pro Themenbereich gab es etwa 10 bis 30 mögliche Aufgaben in unserem Prüfungsaufgabenkatalog, so dass es theoretisch möglich wäre, etwa 12,34 Billionen unterschiedliche Prüfungsbogen zusammenzustellen. Einiger dieser Kombinationen entfallen gleichwohl, da das Programm die Aufgaben so auswählte, dass die Gesamtpunktzahl zur besseren Vergleichbarkeit des Lösungsaufwands im Bereich von 85 bis 95 Punkten lag.

Anzahl der Möglichkeiten von individuell zusammenstellbaren Prüfungsbögen durch einen großen Prüfungsaufgabenkatalog

Ich hatte mich für zehn einzelne Einreichungsformulare im Moodle (vom Typ „Aufgabe“ bzw. „assign„, ein Formular pro Aufgabe) entschieden, statt den Studierenden nur ein Einreichungsformular für die gesamte Klausur zur Verfügung zu stellen. Jedes Einreichungsformular sah dabei folgendermaßen aus.

Einreichungsformular aus Teilnehmenden-Sicht

Mit einzelnen Formularen ist es natürlich auch möglich, schon einzelne fertige Lösungen vor Ablauf der Frist hochzuladen und einzureichen. Gerade bei einer instabilen Internetverbindung ist das Hochladen mehrerer kleinerer Dateien weniger problematisch als das Hochladen einer großen Datei. Außerdem lassen sich so einzelne Lösungen einfacher überarbeiten oder ersetzen. Auch für die Korrektur sind nach Aufgabentyp getrennte Einreichungen vorteilhaft, wenn jede korrigierende Person immer einen Aufgabentyp komplett bewertet. Nachteilig sind der zusätzliche Aufwand, als prüfende Person mehrere Formulare anlegen zu müssen und als teilnehmende*r Student*in mehrfach den Einreichungsprozess zu durchlaufen.

Übersicht über die Einreichungsformulare im Moodle

Ansonsten habe ich für die Prüfung keinen speziellen, neu angelegten Moodle-Kurs sondern einfach den normalen Kursbereich der Lehrveranstaltung genutzt. Dadurch mussten sich die Studierenden nicht gesondert anmelden und kannten die Navigation im Kurs bereits vor der Prüfung.

Um zumindest formell eine eigenständige Lösung von den Studierenden einzufordern, mussten diese bei der Einreichung jeder Lösung eine Eigenständigkeitserklärung abgeben. Die eingereichten handschriftlichen Lösungen hätte ich im Zweifel auch per Schriftprobe mit vorherigen semesterbegleitenden Einreichungen vergleichen können. Studierende hätten also unerlaubterweise externe Hilfe in Anspruch nehmen können, aber immerhin selbst schreiben müssen.

Abgabeeinstellungen im Moodle, Erklärung zur Eigenständigkeit muss bestätigt werden

Bestätigung der Eigenständigkeit aus Studierendensicht

Kurz vor der Prüfung

Direkt vor der Prüfung haben dann alle Studierenden ihren individuellen Prüfungsbogen als PDF-Datei per E-Mail an ihre studentische Adresse zugeschickt bekommen. Problematisch ist dabei, dass man natürlich nicht alle E-Mails exakt zur gleichen Zeit absenden kann und deshalb einige Studierende ihre Aufgaben eventuell einiger Minuten früher oder später bekommen. Hier hatte ich überlegt, die PDF-Dateien mit den Prüfungsbögen zunächst auf einen geschützten Webserver zu laden und nur einen individuellen Link zu verschicken. Solche indidualisierten Links lassen sich aufgrund der viel geringeren Größe natürlich viel schneller per E-Mail-verschicken, allerdings auch viel einfacher an potentielle Ghostwriter*innen weiterleiten, weshalb ich von dieser Idee wieder Abstand nahm. Schlussendlich funktionierte der von den personalisierten Aufgaben mit anonymem Peer Review erprobte E-Mail-Versand auch mit jeweils etwa 500 kB-großen PDF-Anhängen problemlos.

Durchführung

Während der Prüfung war ich bei technischen Problemen oder inhaltlichen Fragenstellungen in einem Zoom-Meeting und über mein Büro-Telefon ansprechbar. Diese Möglichkeit wurde gerade zu Stoßzeiten zu Beginn und zum Ende der Prüfung auch intensiv genutzt, so dass fast eine zweite Ansprechperson nötig gewesen wäre.

Übliche Fragen waren:

• Ich habe meine Aufgaben noch nicht per E-Mail bekommen!? (Geduld, kommt gleich, SPAM-Ordner prüfen, …)
• Wie ist diese und jene Aufgabe zu verstehen? (so wie es dort steht)
• Ist das dort richtig oder ein Tippfehler? (nein, ist schon alles richtig so)

Dazwischen war es jedoch ruhiger. Spannend war, dass einige Studierende (wie auch ich) schon deutlich vor Beginn der Prüfung im Zoom-Meeting waren und dort auch die ganze Zeit blieben, ohne je eine einzige Frage zu stellen. Vielleicht suchte man die gemeinsame virtuelle Arbeitsatmosphäre oder hoffte darauf, durch Zufall doch noch ein paar wichtige Informationen zu bekommen, die man sonst vielleicht verpasst hätte.

Während der Prüfung gab es Proctoring anders herum: Ein paar Studierende beobachten mich beim Arbeiten.

Zum Ende der Prüfung stellten dann einige Studierende fest, dass die Zeit zum Hochladen doch schneller um war als gedacht, so dass ich individuell für einige Aufgaben eine Fristverlängerung gewährte. Das ist im Moodle glücklicherweise problemlos möglich und wird auch automatisch protokolliert.

Außerdem hatten einige Studierende unerwartete Probleme beim Einscannen oder Abfotografieren der handschriftlichen Lösungen, z.B. mit dem Dateiformat oder der erlaubten Dateigröße, obwohl genau das jeweils mehrfach im Laufe der vorherigen Semester bei der Lösungseinreichung zu den personalisierten Aufgaben mit anonymem Peer Review „geprobt“ wurde. Ein Student rief mich sogar verzweifelt an und kam dann persönlich vorbei, weil seine Smartphone-Kamera nicht mehr fokussierte. Ich scannte seine Klausur dann ein und leitete sie ihm per E-Mail weiter. Er konnte sie so immerhin selbst im Moodle-Kurs hochladen und formal korrekt einreichen.

Direkt nach der Prüfung habe ich zur Sicherheit alle studentischen Lösungen als ZIP-Dateien exportiert und heruntergeladen. Dabei kamen immerhin 600 MB zusammen.

Export aller studentischen Lösungen in zehn ZIP-Dateien mit 600 MB Gesamtgröße

Korrektur

Die Korrektur der Prüfung fand natürlich auch komplett digital direkt im Moodle-Kursbereich statt. Dafür schickte ich allen beteiligten Kolleg*innen eine E-Mail mit ihrem zu korrigierenden Aufgabentyp. Außerdem schickte ich allen zwei Freigabelinks zu Ordnern in unserem Cloudspeicher. Der erste Ordner enthielt die individuellen Aufgaben für jede*n Student*in. Dort gab es jeweils auch eine Textdatei namens „aufgabennummern.txt“ mit folgenden beispielhaftem Inhalt:

1. Aufgabe: Nr. 5 mit 12 Punkten
2. Aufgabe: Nr. 98b mit 8 Punkten
3. Aufgabe: Nr. 27a mit 7 Punkten
4. Aufgabe: Nr. 69 mit 9 Punkten
5. Aufgabe: Nr. 57 mit 7 Punkten
6. Aufgabe: Nr. 113 mit 9 Punkten
7. Aufgabe: Nr. 102 mit 6 Punkten
8. Aufgabe: Nr. 119 mit 8 Punkten
9. Aufgabe: Nr. 146c mit 10 Punkten
10. Aufgabe: Nr. 187 mit 12 Punkten

Dort konnten die Korrekteur*innen einsehen, welche Musterlösungen er/sie für der/die jeweilige*n Student*in verwenden mussten. Die jeweiligen nummerierten Musterlösungen waren in einem weiteren Ordner. Aus Sicht der Korrigierenden war es diesmal natürlich etwas aufwendiger, da man sich bei jeder zu korrigierenden Lösung in eine komplett neue Aufgabe mit einem anderen Lösungsweg hineindenken musste. Natürlich hätte ich die studentischen Lösungen für die Korrektur auch nach gleichen Aufgaben sortieren können, was mir für den zu erwartenden Nutzen aber zu aufwendig erschien. Trotzdem ist es für eine möglichst faire Bewertung sicher vorteilhaft, wenn eine korrigierende Person einen von zehn Aufgabentyp für alle Studierenden kontrolliert, statt alle Aufgabentypen für einen von x Studierenden.

Die jeweilige Korrektur der handschriftlichen Lösung konnte dabei direkt im Moodle vorgenommen werden, wobei dort die Möglichkeiten der Annotation doch recht begrenzt sind. Ich persönlich habe es vorgezogen, die Lösungsdateien herunterzuladen, per PDF-Reader oder Bildbearbeitungsprogramm zu annotieren und wieder hochzuladen.

Sobald eine Bewertung für eine Lösung vorliegt, werden die Studierenden automatisch benachrichtigt und können die Korrektur detailliert einsehen. In vielen Fällen stellten die Studierenden dann auch direkt Nachfragen per E-Mail, die dann entsprechend diskutiert wurden. Eine klassische Prüfungseinsicht für alle Studierenden zu einem gemeinsamen, festen Termin ist damit nicht mehr notwendig. Der nötige Zeitaufwand dafür verteilt sich jedoch über die Wochen, in denen die Korrektur stattfindet. Aufgrund der individuell zusammengestellten Prüfungsbögen ist jedoch auch keine Videonachbesprechung der Aufgaben möglich.

Durch die individuell zusammengestellten Prüfungsbögen hat außerdem jede geprüfte Person eine individuelle Maximalpunktzahl, so dass bei der Auswertung der Ergebnisse und der Berechnung der Noten nicht nur die tatsächlich erreichten Ist-Punktzahlen sondern auch die jeweils maximal erreichbaren Sollpunkte tabellarisch verrechnet werden müssen. Wichtig ist auch, dass die Einreichungen, Korrekturen und Ergebnisse von Studierenden, die sich aus Versehen selbstständig aus dem Moodle-Kurs abmelden, nicht gelöscht werden, sondern wieder sichtbar werden, sobald der/die Student*in wieder zum Kurs hinzugefügt wird.

Die grafische Auswertung der Punkteverteilungen der einzelnen Aufgabentypen in Form von Histogrammen ist im Vergleich zu vorherigen Präsenzklausuren recht typisch. Die Klausur ist dabei relativ gut ausgefallen. Die häufigste Note war eine Drei (Durchfallquote nur 17%), trotzdem gab es auch wenige Einsen und einige Fünfen. Die Durchschnittsnote lag bei 3,49. Es haben 46 Studierende bestanden, so viel wie noch nie in einem Wintersemester.

• 

  Aufgabe 1 (Ladung und Strom): sehr gut

• 

  Aufgabe 2 (Widerstand, Kapazität, …): solide

• 

  Aufgabe 3 (Grundstromkreis): exzellent

• 

  Aufgabe 4 (Zweipoltheorie, Vierpoltheorie): durchwachsen

• 

  Aufgabe 5 (Netzwerkberechnung, Superp.): durchwachsen

• 

  Aufgabe 6 (Mittel- und Effektivwert): durchwachsen

• 

  Aufgabe 7 (Zeigerbild und Ortskurve): relativ gut

• 

  Aufgabe 8 (Komplexe Leistung): solide

• 

  Aufgabe 9 (Drehstrom): relativ schlecht

• 

  Aufgabe 10 (Schaltvorgang): sehr schlecht

• 

  Noch nie war eine Gesamtpunkteverteilung näher an einer Gausskurve.

• 

  Die Durchschnittsnote lag bei 3,49.

Grafische Auswertung der Prüfungsklausur

Recht spannend ist noch eine Auswertung des zeitlichen Verlaufs der Einreichungen für jede Aufgabe, die im Sinne von Learning Analytics über eine Auswertung der in Moodle gesammelten Daten über ein externes MATLAB-Skript möglich ist. Diese grafische Darstellung der Anzahl der Einreichungen über der Zeit lässt vermuten, dass einige Studierende mit etwas mehr Zeit vielleicht doch noch mehr Lösungen eingereicht hätten.

Zeitverlauf der Einreichungen jeder Aufgabe in Abhängigkeit der Zeit vor der Einreichungsfrist

Erkenntnisse und Kuriosa

1. Erkenntnis: Wenn die Einreichungsfrist der Online-Prüfung naht, scheint plötzlich die Qualität der studentischen Internetverbindung drastisch zu sinken. Dies könnte das neue alternative Motto zu „The dog ate my homework!“ zu werden. Alternativ wurde mir kurz vor der Einreichungsfrist auch von spontan abstürzenden Laptops, von plötzlich viren-befallenen Tablet-PCs und von Smartphones berichtet, bei denen wie schon beschrieben der Autofokus unversehens nicht mehr funktionierte (sowohl bei der Haupt- als auch Frontkamera!). Ob Notelüge, Ausrede oder wahre Begebenheit, einige der Studierenden haben gern einen Grund gesucht, auf Nachfrage noch fünf bis fünfzehn Minuten mehr Bearbeitungszeit zu erhalten.
   
2. Erkenntnis: Die fristgerechte Einreichung einer SHA1-Prüfsumme der abfotografierten Lösung mit Nachreichung der eigentlichen Lösungsdatei für langsame Internetverbindungen hat niemand genutzt. Stattdessen haben sich einige Studierende die unnötige Mühe gemacht, Datei und erzeugte Prüfsumme gleichzeitig hochzuladen, obwohl das natürlich wenig sinnvoll ist. Vermutlich haben sie den dahinterliegenden Sinn nicht wirklich verstanden und durchdrungen.
3. Erkenntnis: Die Studierenden und angeblichen „Digital Natives“ scheiterten zum Teil mal wieder daran, zwei einzeln abfotografierte Bilder zu einer einzigen einzureichenden Datei zusammenzufügen oder ihrer iPhone-Kamera JPEG- statt HEIC-Bilder zu entlocken. Mir ist wichtig dabei zu erwähnen, dass wir das Prozedere der Einreichung abfotografierter/eingescannter handschriftlicher Lösungen im Moodle auf genau die in der Prüfung genutzte Art seit 3 Jahren für die semesterbegleitenden und schon mehrfach angesprochenen personalisierten Aufgaben mit anonymem Peer Review in der Lehrveranstaltung nutzen.
4. Erkenntnis: Die Möglichkeit, sich bis 15 Minuten nach der offiziellen Bearbeitungszeit unter Nutzung der studentischen Mailadresse zu melden, falls die Antworten nicht vollumfänglich gewertet werden sollen, wurde von niemandem genutzt. Dazu ist zu erwähnen, dass ein Nichtbestehen der Prüfung (ohne Betrugsversuch) in diesem Prüfungszeitraum als relativ folgenloser Rücktritt und nicht als Fehlversuch zählte. Studierende, die mit Absicht durchfallen wollten, haben statt der Abgabe einer entsprechenden Erklärung aber wohl einfach gar nichts eingereicht.

Durchaus kuriose Erkenntnisse ergaben sich dann während der Korrektur: Es gab Studierende, die randomisiert zugeordnete Aufgaben nicht korrekt lösen konnten, obwohl es zu diesen Aufgaben ebenso zufällig genau DIE exakt passende Lösung als YouTube-Video gab (das man aber auch erst mal finden muss). Dementsprechend kann man als Prüfer*in ruhig etwas weniger „Angst“ vor unbeaufsichtigten OpenBook-Distanzprüfungen haben. Es gab immerhin aber auch einen Studenten, der sich durch die Eigenständigkeitserklärung dazu verpflichtet sah, eines meiner Erklärvideos als Lösungshilfe anzugeben.

Erklärvideo als Quellenangabe in der Eigenständigkeitserklärung

Weiterentwicklung

Für zukünftige Prüfungen, unabhängig davon ob diese rein online oder in Präsenz stattfinden, würde ich den Studierenden weiterhin erlauben, einen Laptop bzw. ein Tablet-PC oder Smartphone zu benutzen, um darauf installierte Software wie MATLAB, GNU Octave, CONCIRC oder LTspice zu benutzen sowie nebenbei auch eventuelle Dinge im Internet zu recherchieren. Durch die Nutzung solcher Software ergeben sich ganz andere praxisrelevante und anwendungsorientierte Kompetenzprofile, die man in klassischen Papier-und-Stift-Prüfungen kaum abbilden kann (Wer kennt noch das unnötige „Programmieren auf Papier“ aus Informatikprüfungen?). Das setzt natürlich eine allgemein gute und vergleichbare Ausstattung der Studierenden mit entsprechenden Endgeräten oder eine eventuelle Leihmöglichkeit voraus. Außerdem muss der Raum mit einem zuverlässigen drahtlosen Internetzugang ausgestattet sein, was bei Prüfungsräumen außerhalb der Universität wie z.B. Messehallen im schlecht digitalisierten Deutschland nicht immer der Fall sein dürfte.

Durch die Endgeräte mit Internetzugang ergibt sich natürlich auch die Gefahr, dass Studierende sich untereinander austauschen, Aufgaben und Lösungen teilen bzw. die Prüfungsleistung an externe kommerzielle Ghostwriter*innen auslagern. Insbesondere in ingenieurwissenschaftlichen Fächern halte ich persönlich den Markt für solche Anbieter aber für sehr überschaubar. Auch von Studierenden höherer Semester ist kaum Hilfe zu erwarten, denn ich sehe ja selbst in meinem Masterlehrveranstaltungen, wie wenig dort im siebten und achten Semester noch vom Wissen und den Kompetenzen aus den ersten beiden Semestern vorhanden ist. Die wenigen fähigen Masterstudierenden, die zu einer guten Hilfestellung in der Lage wäre, haben meist auch lukrative Hiwi- oder Werksstudierenden-Jobs und können gar nicht so viele Kästen Bier trinken, wie sie eventuell bei einer Prüfung mit Hilfestellung verdienen würden, zumindest solange alle Prüflinge die Prüfung im gleichen begrenzten Zeitraum bearbeiten. Man sollte auch bedenken, dass sich Studierende, die unerlaubt externe Hilfe in Anspruch nehmen, damit ein Leben lang durch den Dienstleister erpressbar machen. Letztendlich muss man sich als Prüfer*in in realitätsnahen Open-Book-Prüfungen damit arrangieren, dass Studierende sich eventuell inhaltlich austauschen, was unter Zeitdruck und mit der nötigen Korrektheit ja auch eine gewisse Kompetenz darstellt.

Spannend wäre in diesem Sinne auch mal ein Prüfungsformat, bei dem jede Art von Kooperation erlaubt und sogar erwünscht wäre. Studierende könnten sich zu Gruppen zusammenschließen oder eben allein arbeiten, um ihre individualisierten Aufgaben zu bearbeiten. Ab welcher Gruppengröße übersteigt der Kommunikationsoverhead den Gruppenvorteil und ab wann wäre es vorteilhaft, die Aufgaben einfach selbst zu lösen? Echte Gruppenprüfungen wäre auch interessant, bei denen die Aufgaben so konzipiert sind, dass eine Person diese kaum allein lösen kann und auf die Ergebnisse und Kompetenzen der anderen Gruppenmitglieder angewiesen ist. Wie kann man in diesem Fall eine objektive Bewertung aller Gruppenmitglieder sicherstellen? Das wird nur möglich sein, wenn man nicht nur das Ergebnis bewertet, sondern auch den Prozess, in dem das Ergebnis kollaborativ erarbeitet wurde. Gerade hier sehe in einen enormen Vorteil von Online-Prüfungsformaten, in denen sich Gruppenarbeitsprozesse wie die Arbeit in (Programmier-)Etherpads, die Kommunikation über Messenger-Dienste und Foren oder die gemeinsame Entwicklung von Quellcode in Versionskontrollsystemen gut abbilden und gleichzeitig mit wenig Aufwand nachvollziehbar dokumentieren lassen.

Schlussendlich freue ich mich auf viele weitere kompetenzorientierte Prüfungsformate und bin froh, selbst genügend informationstechnische Kompetenzen und Programmierkenntnisse mitzubringen, die mir erlauben, eigenständig und automatisiert entsprechende individualisierte Aufgaben und Prüfungsbögen zu erstelllen, an die Studierenden zu verteilen, Dateiformate zu konvertieren, Meta-Daten zu bearbeiten, Prüfsummen zu verwenden, Einreichungsmodalitäten über Links und QR-Codes zu konzipieren und die bei der Prüfung anfallenden Daten effizient auszuwerten sowie zu archivieren.