Bitte kein aufwendiges und wenig nutzbringendes Online-Proctoring!

In Reaktion auf ein schönes amtliches Dokument zu Online-Prüfungen, die „Ordnung zur Bewältigung der durch die Coronavirus SARS-CoV-2-Epidemie an den Betrieb der Bergischen Universität Wuppertal gestellten Herausforderungen in Studium, Lehre und Prüfungen„, in der Ideen zur Abwicklung für mündliche und schriftliche Online-Prüfungen und z.B. auch der Umgang mit (technischen) Störungen zusammengefasst sind, habe ich mal ein paar Gedanken zum Umgang und zur Abwicklung solcher Prüfungen verschriftlicht, weil ich davon ausgehe, dass auch anderen Hochschulen in Kürze ähnliche Ordnungen bevorstehen.

Hier ein erster Auszug aus dem Dokument:

Durchfuehrungsbestimmungen_mit_Markierungen

Mir erschließt sich z.B. nicht so ganz, wo der Vorteil liegen soll, den Studierenden die Prüfungsunterlagen per Post zuzuschicken (was aufwendig, teuer und bei internationalen Studierenden im Ausland auch logistisch schwierig ist) und diese auch wieder per Post einreichen zu lassen. Es ist außerdem sehr schwierig, 25 Studierende per Videokamera gleichzeitig dabei zu beaufsichtigen, wie sie auf Kommando die Briefe öffnen und diese dann 90 min später auf Kommando auch wieder sicher versiegeln. Ich sehe auch schon viele Studierende nach „briefe aufdampfen wie in sonnenallee“ googlen ;-).

Warum verzichtet man nicht einfach auf die Nutzung von speziellem Klausurpapier und stellt den Studierenden die Prüfungsaufgaben just-in-time per Moodle oder E-Mail zur Verfügung, gern auch als zertifiziertes PDF-Dokument inklusive eines Hashwertes, den die Studierenden zu Beginn der Prüfung verifizieren sollen. Stimmt der Hashwert nicht, löst der Prüfling also potentiell einen verfälschten Aufgabenzettel, fällt das sofort auf. Randomisierte Aufgaben und große Aufgabenpools erfordern eine eigenständige Lösung der Studierenden. Kompetenz- und nicht wissensreproduktions-orientierte Aufgaben ermöglichen das Konzept von Open-Book-Klausuren umzusetzen, die es ja vorher in Präsenzprüfungszeiten auch schon als sogenannte „Kofferklausuren“ gab.

Die gleiche Online-Variante würde auch bei der Einreichung funktionieren. Die Studierenden fotografieren Ihre handschriftlichen Lösungsblätter ab (was ja bei unseren personalisierten Aufgaben auch sehr gut funktioniert), generieren ein Hashwert und reichen den Hashwert sofort, die eigentlichen Dateien bei geringer Bandbreite zur Not auch zeitverzögert per Moodle oder E-Mail ein. Eine nachträgliche Manipulation ist damit technisch ausgeschlossen. Die dafür nötigen Hashwerte zu generieren ist nicht aufwendig, das geht einfach im Browser. Die somit sofort digital vorliegenden Lösungen können dann auch direkt digital an die korrigierenden Personen verteilt werden und man hat keinen Papierkrieg. Was ist z.B. auch, wenn einer der Prüfungsbriefe verloren geht? Werden diese per Einschreiben mit Rückschein verschickt? Haftet die Post für eine nichtbestandene Prüfungsleistung? Das erscheint mir alles wenig durchdacht.

Ansonsten halte ich die gleichzeitige Videoüberwachung aller Studierenden für sehr paranoid, befremdlich, datenschutzrechtlich bedenklich und auch unnötig. Es entspricht auch nicht unserem Leitbild Lehre, in dem es heißt: „Die Basis unserer Informations- und Kommunikationskultur sind Vertrauen und Transparenz.“

Wenn jemand betrügen möchte, wird er oder sie es auch mit Videoüberwachung schaffen. Dritte Personen können sich sonstwo in einem Raum verstecken, man kann falsche, vorproduzierte Kamerabilder einspeisen, beim Ton ist das noch einfacher, etc. Wer es als MINT-Student*in nicht schafft, seine eigenen Atem-, Schreib- und eventuell auch Tippgeräusche in Dauerschleife aufzuzeichnen und in ein Videokonferenzsystem einzuspeisen, sollte sowieso keinen MINT-Abschluss bekommen ;-). Die permanente Videoüberwachung benötigt auch unnötige Bandbreite und ist technisch anfällig. Außerdem ist auch sehr fraglich, was nun passiert, wenn absichtlich oder unabsichtlich (wie will man aus der Ferne unterscheiden, ob ich bei meiner Fritz!Box den Stecker rausgezogen oder der Bagger vorm Haus das Kabel gekappt hat) die Verbindung zusammenbricht.

Wenn man es richtig machen würde, sollte man z.B. den Prüfling, seinen Schreibtisch und einen Computermonitor im Bild haben, auf dem z.B. eine bestimmte Webseite geöffnet ist. Diese Webseite wechselt in beliebigen Abständen die Hintergrundfarbe in nicht-vorhersagbarer Reihenfolge. Damit würde in einer Proctoring-Überwachung sofort auffallen, wenn von einem Prüfling kein Live-Bild sondern etwas Vorproduziertes in Dauerschleife läuft. Die Frage ist, ob man den Studierenden so viel Misstrauen entgegen bringen möchte. Außerdem benötigen die Studierenden dafür mindestens zwei digitale Endgeräte bzw. eine Webcam mit genügend langem USB-Kabel.

Wenn man solche technischen Raffinessen aber nicht nutzt, ist alles Online-Proctoring (Ausweisen der Studierenden durch Lichtbildausweis, Kameraschwenk durch den Raum, etc.) umsonst, weil es sich vergleichsweise einfach durch Einspeisen von vorproduziertem Material umgehen lässt.

Hier ein zweiter Auszug aus dem Dokument:

Durchfuehrungsbestimmungen2_mit_Markierungen

Außerdem finde ich es organisatorisch sehr spannend, wie eine aufsichtsführende Person für eine z.B. 90-minütige Prüfung nacheinander

  1. alle studentischen Ausweise mit Lichtbild kontrolliert (was ist mit Webcams mit Festfokus auf die typischen 50 cm Distanz, da kann man sonstwas in die Kamera halten, kleine Sachen scharf darzustellen, ist unmöglich, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  2. bei allen Studierenden einen Kameraschwenk im Raum macht (sehen diesen dann auch die anderen Studierenden oder macht die Aufsicht das in 25 separaten Breakout-Räumen?, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  3. dann alle (gleichzeitig?) dabei beaufsichtigt, wie die vorher natürlich nicht manipulierten Briefumschläge geöffnet werden (wie stark muss man vorher seine Kameralinse mit fettigen Fingern anfassen und gegen das Licht ausrichten, damit der kleine wieder zugeklebte Schlitz an der Briefunterseite nicht auffällt?)
  4. dann (optional) die Aufgaben diktieren (!?, wie sieht es da mit der Barrierefreiheit aus)
  5. immer mal wieder Studierende, die den Eindruck erwecken, unnötig nach links oder rechts zu schauen und seltsam unsynchrone Lippenbewegungen zu machen (was ist eigentlich mit Bauchredner*innen?) bittet, weitere Kameraschwenks durch den Raum zu machen, worauf sich die promovierte Hilfsperson immer schnell unterm Jugendbett versteckt
  6. Studierende zwischenfragen, ob und wie lange sie mal die heimische Toilette aufsuchen dürfen (um mal schnell ein paar Sachen auf den Smartphone zu googlen)
  7. am Ende alle (wieder gleichzeitig?) dabei beaufsichtigt, den Briefumschlag zu versiegeln (MINT-Sonderfrage: Wie viel dpi muss ein Scanner und Farbdrucker haben, damit man selbst oder jemand anderes während der Prüfung das Siegel reproduziert, so dass es bei verschmierter Kameralinse mit Festfokus echt genug aussieht? Gibt es dann wenigstens für jede Prüfung ein anderes Siegel, so dass die Studierenden sich immerhin den Aufwand leisten müssen, es jedes mal neu einzuscannen und auszudrucken und nicht einfach das von der letzten Prüfung aus der WhatsApp-Gruppe zu nehmen.)

Fragen über Fragen, beliebig viele Angriffsvektoren, richtig durchdacht scheint mir das Konzept noch nicht. Ich frage wirklich, was und wo das Problem ist, auf den ganzen Zauber zu verzichten, ordentliche, sinnvolle, randomisierte und kompetenzorientierte Prüfungsfragen zu stellen und auf eine Eigenständigkeitserklärung der Studierenden zu vertrauen (gern auch mit mehreren kleinen Prüfungen über das Semester verteilt, statt einer großen Abschlussprüfung). Alles andere macht nur beliebig viel Aufwand und bringt dafür beliebig wenig Nutzen.

 

Klausurpapier mit QR-Code zum automatisierten Rückversand der Korrektur

Quick-Response- oder kurz QR-Codes lassen sich heute von praktisch jedem Smartphone einlesen und werden häufig genutzt, um URLs von Webseiten darin zu codieren. Dass sich QR-Codes auch sinnvoll im Bereich des E-Learning einsetzen lassen, wenn man jeweils die E-Mail-Adresse eines Lernenden darin speichert, zeigt dieser Artikel.

Die Idee ist dabei eine Druckvorlage für ein Leistungskontroll- oder Klausurpapier, die sich automatisiert erstellen und z.B. per E-Mail an die Studierenden verschicken lässt. Das Klausurpapier enthält dabei am oberen Rand einen QR-Code mit der E-Mail-Adresse des jeweiligen Studierenden. Nun können die Studierenden während der Klausur oder Leistungskontrolle handschriftlich ihre Lösung auf das Papier schreiben. Die Lösung kann dann danach ganz herkömmlich ebenso handschriftlich kontrolliert werden. Nach der Kontrolle werden alle Papiere eingescannt (idealerweise natürlich mit einem Scanner mit automatischem Einzelblatteinzug und Duplexfunktion) und als PDF-Dateien gespeichert. Dann wird die E-Mail-Adresse des jeweiligen Studierenden über ein Programm extrahiert/dekodiert und die zugehörige PDF-Datei per E-Mail an den Studierenden zurückgeschickt.

So spart man sich gerade in Kursen mit großer Teilnehmerzahl ein sehr aufwendige Leistungskontroll- oder Klausureinsicht, da nur noch die Studierenden den Termin wahrnehmen, die tatsächliche inhaltliche Fragen haben und nicht nur wissen wollten, was sie richtig oder falsch gelöst hatten. Eine weitere Idee zur Effektivitätssteigerung von Einsichtsterminen ist die schon mal vorgestellte Video-Klausurnachbesprechung.

Das Ganze ist im Moment noch ein Proof-of-Concept, funktioniert in ersten Tests aber schon ganz brauchbar. Die Programmierung wurde vom Autor aufgrund der Einfachheit und Gewohnheit in LaTeX und MATLAB durchgeführt. Die Programme stehen am Ende des Artikels zum Download bereit.

Das Erstellen der Druckvorlagen funktioniert mit dem MATLAB-Programm send_klausurpapier_mit_qcode.m. Dies liest eine Tabelle der Studierenden als csv-Datei ein, erstellt für jeden Studenten die entsprechende LaTeX-Datei, kompilierte diese zu einer PDF-Datei und verschickt sie per E-Mail an den jeweiligen Studenten.

Zum Export der csv-Datei mit den Studierenden aus einem bestehenden Moodle-Kurs muss man dort auf „Setup für Bewertungen“ und dann in der „Bewertungsverwaltung“ auf „Export“ und „Textdatei“ klicken. Eine Beispieltabelle mit nur einem Eintrag ist die Datei „Teilnehmer.csv„.

Die eigentliche Papiervorlage ist in der LaTeX-Datei klausurpapier_mit_qcode.tex gespeichert. Der QR-Code wird mit dem qrcode-Paket von Anders Hendrickson erzeugt. Das Kästchen-Feld wird einfach mit Hilfe des TikZ-Pakets von Till Tantau erzeugt. Natürlich wären auch Linien bzw. ein weißes Papier möglich. Die Liniendicke, Farbe und der Linienabstand sind selbstverständlich einstellbar, ebenso die Seitenränder, etc. Die LaTeX-Datei „klausurpapier_nutzerdaten.tex“ enthält nur die Nutzerdaten und wird aus dem MATLAB-Programm heraus erzeugt. Natürlich kann man diese aber auch zum Testen von Hand editieren.

Das Versenden der E-Mails geschieht mit der MATLAB-Funktion matlabmail.m von „dgleich“, basierend auf der sendmail-Funktion von MATLAB. Dazu wird ein Gmail-Konto benutzt, dessen Zugangsdaten in der Funktion natürlich unkenntlich gemacht wurden. Andere Konten und Server sollten sich aber auch einstellen lassen.

Dann kann der Studierende das Papier ausdrucken und seine Klausur, Leistungskontrolle, Zwischenprüfung, etc. darauf schreiben. Der Dozent kann die Arbeit ganz normal mit einem Rotstift korrigieren. Dann scannt man alle Arbeiten mit einem Scanner mit Einzelblatteinzug als PDF-Datei ein und speichert alle Dateien in ein Verzeichnis (idealerweise für jeden Studenten eine PDF-Datei).

Nun kommt das MATLAB-Programm „scan_klausurpapier_mit_qcode.m“ zum Einsatz. Es führt eine Schleife über alle PDF-Dateien in einem bestimmten Verzeichnis (standardmäßig „test“ aus, wandelt jede PDF-Datei (bzw. deren erste Seite) in eine jpg-Datei um (mittels Ghostscript), decodiert dann mit Hilfe der MATLAB-Funktion „decode_qr.m“ von Lior Shapira den QR-Code und schickt die zugehörige PDF-Datei an die jeweilige E-Mail-Adresse (wieder mittels der MATLAB-Funktion „matlabmail.m“ von „dgleich“).

Die MATLAB-Funktion „decode_qr.m“ greift dabei auf die zxing-Bibliothek (genannt „Zebra Crossing“, also „Zebrastreifen“ als Analogie von Barcodes und QR-Codes) von Google zurück, die als Java-Bibliothek in den Dateien „core-3.2.0.jar“ und „javase-3.2.0.jar“ enthalten ist, die beide im Unterordner „jarfiles“ erwartet werden.

Das Ganze ist, wie schon erwähnt, im Moment eher als Proof-of-Concept denn als funktionsfähige Lösung anzusehen. Sicher ist MATLAB auch nicht die optimale Sprache, um das umzusetzen. Außerdem gibt es natürlich keine grafische Benutzeroberfläche und keine vernünftige Fehlerbehandlung. Wenn ein QR-Code nicht erkannt wird, bleibt das Programm einfach stehen. Eine weitere mögliche Anwendung des Konzept ist eventuell die automatische Zuordnung von handschriftlichen Lösungszetteln zu einem Nutzerkonto in einem Learning-Management-System wie Moodle, um dann dort die „handschriftliche“ Bewertung und Benotung direkt auf „digitalem Papier“ vorzunehmen, auf das die Studierenden dann im Anschluss ebenso Einsicht haben.

Folgende Vorteile werden vom Autor vermutet:

  • Reduzierung des personellen Aufwand und des „Andrangs“ bei einer Leistungskontroll-/Klausureinsicht
  • jeder Studierende erhält seine korrigierte Lösung und damit eine Rückmeldung, auch die Studierenden, die sonst nicht zu Einsichtsterminen kommen würden

Ebenso sind folgende Nachteile zu erwarten:

  • Wenn Klausuraufgabenlösungen einfach verfügbar sind, ist es für die Studierenden natürlich auch einfacher, per „Reverse Engineering“ einen Klausuraufgabenkatalog zu erstellen (der ja aber meist sowieso sehr aktiv z.B. vom Fachschaftsrat gepflegt wird).
  • Es wird vermutlich mehr „Punktevergleiche“ zwischen den Studierenden und mehr Diskussionen um vermeintlich vergessene Punkte oder vermeintlich falsch bepunktete Lösungen geben.

Download der MATLAB-Programme und LaTeX-Quelltexte:
https://wasd.urz.uni-magdeburg.de/magdowsk/get2/qr-code-papier.zip