Bitte kein aufwendiges und wenig nutzbringendes Online-Proctoring!

In Reaktion auf ein schönes amtliches Dokument zu Online-Prüfungen, die „Ordnung zur Bewältigung der durch die Coronavirus SARS-CoV-2-Epidemie an den Betrieb der Bergischen Universität Wuppertal gestellten Herausforderungen in Studium, Lehre und Prüfungen„, in der Ideen zur Abwicklung für mündliche und schriftliche Online-Prüfungen und z.B. auch der Umgang mit (technischen) Störungen zusammengefasst sind, habe ich mal ein paar Gedanken zum Umgang und zur Abwicklung solcher Prüfungen verschriftlicht, weil ich davon ausgehe, dass auch anderen Hochschulen in Kürze ähnliche Ordnungen bevorstehen.

Hier ein erster Auszug aus dem Dokument:

Durchfuehrungsbestimmungen_mit_Markierungen

Mir erschließt sich z.B. nicht so ganz, wo der Vorteil liegen soll, den Studierenden die Prüfungsunterlagen per Post zuzuschicken (was aufwendig, teuer und bei internationalen Studierenden im Ausland auch logistisch schwierig ist) und diese auch wieder per Post einreichen zu lassen. Es ist außerdem sehr schwierig, 25 Studierende per Videokamera gleichzeitig dabei zu beaufsichtigen, wie sie auf Kommando die Briefe öffnen und diese dann 90 min später auf Kommando auch wieder sicher versiegeln. Ich sehe auch schon viele Studierende nach „briefe aufdampfen wie in sonnenallee“ googlen ;-).

Warum verzichtet man nicht einfach auf die Nutzung von speziellem Klausurpapier und stellt den Studierenden die Prüfungsaufgaben just-in-time per Moodle oder E-Mail zur Verfügung, gern auch als zertifiziertes PDF-Dokument inklusive eines Hashwertes, den die Studierenden zu Beginn der Prüfung verifizieren sollen. Stimmt der Hashwert nicht, löst der Prüfling also potentiell einen verfälschten Aufgabenzettel, fällt das sofort auf. Randomisierte Aufgaben und große Aufgabenpools erfordern eine eigenständige Lösung der Studierenden. Kompetenz- und nicht wissensreproduktions-orientierte Aufgaben ermöglichen das Konzept von Open-Book-Klausuren umzusetzen, die es ja vorher in Präsenzprüfungszeiten auch schon als sogenannte „Kofferklausuren“ gab.

Die gleiche Online-Variante würde auch bei der Einreichung funktionieren. Die Studierenden fotografieren Ihre handschriftlichen Lösungsblätter ab (was ja bei unseren personalisierten Aufgaben auch sehr gut funktioniert), generieren ein Hashwert und reichen den Hashwert sofort, die eigentlichen Dateien bei geringer Bandbreite zur Not auch zeitverzögert per Moodle oder E-Mail ein. Eine nachträgliche Manipulation ist damit technisch ausgeschlossen. Die dafür nötigen Hashwerte zu generieren ist nicht aufwendig, das geht einfach im Browser. Die somit sofort digital vorliegenden Lösungen können dann auch direkt digital an die korrigierenden Personen verteilt werden und man hat keinen Papierkrieg. Was ist z.B. auch, wenn einer der Prüfungsbriefe verloren geht? Werden diese per Einschreiben mit Rückschein verschickt? Haftet die Post für eine nichtbestandene Prüfungsleistung? Das erscheint mir alles wenig durchdacht.

Ansonsten halte ich die gleichzeitige Videoüberwachung aller Studierenden für sehr paranoid, befremdlich, datenschutzrechtlich bedenklich und auch unnötig. Es entspricht auch nicht unserem Leitbild Lehre, in dem es heißt: „Die Basis unserer Informations- und Kommunikationskultur sind Vertrauen und Transparenz.“

Wenn jemand betrügen möchte, wird er oder sie es auch mit Videoüberwachung schaffen. Dritte Personen können sich sonstwo in einem Raum verstecken, man kann falsche, vorproduzierte Kamerabilder einspeisen, beim Ton ist das noch einfacher, etc. Wer es als MINT-Student*in nicht schafft, seine eigenen Atem-, Schreib- und eventuell auch Tippgeräusche in Dauerschleife aufzuzeichnen und in ein Videokonferenzsystem einzuspeisen, sollte sowieso keinen MINT-Abschluss bekommen ;-). Die permanente Videoüberwachung benötigt auch unnötige Bandbreite und ist technisch anfällig. Außerdem ist auch sehr fraglich, was nun passiert, wenn absichtlich oder unabsichtlich (wie will man aus der Ferne unterscheiden, ob ich bei meiner Fritz!Box den Stecker rausgezogen oder der Bagger vorm Haus das Kabel gekappt hat) die Verbindung zusammenbricht.

Wenn man es richtig machen würde, sollte man z.B. den Prüfling, seinen Schreibtisch und einen Computermonitor im Bild haben, auf dem z.B. eine bestimmte Webseite geöffnet ist. Diese Webseite wechselt in beliebigen Abständen die Hintergrundfarbe in nicht-vorhersagbarer Reihenfolge. Damit würde in einer Proctoring-Überwachung sofort auffallen, wenn von einem Prüfling kein Live-Bild sondern etwas Vorproduziertes in Dauerschleife läuft. Die Frage ist, ob man den Studierenden so viel Misstrauen entgegen bringen möchte. Außerdem benötigen die Studierenden dafür mindestens zwei digitale Endgeräte bzw. eine Webcam mit genügend langem USB-Kabel.

Wenn man solche technischen Raffinessen aber nicht nutzt, ist alles Online-Proctoring (Ausweisen der Studierenden durch Lichtbildausweis, Kameraschwenk durch den Raum, etc.) umsonst, weil es sich vergleichsweise einfach durch Einspeisen von vorproduziertem Material umgehen lässt.

Hier ein zweiter Auszug aus dem Dokument:

Durchfuehrungsbestimmungen2_mit_Markierungen

Außerdem finde ich es organisatorisch sehr spannend, wie eine aufsichtsführende Person für eine z.B. 90-minütige Prüfung nacheinander

  1. alle studentischen Ausweise mit Lichtbild kontrolliert (was ist mit Webcams mit Festfokus auf die typischen 50 cm Distanz, da kann man sonstwas in die Kamera halten, kleine Sachen scharf darzustellen, ist unmöglich, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  2. bei allen Studierenden einen Kameraschwenk im Raum macht (sehen diesen dann auch die anderen Studierenden oder macht die Aufsicht das in 25 separaten Breakout-Räumen?, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  3. dann alle (gleichzeitig?) dabei beaufsichtigt, wie die vorher natürlich nicht manipulierten Briefumschläge geöffnet werden (wie stark muss man vorher seine Kameralinse mit fettigen Fingern anfassen und gegen das Licht ausrichten, damit der kleine wieder zugeklebte Schlitz an der Briefunterseite nicht auffällt?)
  4. dann (optional) die Aufgaben diktieren (!?, wie sieht es da mit der Barrierefreiheit aus)
  5. immer mal wieder Studierende, die den Eindruck erwecken, unnötig nach links oder rechts zu schauen und seltsam unsynchrone Lippenbewegungen zu machen (was ist eigentlich mit Bauchredner*innen?) bittet, weitere Kameraschwenks durch den Raum zu machen, worauf sich die promovierte Hilfsperson immer schnell unterm Jugendbett versteckt
  6. Studierende zwischenfragen, ob und wie lange sie mal die heimische Toilette aufsuchen dürfen (um mal schnell ein paar Sachen auf den Smartphone zu googlen)
  7. am Ende alle (wieder gleichzeitig?) dabei beaufsichtigt, den Briefumschlag zu versiegeln (MINT-Sonderfrage: Wie viel dpi muss ein Scanner und Farbdrucker haben, damit man selbst oder jemand anderes während der Prüfung das Siegel reproduziert, so dass es bei verschmierter Kameralinse mit Festfokus echt genug aussieht? Gibt es dann wenigstens für jede Prüfung ein anderes Siegel, so dass die Studierenden sich immerhin den Aufwand leisten müssen, es jedes mal neu einzuscannen und auszudrucken und nicht einfach das von der letzten Prüfung aus der WhatsApp-Gruppe zu nehmen.)

Fragen über Fragen, beliebig viele Angriffsvektoren, richtig durchdacht scheint mir das Konzept noch nicht. Ich frage wirklich, was und wo das Problem ist, auf den ganzen Zauber zu verzichten, ordentliche, sinnvolle, randomisierte und kompetenzorientierte Prüfungsfragen zu stellen und auf eine Eigenständigkeitserklärung der Studierenden zu vertrauen (gern auch mit mehreren kleinen Prüfungen über das Semester verteilt, statt einer großen Abschlussprüfung). Alles andere macht nur beliebig viel Aufwand und bringt dafür beliebig wenig Nutzen.

 

1 Kommentar zu „Bitte kein aufwendiges und wenig nutzbringendes Online-Proctoring!“

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s