Bitte kein aufwendiges und wenig nutzbringendes Online-Proctoring!

In Reaktion auf ein schönes amtliches Dokument zu Online-Prüfungen, die „Ordnung zur Bewältigung der durch die Coronavirus SARS-CoV-2-Epidemie an den Betrieb der Bergischen Universität Wuppertal gestellten Herausforderungen in Studium, Lehre und Prüfungen„, in der Ideen zur Abwicklung für mündliche und schriftliche Online-Prüfungen und z.B. auch der Umgang mit (technischen) Störungen zusammengefasst sind, habe ich mal ein paar Gedanken zum Umgang und zur Abwicklung solcher Prüfungen verschriftlicht, weil ich davon ausgehe, dass auch anderen Hochschulen in Kürze ähnliche Ordnungen bevorstehen.

Hier ein erster Auszug aus dem Dokument:

Durchfuehrungsbestimmungen_mit_Markierungen

Mir erschließt sich z.B. nicht so ganz, wo der Vorteil liegen soll, den Studierenden die Prüfungsunterlagen per Post zuzuschicken (was aufwendig, teuer und bei internationalen Studierenden im Ausland auch logistisch schwierig ist) und diese auch wieder per Post einreichen zu lassen. Es ist außerdem sehr schwierig, 25 Studierende per Videokamera gleichzeitig dabei zu beaufsichtigen, wie sie auf Kommando die Briefe öffnen und diese dann 90 min später auf Kommando auch wieder sicher versiegeln. Ich sehe auch schon viele Studierende nach „briefe aufdampfen wie in sonnenallee“ googlen ;-).

Warum verzichtet man nicht einfach auf die Nutzung von speziellem Klausurpapier und stellt den Studierenden die Prüfungsaufgaben just-in-time per Moodle oder E-Mail zur Verfügung, gern auch als zertifiziertes PDF-Dokument inklusive eines Hashwertes, den die Studierenden zu Beginn der Prüfung verifizieren sollen. Stimmt der Hashwert nicht, löst der Prüfling also potentiell einen verfälschten Aufgabenzettel, fällt das sofort auf. Randomisierte Aufgaben und große Aufgabenpools erfordern eine eigenständige Lösung der Studierenden. Kompetenz- und nicht wissensreproduktions-orientierte Aufgaben ermöglichen das Konzept von Open-Book-Klausuren umzusetzen, die es ja vorher in Präsenzprüfungszeiten auch schon als sogenannte „Kofferklausuren“ gab.

Die gleiche Online-Variante würde auch bei der Einreichung funktionieren. Die Studierenden fotografieren Ihre handschriftlichen Lösungsblätter ab (was ja bei unseren personalisierten Aufgaben auch sehr gut funktioniert), generieren ein Hashwert und reichen den Hashwert sofort, die eigentlichen Dateien bei geringer Bandbreite zur Not auch zeitverzögert per Moodle oder E-Mail ein. Eine nachträgliche Manipulation ist damit technisch ausgeschlossen. Die dafür nötigen Hashwerte zu generieren ist nicht aufwendig, das geht einfach im Browser. Die somit sofort digital vorliegenden Lösungen können dann auch direkt digital an die korrigierenden Personen verteilt werden und man hat keinen Papierkrieg. Was ist z.B. auch, wenn einer der Prüfungsbriefe verloren geht? Werden diese per Einschreiben mit Rückschein verschickt? Haftet die Post für eine nichtbestandene Prüfungsleistung? Das erscheint mir alles wenig durchdacht.

Ansonsten halte ich die gleichzeitige Videoüberwachung aller Studierenden für sehr paranoid, befremdlich, datenschutzrechtlich bedenklich und auch unnötig. Es entspricht auch nicht unserem Leitbild Lehre, in dem es heißt: „Die Basis unserer Informations- und Kommunikationskultur sind Vertrauen und Transparenz.“

Wenn jemand betrügen möchte, wird er oder sie es auch mit Videoüberwachung schaffen. Dritte Personen können sich sonstwo in einem Raum verstecken, man kann falsche, vorproduzierte Kamerabilder einspeisen, beim Ton ist das noch einfacher, etc. Wer es als MINT-Student*in nicht schafft, seine eigenen Atem-, Schreib- und eventuell auch Tippgeräusche in Dauerschleife aufzuzeichnen und in ein Videokonferenzsystem einzuspeisen, sollte sowieso keinen MINT-Abschluss bekommen ;-). Die permanente Videoüberwachung benötigt auch unnötige Bandbreite und ist technisch anfällig. Außerdem ist auch sehr fraglich, was nun passiert, wenn absichtlich oder unabsichtlich (wie will man aus der Ferne unterscheiden, ob ich bei meiner Fritz!Box den Stecker rausgezogen oder der Bagger vorm Haus das Kabel gekappt hat) die Verbindung zusammenbricht.

Wenn man es richtig machen würde, sollte man z.B. den Prüfling, seinen Schreibtisch und einen Computermonitor im Bild haben, auf dem z.B. eine bestimmte Webseite geöffnet ist. Diese Webseite wechselt in beliebigen Abständen die Hintergrundfarbe in nicht-vorhersagbarer Reihenfolge. Damit würde in einer Proctoring-Überwachung sofort auffallen, wenn von einem Prüfling kein Live-Bild sondern etwas Vorproduziertes in Dauerschleife läuft. Die Frage ist, ob man den Studierenden so viel Misstrauen entgegen bringen möchte. Außerdem benötigen die Studierenden dafür mindestens zwei digitale Endgeräte bzw. eine Webcam mit genügend langem USB-Kabel.

Wenn man solche technischen Raffinessen aber nicht nutzt, ist alles Online-Proctoring (Ausweisen der Studierenden durch Lichtbildausweis, Kameraschwenk durch den Raum, etc.) umsonst, weil es sich vergleichsweise einfach durch Einspeisen von vorproduziertem Material umgehen lässt.

Hier ein zweiter Auszug aus dem Dokument:

Durchfuehrungsbestimmungen2_mit_Markierungen

Außerdem finde ich es organisatorisch sehr spannend, wie eine aufsichtsführende Person für eine z.B. 90-minütige Prüfung nacheinander

  1. alle studentischen Ausweise mit Lichtbild kontrolliert (was ist mit Webcams mit Festfokus auf die typischen 50 cm Distanz, da kann man sonstwas in die Kamera halten, kleine Sachen scharf darzustellen, ist unmöglich, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  2. bei allen Studierenden einen Kameraschwenk im Raum macht (sehen diesen dann auch die anderen Studierenden oder macht die Aufsicht das in 25 separaten Breakout-Räumen?, wie lange wird so etwas wohl dauern, 25 mal x Sekunden?)
  3. dann alle (gleichzeitig?) dabei beaufsichtigt, wie die vorher natürlich nicht manipulierten Briefumschläge geöffnet werden (wie stark muss man vorher seine Kameralinse mit fettigen Fingern anfassen und gegen das Licht ausrichten, damit der kleine wieder zugeklebte Schlitz an der Briefunterseite nicht auffällt?)
  4. dann (optional) die Aufgaben diktieren (!?, wie sieht es da mit der Barrierefreiheit aus)
  5. immer mal wieder Studierende, die den Eindruck erwecken, unnötig nach links oder rechts zu schauen und seltsam unsynchrone Lippenbewegungen zu machen (was ist eigentlich mit Bauchredner*innen?) bittet, weitere Kameraschwenks durch den Raum zu machen, worauf sich die promovierte Hilfsperson immer schnell unterm Jugendbett versteckt
  6. Studierende zwischenfragen, ob und wie lange sie mal die heimische Toilette aufsuchen dürfen (um mal schnell ein paar Sachen auf den Smartphone zu googlen)
  7. am Ende alle (wieder gleichzeitig?) dabei beaufsichtigt, den Briefumschlag zu versiegeln (MINT-Sonderfrage: Wie viel dpi muss ein Scanner und Farbdrucker haben, damit man selbst oder jemand anderes während der Prüfung das Siegel reproduziert, so dass es bei verschmierter Kameralinse mit Festfokus echt genug aussieht? Gibt es dann wenigstens für jede Prüfung ein anderes Siegel, so dass die Studierenden sich immerhin den Aufwand leisten müssen, es jedes mal neu einzuscannen und auszudrucken und nicht einfach das von der letzten Prüfung aus der WhatsApp-Gruppe zu nehmen.)

Fragen über Fragen, beliebig viele Angriffsvektoren, richtig durchdacht scheint mir das Konzept noch nicht. Ich frage wirklich, was und wo das Problem ist, auf den ganzen Zauber zu verzichten, ordentliche, sinnvolle, randomisierte und kompetenzorientierte Prüfungsfragen zu stellen und auf eine Eigenständigkeitserklärung der Studierenden zu vertrauen (gern auch mit mehreren kleinen Prüfungen über das Semester verteilt, statt einer großen Abschlussprüfung). Alles andere macht nur beliebig viel Aufwand und bringt dafür beliebig wenig Nutzen.

 

Feedbackbogen zur Zwischenevaluation einer Online-Lehrveranstaltung

Unsere Online-Lehrveranstaltung zu den Grundlagen der Elektrotechnik ist mittlerweile in der 5. Woche. Zeit, sich nach der Anfangsbefragung mal ein kurzes Zwischenfeedback von den Studierenden einzuholen.

Liebe Studierende,

auch ich vermisse weiter den persönlichen Kontakt zu Ihnen. Wir haben bisher versucht, Sie so gut es geht mit Lehrmaterialen, Aufgaben und Quizfragen zu den Grundlagen der Elektrotechnik zu versorgen, viele Fragen zu beantworten und Ihnen bestmöglich individuelle Rückmeldung zu geben. Wir würden gern wissen, wie gut uns das gelungen ist. Deshalb finden Sie im Folgenden einen kurzen Fragebogen. Ich würde mich sehr über Ihre Rückmeldung freuen.

Viele Grüße und bleiben Sie gesund!

  • Wie geht es Ihnen? (sehr schlecht, schlecht, geht so, gut sehr gut)
  • Haben Sie Kontakt zu Ihren Kommiliton*innen (per Telefon, Skype, WhatsApp, Instagram, etc.) bzw. einer Lerngruppe? (mehrmals täglich, täglich, mehrmals wöchentlich, wöchentlich, seltener)
  • Haben Sie in den letzten Wochen genügend Erfahrung mit digitalen Lehrangeboten gesammelt, um diese sinnvoll für den Rest des Semester nutzen zu können? (nein, eher nein, eher ja, ja)
  • Was hat Ihnen bisher am meisten beim Selbstlernen geholfen? (Freitext)
  • Was hat Sie bisher am meisten am Selbstlernen gestört bzw. davon abgehalten? (Freitext)
  • In welchem Umfang haben Sie sich die Einstiegsaufgaben zum Thema xxx angeschaut und bearbeitet? (komplett, zum Teil, gar nicht)
  • Wünschen Sie sich weitere Einstiegsaufgaben zu den anderen Themen? (ja, unbedingt, eher ja, eher nein, auf keinen Fall)
  • Wie gefällt Ihnen die Online-Vorlesung? (Freitext)
  • Haben Sie schon einen der Online-Sprechstunden-Termine wahrgenommen, und wenn nein, warum nicht? (Freitext)
  • Wie gefallen Ihnen die bisherigen Quiz-Fragen im E-Learning-Kurs? (Freitext)
  • Wie gefallen Ihnen die bisherigen personalisierten Zusatzaufgaben? (Freitext)
  • Was wünschen Sie sich für den Rest des Semesters? (Freitext)
  • Wenn morgen eine 90-minütige Leistungskontrolle mit fünf Aufgaben (zu den Themen u, v, w, x, und y) wäre, wie gut fühlen Sie sich darauf vorbereitet?(sehr gut, gut, mittelmäßig, schlecht, sehr schlecht)
  • Das wollte ich noch loswerden. (Freitext)

Vielen Dank für Ihre Rückmeldung. Diese hilft uns sehr, ein geeignetes Online-Lehrformat für die nächsten Wochen zu entwickeln.

Bisher haben innerhalb einer Woche leider nur 6 Studierenden den Bogen ausgefüllt. Eine gute, repräsentative und aussagekräftige Rücklaufquote zu erreichen, halte ich auch immer noch für die größte Herausforderung bei reinen Online-Befragungen.