Erfahrungen aus einer Open-Book-Präsenzprüfung in den Grundlagen der Elektrotechnik

In einem früheren Blog-Artikel habe ich bereits ein Konzept und ein paar Ideen zu einer Präsenzprüfung in einem ingenieurwissenschaftlichen Grundlagenfach wie der Elektrotechnik vorgestellt, bei der die Studierenden ähnlich wie bei einer Take-Home-Prüfung sämtliche denkbaren Hilfsmittel wie Bücher, Skripte, Vorlesungs- und Übungsmitschriften sowie elektronische Endgeräte wie Laptops, Tablet-PCs oder Smartphones verwenden dürfen. Da auch der Zugriff auf das Internet erlaubt war, kann man nicht nur vor Open-Book- sondern sogar von einer Open-Web-Prüfung sprechen. Einzige Einschränkung für die Studierenden bzw. die Prüflinge war die Forderung, die ihnen gestellten, individuell zusammengestellten Aufgaben eigenständig zu bearbeiten. Hier möchte ich nun, nachdem die Prüfung konzipiert, durchgeführt, korrigiert und ausgewertet ist, von einigen Erfahrungen berichten, ein Fazit ziehen und Verbesserungsvorschläge diskutieren.

Konzept

Die Erfahrungen mit einer online-durchgeführten Open-Book-Prüfung am Ende des Corona-Wintersemesters 2020/2021 waren durchaus vielversprechend, so dass deren grundlegendes Konzept beibehalten werden sollte. Die Studierenden wünschten sich jedoch durchaus mehr Chancengleichheit durch die gleichzeitige Beaufsichtigung in einem Prüfungsraum wie einem Hörsaal oder einer Messehalle, die eine zu starke Inanspruchnahme von Contract Cheating bzw. ein gemeinsames Lösen einer Einzelprüfung in einer größeren Studierendengruppe deutlich erschwert. Die gesunkenen Inzidenzen am Ende des bis dahin weitgehend online durchgeführten 2. Corona-Sommersemesters 2021 machten das auch möglich. Trotzdem war nicht ganz auszuschließen, dass einzelne Prüflinge zum Prüfungszeitpunkt in behördlich angeordnete Quarantäne mussten. Auch für diese Zielgruppe sollte eine gleichzeitige äquivalente Online-Prüfung möglich sein, was mit dem vorgestellten Konzept auch kein Problem war und von einem Prüfling in Anspruch genommen wurde.

Da alle Prüflinge sich aber weiterhin über das Internet hätten austauschen und auch externe Dienste zur Erbringung der Prüfungsleistung in Ansprech nehmen konnten, gab es wieder individuell zusammengestellte Aufgabenbögen. Diese habe ich erneut über ein MATLAB-Skript automatisiert aus den LaTeX-Quelltexten des Prüfungsaufgabenkatalogs erstellt. Gegenüber der vorherigen Online-Prüfung habe ich diese jedoch ausgedruckt und nicht einfach per E-Mail an die Studierenden verschickt.

Irgendwie ein Nachteil an diesen „Präsenzklausuren“ – man kann die Aufgaben nicht einfach online bereitstellen, sondern braucht so ein großes Gerät namens ‚Kopierer/Drucker‘, viel dünnes weißes Zeug namens Papier und eine Menge Zeit. Hoffentlich ist im nächsten Semester wieder alles online.😉

Dieses Ausdrucken und Austeilen der Papierbögen, früher eigentlich eine Selbstverständlichkeit, erschien mir diesmal unnötig aufwendig und zeitraubend gegenüber dem direkten E-Mail-Versand an die Prüflinge. Damit man die randomisiert zusammengestellten Prüfungsbögen eindeutig identifizieren konnte, waren diese auf der Titelseite fortlaufend nummeriert. Die einzelnen Aufgaben waren auf den Prüfungsbögen sehr generisch von 1 bis 10 durchnummeriert, so dass keine direkte Zuordnung zu einem eventuell von der Fachschaft gepflegten Prüfungsaufgaben- und Musterlösungskatalog möglich war.

Durchführung

Die eigentliche Prüfung verlief wie eine übliche Präsenzprüfung. Die Studierenden betraten den Prüfungsraum, in unserem Fall eine Messehalle und suchten sich einen noch freien Tisch. Nach einigen kurzen einführenden Worten teilten zwei Kollegen und ich die ausgedruckten Prüfungsbögen aus, wobei jede*r Student*in einfach einen beliebigen Prüfungsbogen vom Stapel bekam. Es gab also keine feste Zuordnung von Prüflingen und Prüfungsbögen, die ohne eine festen Sitzplan auch nur sehr schwer zu realisieren gewesen wäre. Diese quasi-zufällige Zuordnung von Prüfungsbögen zu Prüflingen ist vielleicht tatsächlich ein Vorteil der analogen Papiervariante, schließlich könnte ein Prüfling, die/der den randomisiert zusammengestellten Bogen per E-Mail erhält, immer einwenden, dass seine oder ihre zugeteilten Prüfungsaufgaben besonders herausfordernd seien und extra für ihn oder sie unter Umgehung der Randomisierung zusammengestellt wurden, um seine oder ihre Prüfungsleistung zu schmälern.

Nach dem Start der Bearbeitungszeit begannen die Studierenden mit der Lösung der Aufgaben und notierten Ansatz, Rechenweg, Zwischen- und Endergebnisse mit Stiften auf Papier. Einige nutzen dabei das QR-Code-Papier für den automatischen Rückversand der Korrektur, andere ganz normale Schreibblöcke. Ich ging durch die Reihen, beantwortete inhaltliche Fragen und machte eine kleine Statistik, welche typischen Hilfsmittel von wie vielen Studierenden genutzt wurde.

Ich hatte eine kleine Statistik gemacht. Von 106 angemeldeten Studierenden nahmen nur 65 an der Open-Book-Prüfung teil. 48 hatten einen Laptop dabei. 36 nutzten gedruckte Bücher/Skripte/Mitschriften. 57 nutzten ihr Smartphone. Nur zwei Personen probierten es ganz ohne Hilfsmittel.

Das ubiquitäre Smartphone liegt nicht verwunderlich an der Spitze, gefolgt von Laptops (mächtiger, aber teuer, größer, weniger Akkulaufzeit) und Büchern, Skripten und anderen gedruckten Nachschlagewerken. Nur zwei Studierende probierten es ganz ohne Hilfsmittel. Darauf angesprochen erklärte der Eine, er habe leider nichts vom Open-Book-Format gewusst. Der Zweite meinte, er habe alle Hilfsmittel im Rucksack, fühle sich stark, probiere es deshalb aber erst mal ohne, schließlich können ein Laptop und Smartphone ja auch ablenken. Dieser Einstellung zolle ich großen Respekt. Sie erinnert mich aber auch daran, dass ich 2003 für meine schriftliche sechstündige Mathematik-Abiturprüfung meinen Taschenrechner zuhause vergaß und mich zur großen Verwunderung meiner damaligen Mitschüler*innen erst nach mehr als zwei Stunden meldete und unseren Mathematiklehrer fragte, ob er mir vielleicht seinen Taschenrechner leihen kann, was er dann glücklicherweise auch tat.

Ansonsten fiel mir auf, dass viele Studierende sich der Vielseitigkeit und Mächtigkeit der ihnen erlaubten Werkzeuge wie Laptop und Smartphone nicht wirklich bewusst waren. Nur selten sah ich Leute, die numerische Rechnungen mit komplexen Zahlen oder das Lösen von Gleichungssystemen in MATLAB durchführten oder passende Schaltbilder in LTspice oder EasyEDA simulierten. Stattdessen nutzen die Studierenden die Laptops und Smartphones hauptsächlich für banalere Dinge wie eine Volltextsuche im Skript oder Buch, das schnelle Scrollen durch Übungsmitschriften oder eine rasche Recherche bei Wikipedia, auf YouTube oder in Foren, die im Sinne der Eigenständigkeit hoffentlich nur passiv genutzt wurden.

Zum Ende der Bearbeitungszeit erinnerte ich alle Studierenden noch mal daran, genau diese Eigenständigkeitserklärung zu unterschreiben (was natürlich mehr als 10 Leute trotzdem vergaßen) und zumindest den Namen oder die Matrikelnummer auf alle anderen Blätter zu schreiben, falls nicht das QR-Code-Papier genutzt wurde. Dann gingen meine Kollegen und ich herum und sammelten die Lösungen von den Studierenden ein. Auf eine schriftliche Bestätigung der Abgabe und der Anzahl der eingereichten Blätter verzichteten wir, um im Sinne des Infektionsschutzes lange Schlangen mit geringen Abständen zu vermeiden.

Im Gegensatz zu Online-Prüfungen gab es dann nach dem Prüfungsende die typische studentische Grüppchenbildung vor dem Prüfungsraum (natürlich unter Einhaltung der Abstandsregeln), in der kurz die Prüfungsfragen ausgewertet wurden. Dazu trug vielleicht auch der Getränkeausschank der Fachschaft bei. Da sich bei jeweils unterschiedlichen Aufgaben der Prüflinge aber nur schwer eine gemeinsame Diskussionsbasis finden lässt, zerfielen die Gruppen recht schnell oder schwenkten auf andere Themen um, schließlich gab es nach zwei Online-Semestern, in denen die Prüfung eines der wenigen Präsenzformate darstellte, viel zu bereden.

Korrektur

Die Korrektur der Prüfungen erfolgte wie bei früheren Präsenzprüfungen. Ich sortierte immer fünf studentische Prüfungen in einen Hefter, von denen es dann insgesamt 13 Stück gab. Diese Hefter verteilte ich an die insgesamt sechs an der Korrektur beteiligten Kollegen. Weiterhin bekamen die Kollegen per E-Mail zwei Links auf einen Cloudspeicher. Der erste Link zeigt auf einen Ordner mit den relevanten Musterlösungen. Der zweite Link zeigte auf eine Datenbank, die eine Zuordnung zwischen den Prüfungsnummern, Aufgabennummern und zugehörigen Musterlösungen ermöglichte. Ein dritter Link zeigte zu einer Bewertungstabelle im Moodle-Kurs der Lehrveranstaltung zum Eintragen der Punkte. Dieser Medienbruch, analoge Prüfungsbögen sowie online-verfügbare Musterlösungen und Bewertungstabellen war sicher nicht optimal. Bei früheren Präsenzprüfungen konnte man auch Offline-Zeit im Zug, im Park oder auf der Terasse nutzen, um rein offline Prüfungen zu kontrollieren. Das war hier nicht möglich. Im Gegensatz zur vorherigen Online-Prüfung konnte man sich als Korrekteur aber auch nicht für eine gewisse Zeit von der (analogen) Außenwelt abschotten und alle Prüfungen in einem Rutsch rein online korrigieren, weil einige der 13 analogen Hefter ja stets bei irgendwelchen anderen Kollegen im Büro (oder auch im Home-Office) verstreut waren. Da wir mittlerweile über mehrere Gebäude auf dem Campus und im Home-Office natürlich über das ganze Stadtgebiet von Magdeburg verstreut sind, ist das ein echtes Problem.

Die 65 Studierenden haben für eine 180-min-Prüfung mal wieder ganz schön viel Papier produziert.

Weiterer Nachteil dieses Medienbruchs: Die Studierenden sahen in der online-verfügbaren Bewertungstabelle, dass eine Lösung von ihnen mit einer bestimmten Punktzahl bewertet wurde. Gegenüber der vorherigen Online-Prüfung sahen die Studierenden aber nicht sofort die Korrekturhinweise, denn diese bekamen sie erst am Ende der Bewertungsphase in Form ihrer eingescannten Korrekturen zugeschickt, nachdem alle Aufgaben korrigiert, alle Punkte eingetragen und alle Noten berechnet waren. Anstatt wie bei der reinen Online-Prüfung einfach in die online-verfügbare Korrektur zu schauen, schickten mir die Studierenden berechtigterweise also Fragen zu ihrer korrigierten Lösung per E-Mail. Diese Fragen konnte ich in den meisten Fällen aber nicht direkt beantworten, weil der entsprechende analoge Papierhefter natürlich in einem beliebigen anderen Büro oder Home-Office lag. Nun könnte man anmerken, dass die Studierenden früher™ auch nicht sofort ihre erreichten Punkte und Korrekturen sahen und das auch in Ordnung war. Nichtsdestotrotz ist heutzutage eine gewisse Sofortness in einer Kultur der Digitalität aber durchaus selbstverständlich. Zeitnahes und individuelles Feedback ist auch lerntheoretisch vorteilhaft und deshalb erstrebenswert. Rechtliche Rahmenbedingungen ähnlich dem Onlinezugangsgesetz werden Hochschulen in den kommenden Jahren außerdem dazu verpflichten, Verwaltungsdienstleistungen wie Klausureinsichten auch rein digital anzubieten. Auch das spricht trotz handschriftlicher Lösungen für einen rein digitalen Prüfungsworkflow

Erschwerend kam bei der Korrektur wieder hinzu, dass jede individuell zusammengestellte Prüfung eine andere erreichbare Maximalpunktzahl in jeder Aufgabe und für die gesamte Klausur hatte, die in der Auswertung und Bestimmung der Noten entsprechend berücksichtigt werden musste. Außerdem müsste ich in der Bewertungstabelle natürlich wieder eine Verknüpfung zwischen den Namen der Studierenden und den ihnen zufällig vom Druckstapel zugelosten Prüfungsbögen herstellen. Jede manuelle Zuordnung birgt dabei natürlich ein gewisses Fehlerpotential. Am Ende der Korrektur und Bewertung scannte ich alle Prüfungen ein und stellte sie den Studierenden digital zur Verfügung, um eine aufwendige Prüfungseinsicht in Präsenz zu vermeiden. Einige Studierenden stellten Fragen, die ich per E-Mail, in einer Zoom-Konferenz oder im persönlichen Gespräch beantwortete.

Nach der Korrektur wurden die handschriftlichen Prüfungen über einen Scanner mit Einzelblatteinzug digitalisiert, um den Studierenden eine Online-Prüfungseinsicht zu ermöglichen.

Fazit

Alles in allem „funktionierte“ dieses Prüfungsformat recht gut und wurde von den Studierenden auch gut angenommen, etwas gelobt oder zumindest wenig kritisiert. Der Aufwand für die analoge Papierlogistik während der Korrektur, der angesprochene Medienbruch und der immense Korrekturaufwand durch die individuell zusammengestellten Prüfungen und damit immer wieder anderen Musterlösungen war jedoch sehr hoch und wurde von vielen Kollegen zurecht kritisiert.

Die Verteilung der Punktzahlen der einzelnen Aufgabenbereiche und der Gesamtpunktzahl sind aufgrund der Schiefe nach links auch etwas enttäuschend, insbesondere unter Berücksichtigung der vielfältigen erlaubten Hilfsmittel. Andererseits muss man berücksichtigen, dass hier hauptsächlich Studierende geprüft wurden, die vorher zwei oder drei Semester teils unter Emergency-Remote-Teaching-Bedingungen lernen mussten.

Verbesserungsvorschläge

Um den Korrekturaufwand zu senken, könnte man sich folgende Dinge überlegen:

  1. Wenn man den Internetzugriff abschaltet, könnten sich Studierende nicht mehr darüber austauschen und man müsste die Aufgaben nicht mehr randomisieren. Das ist aber äußerst problematisch, denn:
    1. Man kann das Internet nicht einfach so abschalten. Selbst wenn man den WLAN-Zugang im Prüfungsraum deaktiviert oder einschränkt, gibt es immer noch Zugriff über mobile Daten der diversen Mobilfunkdienste, die aus guten Gründen nicht gestört oder blockiert werden können und dürfen. Ein unterschiedlich schneller Mobilfunkdatenzugriff je nach gebuchtem Datentarif der Prüflinge würde aber die Chancengleichheit massiv einschränken.
    2. Ohne Internet sind auch keine Internetrecherchen mehr möglich, die durchaus auch eine sehr praxisrelevante Kompetenz ausmachen.
  2. Wenn man z.B. in einer Safe-Exam-Browser-Umgebung nur bestimmte Dienste (wie Wikipedia, MATLAB Online oder EasyEDA) erlaubt, könnten Studierende diese Dienste nutzen, sich aber trotzdem nur unter erschwerten Bedingungen austauschen.
    Problematisch ist dabei: Safe-Exam-Browser sind schwer mit einem Bring-you-own-device-Konzept der studentischen digitalen Endgeräte vereinbar und technisch relativ einfach zu umgehen.
  3. Wenn man keine Laptops oder Smartphones, sondern nur programmierbare Taschenrechner erlaubt, könnten Studierenden damit zwar rechnen (auch mit komplexen Zahlen), Gleichungssysteme lösen, eventuell etwas ableiten und integrieren sowie Funktionen plotten, jedoch nicht kommunizieren, insbesondere nicht mit der Außenwelt über das Internet.
    Problematisch dabei ist: Wirklich niemand benutzt im Berufsleben einen programmierbaren Taschenrechner, wenn man auch einen Computer oder Laptop nutzen kann. Programmierbare Taschenrechner kommen praktisch nur in künstlich eingeschränkten Lern- und Prüfungsumgebungen vor und lassen jegliche berufspraktische Relevanz vermissen.
  4. Statt in jedem der zehn Themenbereiche die maximale Anzahl von 15 bis 30 Aufgaben in den Pool möglicher Aufgaben zu werfen, könnte man diese auf zwei bis vier Aufgaben einschränken. Damit muss sich jede*r Korrekteur*in nicht mehr in jeden Lösungsweg individuell hineindenken, sondern nur noch zwei bis vier Musterlösungen „auswendig“ kennen.
    Bei jeweils nur zwei Aufgaben pro Themenbereich ergeben sich so immerhin schon 1024 unterschiedliche Prüfungsvarianten, bei jeweils drei Aufgaben knapp 60000 und bei jeweils 4 Aufgaben schon mehr als eine Million unterschiedlicher Zusammenstellungen. Das senkt die Plagiatswahrscheinlichkeit enorm, schränkt Contract Cheating immernoch hinreichend ein und ermöglicht trotzdem eine zeiteffiziente Korrektur.
    Wählt man außerdem in jedem Themenbereich nur Aufgaben aus, die jeweils die gleiche Punktzahl haben, entfällt auch der Zusatzaufwand für jeden Prüfling eine eigene erreichbare Maximalpunktzahl in der Bewertung zu berücksichtigen. Außerdem wird die Klausur fairer, wenn alle die gleiche Maximalpunktzahl erreichen können, schon allein durch Rundungsfehler bei der Anwendung der Notenskala.

Statt der analogen Abwicklung (Ausdrucken, Ausgeben, Einsammeln, Einscannen) der Prüfungsbögen könnte man trotz des Präsenzformats einen nahezu komplett digitalen Prüfungsworkflow benutzen. Die randomisiert zusammengestellten Klausuren werden den Studierenen per E-Mail oder Moodle online zur Verfügung gestellt. Die Studierenden notieren ihre Lösungen weiterhin handschriftlich per Zettel und Stift (aufgrund der Chancengleichheit), fotografieren diese aber wie bei der Online-Prüfung ab und reichen diese im Moodle-Kurs ein. Die darauf folgende Korrektur, Bewertung und Prüfungseinsicht erfolgen dann rein digital.
Herausfordernd dabei ist: Alle Studierenden benötigen zwingend ein digitales Endgerät. Für die Ausgabe der Prüfung könnte man als Backupvariante wenige Druckexemplare von Prüfungsbögen bereit halten. Für die Abgabe könnte man einige Leihendgeräte vorhalten (z.B. Tablet-PCs), mit denen die Studierenden ihre Lösungen abfotografieren und unter dem eigenen Account im Moodle hochladen. Selbstredend benötigt der Prüfungsraum dann zumindest während der Abgabezeit ein leistungsfähiges und zuverlässiges Drahtlosnetzwerk, das einen direkten Zugriff auf das Moodle ermöglicht. Außerdem müssen alle Korrekteur*innen wieder rein digital korrigieren, was entsprechende Endgeräte mit beschreibwaren Displays oder elektronischen Zeichentabletts voraussetzt. Eine entsprechende Ausstattung sollte nach drei Coronasemestern aber mittlerweile zum Standard gehören.

Perspektivisch erlaubt eine Open-Book- und Open-Web-Prüfung mit digitalen Endgeräten für die Studierenden auch endlich mal, Aufgabenformate zu etablieren, in denen direkt Lösungen in MATLAB, GNU Octave, LTspice oder EasyEDA zu erstellen und zur Bewertung einzureichen sind. Das soll nicht heißen, dass gar nicht mehr mit Zettel, Stift und Taschenrechner gearbeitet wird, aber eben nicht ausschließlich mit diesen klassischen Arbeitsmitteln. Digitale Artefakte wie MATLAB-Lösungen bietet über Werkzeuge wie MATLAB Grader auch die Option, automatisch bewertet zu werden und senken damit perspektiv den Korrekturaufwand, erhöhen jedoch vermutlich den Aufwand für die Aufgabenerstellung, insbesondere bei gleichzeitiger Randomisierung der Aufgabenvarianten. In jedem Fall werden solche Prüfungen authentischer, zeitgemäßer, kompetenzorientierter und weniger „googlebar“. Außerdem wird der häufige Straßenlampen-Effekt von herkömmlichen Prüfungen vermieden, in denen oft nur das geprüft wird, was einfach zu prüfen, jedoch nicht notwendigerweise relevant zum Nachweis des Lernziels und Kompetenzerwerbs ist.

Quelle: Beat Döbeli Honegger, https://twitter.com/beatdoebeli/status/1444225274128879617

1 Kommentar zu „Erfahrungen aus einer Open-Book-Präsenzprüfung in den Grundlagen der Elektrotechnik“

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s