Erfahrungen mit einer Online-Leistungskontrolle in den Grundlagen der Elektrotechnik

Hintergrund:

In unserer zweisemestrigen Lehrveranstaltung „Grundlagen der Elektrotechnik“ gibt es schon seit Menschengedenken eine Leistungskontrolle bzw. Übungsscheinklausur zur Mitte bzw. zum Ende des Semesters. Früheres Ziel war, die Studierenden in einer gewissen Prüfungssituation mit ähnlichen, klausurtypischen Aufgaben auf die tatsächliche Prüfung vorzubereiten, semesterbegleitende Rückmeldung zum Kompetenzstand zu geben und natürlich vielleicht auch die Durchfallquote in der eigentlichen Prüfung zu senken.

Bedingt durch die Corona-Pandemie konnte die Leistungskontrolle nicht wie geplant im Dezember 2020 in Präsenz stattfinden, sondern wurde auf Januar 2021 verschoben, damit mehr Vorbereitungszeit möglich war. Da ein Format mit vielen numerischen Zahlenwert-Aufgaben und wenigen Multiple-Choice-Fragen geplant war, das nur sehr wenig Korrekturaufwand erfordert, war dadurch auch keine größere Verzögerung der Meldung der Übungsscheine an das Prüfungsamt zu erwarten.

Vorbereitung:

Natürlich machte ich mir schon im Laufe des Semesters ein paar Gedanken und sammelte erste Ideen, aber richtig Zeit für die Vorbereitung der Online-Leistungskontrolle fand ich erst in der Pause zwischen Weihnachten und Neujahr. Auf Basis einiger alter Zusatzaufgaben, einiger Aufgaben von Kolleg*innen anderer Hochschulen und einigen neu konzipierten Aufgaben stellte ich einen Test im Moodle zusammen. Die Vorgehensweise war dabei etwa wie folgt:

  1. eine passende Aufgabe finden (solides Einstiegsniveau, in möglichst wenig Teilschritten und mit wenig Herleitungsaufwand lösbar, weil sich diese sowieso nicht bewerten lassen)
  2. eine Musterlösung entwickeln, noch mal den Lösungsaufwand überprüfen
  3. die Aufgabe und Lösung außerhalb des Moodle verschriftlichen (Ich nutze dafür LaTeX-Quelltexte in einem Subversion-Repository.)
  4. die Aufgabentext ins HTML-Format überführen, was bei Formelzeichen, mathematischen Ausdrücken usw. einigen Aufwand macht
  5. die Lösung in eine Antwortformel überführen, randomisierte Eingangswerte erzeugen
  6. ein sinnvolles Feedback überlegen, z.B. mit einem Link auf einen Wikipedia-Artikel, der Hinweise zu korrekten Lösung gibt
  7. die Frage im Fragenkatalog des Moodle-Kurses anlegen
  8. die Fragen aus dem Fragenkatalog des Moodle-Kurses in den eigentlichen Moodle-Test übernehmen
  9. den Test zunächst durch ein Passwort schützen und zum Testen an passende Kolleg*innen weiterleiten

Außerdem habe ich eine Test-Leistungskontrolle mit wenigen ähnlichen Fragen im Moodle-Kurs angelegt und inklusive kurzer Informationen zum Prozedere der geplanten Leistungskontrolle an die Studierenden weitergeleitet.

Die Rückmeldung der Kolleg*innen zur eigentlichen Leistungskontrolle, die nach einigen Tagen eintrafen, waren dann extrem wertvoll, um:

  • Tippfehler und Unklarheiten in der Formulierung zu finden, die durch eine gewisse eigene Betriebsblindheit entstanden sind
  • einen realistischen Zeitaufwand für die Lösung abzuschätzen

In der Woche vor der Leistungskontrolle habe ich die Studierenden dann in den Online-Lehrveranstaltungen mehrfach an die Leistungskontrolle erinnert, das Prozedere erklärt, auf die Test-Leistungskontrolle hingewiesen und Fragen zum „Was hätte, wäre, wenn …“ beantwortet.

Etwa einen Tag vor der Leistungskontrolle habe ich den Test im Moodle dann „scharfgeschaltet“, also das Passwort entfernt, die Zahl der Versuche auf einen Versuch eingeschränkt sowie den Zugriffszeitraum und die Bearbeitungsdauer eingeschränkt.

Ankündigung:

Außerdem habe ich die Studierenden etwa einen Tag vor der Leistungskontrolle mit folgendem Text noch mal über alle Details informiert.

Werte Studierende,
wie heute im Online-Plenum besprochen, sind hier alle Informationen zur morgigen Leistungskontrolle. Die Leistungskontrolle wird als Online-Test über das Moodle durchgeführt und verschiedene numerische Fragen und Multiple-Choice-Fragen umfassen.
Zugriffslink:
https://elearning.ovgu.de/mod/quiz/view.php?id=xxxxx
Die Leistungskontrolle ist am Mittwoch, den 20. Januar 2021, verfügbar zwischen 19:00 und 21:00 Uhr.
Die reine Bearbeitungszeit ist allerdings auf 1 Stunde und 30 Minuten begrenzt, so dass 30 Minuten Puffer für eventuelle technische Probleme verbleiben. Sie haben für die Lösung einen erlaubten Versuch, alle knapp 30 Fragen zu beantworten. Alle Teilnehmenden bekommen die gleichen Fragen, jedoch in unterschiedlicher Reihenfolge und mit unterschiedlichen Zahlenwerten.
Durch die Randomisierung der Reihenfolge werden möglicherweise ähnliche Teilaufgaben von zusammengehörigen Aufgabentypen voneinander getrennt. Deshalb ist es sinnvoll, Zwischenwerte zu notieren, um mehrfach gleiche Rechnungen zu vermeiden, denn die Zahlenwerte sind bei diesen zusammengehörigen Teilaufgaben jeweils immer gleich.
Um ein Raten der Lösung zu unterbinden, ist die Toleranz bei den Zahlenwerten auf +- 1% eingestellt, weshalb Sie nicht zu stark runden sollten.
Insgesamt sind in der Leistungskontrolle maximal 30 Punkte erreichbar. Die Prüfungszulassung wird erteilt, wenn aus beiden Leistungskontrollen und allen Zusatzaufgaben insgesamt 40 Punkte erreicht werden
Zur Online-Leistungskontrolle sind praktisch alle Hilfsmittel (Skripte, Formelsammlungen, Online-Lexika, Übungsunterlagen, Simulationswerkzeuge, etc.) zugelassen. Auch eine Kommunikation über Online-Medien ist nicht verboten.
Der einzige beschränkende Faktor ist die Bearbeitungszeit. Es ist deshalb empfohlen, zur Vorbereitung ein A4-Blatt mit einer eigenen Auswahl an Formeln zu beschreiben. Außerdem sind eventuell ein klassischer wissenschaftlicher Taschenrechner sowie Stifte und Notizzettel empfohlen.
Eine Anmeldung zur Leistungskontrolle ist nicht erforderlich.
Eine Test-Leistungskontrolle mit einigen bespielhaften Fragen ist verfügbar.
Während der Leistungskontrolle ist technischer Support über das Zoom-Meeting der GET-Sprechstunde (https://ovgu.zoom.us/j/91829526001, Passwort: xxxxxx) und telefonisch unter 0391-67-52195 verfügbar.
Bitte achten Sie bei der Leistungskontrolle darauf:

  • an einem Ort mit möglichst zuverlässiger Internetverbindung zu sein
  • den Akku eines mobilen Computers vorher aufzuladen bzw. das Gerät am Netzteil zu betreiben
  • eventuelle Betriebssystemupdates vorher durchzuführen bzw. zeitweise zu deaktivieren

Abschließend wünsche ich viel Spaß und viel Erfolg bei der Bearbeitung der Aufgaben!
Viele Grüße, Mathias Magdowski

Durchführung:

Etwa 30 Minuten vor der Prüfung bin ich dann vom Home-Office ins Büro gefahren, um dort mit etwas sicherer Internetverbindung im Zoom-Meeting und web-unabhängig über meine Bürotelefonnummer erreichbar zu sein. Das Zoom-Meeting hätte ich auch von Zuhause aus durchführen können, wollte aber meine Home-Office-Telefonnummer nicht preisgeben. Auch ein dienstliches Mobiltelefon ist leider nicht vorhanden.

Knapp 10 Minuten vor Beginn der Leistungskontrolle wählen sich dann die ersten Studierenden ins Meeting ein, die FOMO-mäßig schauten, ob es dort noch einige wichtige Last-Minute-Informationen gibt. Ich verwies dort einfach noch mal auf den Link zur Leistungskontrolle und wünschte viel Erfolg, worauf die Studierenden das Meeting verließen.

Zu Beginn der Leistungskontrolle schaute auch ich gespannt auf die Anzeige im Moodle, ob der Test sich fristgerecht aktiviert und begann nebenbei damit, einige erste Erfahrungen bei Twitter zu teilen.

Nach 10 Minuten meldeten sich dann die ersten Studierenden via Zoom, die alle Fragen durchklickten und sich nun wunderten, warum sie diese nicht mehr beantworten können. Ich löschte die jeweiligen Versuche und die Studierenden begannen erneut.

Es gab weitere Rückfragen, z.B. zum Umgang mit Rundungsfehlern oder zur Interpretation mathematischer Ausdrücke, die sich aber alle schnell per Zoom, übers Telefon oder per E-Mail klären ließen. Etwas verwirrend aus studentischer Sicht war z.B. die Darstellung zu starker Rundungsfehler.

Beispiel für ein Problem mit Rundungsfehlern: Wie kann es sein, dass 0,8 Ohm als falsch und doch als richtig angezeigt wird? Die exakte Lösung beträgt 7,6 V/9,6 A, also 0,791666 Ohm. Der vom Studenten eingegebene gerundete Wert von 0,8 Ohm hat einen relativen Fehler von 1,05 %, der eben größer als +- 1% ist, und damit nicht akzeptiert wird. Leider ist die Angabe des korrekten Ergebnisses in Moodle selbst zu stark gerundet. Das ist aber nur ein Problem der Anzeige, intern wird korrekt gerechnet.

Zur Mitte der Bearbeitungszeit gab es dann noch einige Rückfragen, ob man zu bisher unbearbeiteten Aufgaben zurückkehren kann, die ich verneinte. Einige Studierende entschlossen sich daraufhin, Ihren Versuch komplett von mir löschen zu lassen und neu zu beginnen, andere entschieden dafür, ihre bisher erreichten Teilpunkte zu akzeptieren.

Zum Ende gab es dann kaum noch Fragen, der Zugriff zur Leistungskontrolle wurde vom Moodle automatisch abgeschaltet und alle Studierenden, die noch nicht abgegeben hatten, mussten automatisch ihren Versuch beenden und abgeben.

Nachbereitung:

Einer der entscheidenden Vorteile von elektronischen Tests mit randomisierten Zahlenwert- und Multiple-Choice-Fragen ist die schnelle, weil automatische Korrektur und die direkte Rückmeldung an die Studierenden. Direkt nach der Leistungskontrolle konnte ich die Gesamtpunkte aus dem Moodle exportieren, mit anderen Zusatzpunkten kombinieren und entsprechende Übungsscheine an das Prüfungsamt melden.

Etwas problematisch ist dabei, dass man eine Tabelle mit den Testergebnissen, aber ohne Matrikelnummern, oder eben eine Tabelle mit Matrikelnummern, aber ohne Testergebnisse exportieren kann. Verbindenes Element beider Tabellen ist aber die eindeutige E-Mail-Adresse der Studierenden, so dass sie sich in einer Tabellenkalkulation per SVERWEIS-Funktion miteinander verbinden lassen.

Außerdem werde ich noch eine kleine Auswertung mit der Gesamtpunktverteilung an die Studierenden verteilen, eventuell auch noch ein Video davon erstellen, in dem ich die Aufgaben löse und kurz erkläre, denn meines Erachtens sind die Aufgaben zumindest für das nächste Semester sowieso „verbrannt“.

Auswertung und Ausblick:

  • Online-Leistungskontrollen mit Zahlenwert-und-Einheit- oder Multiple-Choice-Fragen erfordern einiges an Vorbereitungsaufwand, insbesondere beim Fragendesign, senken aber den Korrekturaufwand enorm. Das lohnt sich aus meiner Sicht ab etwa 50 bis 100 Studierenden.
  • Über Online-Leistungskontrollen mit Zahlenwert-und-Einheit- oder Multiple-Choice-Fragen lassen sich nicht alle Kompetenzen abbilden und abprüfen, die über handschriftliche Leistungskontrollen möglich sind. Deshalb sollten man vielleicht noch anderen semesterbegleitenden Assessments wie z.B. personalisierte Aufgaben mit Peer Review im Portfolio haben.
  • Man kann Studierende, inbesondere jene mit wenig Erfahrungen in solchen Prüfungsformaten, nicht oft und intensiv genug über das anstehende Online-Leistungskontrollformat informieren, um Unklarheiten, Rückfragen und Frustration vorzubeugen.
  • In diesem Sinne ist eine Test-Leistungskontrolle für die Studierenden auf der gleichen Plattform, mit ähnlichen Aufgabentypen, der gleichen Eingabeschnittstelle und vergleichbaren Auswertungsalgorithmen eine sehr gute Idee.
  • Während der Leistungskontrolle sollten die Studierenden möglichst mehrere, niederschwellige und redundante Möglichkeiten zum Stellen von Rückfragen haben (z.B. per Zoom-Meeting, per Telefon, per E-Mail).
  • Die Befürchtung, dass Studierende aufgrund der Nutzbarkeit des Internets, numerischen Berechnungswerkzeugen wie MATLAB/Octave oder Simulationsprogrammen wie LTspice sowie durch die Möglichkeit der Kommunikation über Online-Medien nun deutlich besser abschneiden bzw. es viel schwieriger wird, die eigene Leistung zu bewerten, hat sich nicht bestätigt, denn die Verteilung der Gesamtpunktzahl ist sehr gut vergleichbar mit bisherigen Leistungskontrollen in Präsenz.

    Punkteverteilung der Online-Leistungskontrolle vom 20.01.2021:


    Punkteverteilung der Präsenz-Leistungskontrolle vom 11.12.2019:

Aufgrund dieser Vorteile werden wir auch nach den Einschränkungen durch die Corona-Pandemie nicht zu einer klassischen Präsenzleistungskontrolle zurückkehren sondern weiter beim Online-Format bleiben, auch wenn dafür jeweils neue Fragen nötig sind.

Für die Weiterentwicklung des Formats ist aber eine gemeinsame Auswertung mit den Studierenden z.B. in Form einer Evaluation mit einem Fragebogen, mittels Interviews oder durch informelle Gespräche nötig. Hierfür freue ich mich insbesondere auch über studentische Rückmeldung.

Außerdem wäre es wünschenswert, wenn sich Lehrende über Hochschulgrenzen hinaus über passende Fragenformate austauschen, gemeinsame Fragenkataloge pflegen sowie gegenseitig begutachten, um mit überschaubarem Aufwand zu guten Testinhalten zu gelangen. Hierfür braucht es natürlich einen übergeordneten Organisations- und Vernetzungsaufwand sowie entsprechende technische Austauschplattformen.

Ein mögliches Online-Take-Home-Prüfungsformat für die Grundlagen der Elektrotechnik

Da mit den aktuellen Informationen der Otto-von-Guericke-Universität Magdeburg zur Prüfungsphase im Wintersemester 2020/21 (unbeaufsichtigte) Online-Klausuren als alternative Prüfungsform nicht ausgeschlossen werden, sind Open-Book- bzw. Take-Home-Exams eine der möglichen Ideen.

Als eventuelle Anregung für andere Prüfungen ist hier mal meine Prüfungsidee für das zweisemestrige Modul „Grundlagen der Elektrotechnik I und II“ an der Fakultät für Elektro- und Informationstechnik aus inhaltlicher, fachlicher und didaktischer Sicht. Den rechtlichen sowie datenschutzrechtlichen Rahmen kann und möchte ich an dieser Stelle nicht erörtern. Aus meiner Sicht wäre folgende Vorgehensweise und Kommunikation gegenüber den Studierenden denkbar:

Die für Donnerstag, den 18.02.2021 im Zeitraum von 14 Uhr bis 17 Uhr geplante Prüfung zur Lehrveranstaltung „Grundlagen der Elektrotechnik 1, 2“ (ÜS 800011) wird als Online-Klausur bzw. Open-Book-Klausur durchgeführt. Für Sie als Student*in bedeutet dies, dass Sie an der Prüfung von zuhause aus und damit entsprechend ohne Aufsicht teilnehmen.

Vor der Prüfung melden Sie sich wie üblich im LSF bzw. über das Prüfungsamt zur Prüfung an. Voraussetzung dafür ist der Übungsschein.

Kurz vor der Prüfung (etwa 15 min) bekommen Sie die Prüfungsaufgaben als PDF-Datei per E-Mail an Ihre studentische E-Mail-Adresse zugeschickt. Die Prüfungsklausur besteht aus Aufgaben, die ähnlich wie die Übungsaufgaben aufgebaut sind. Die Themen der Aufgaben entsprechen den Übungsthemen, die in beiden Semestern behandelt wurden. Das Aufgabenblatt ist dabei maximal 500 kB groß und sollte sich somit auch über langsame Internetverbindungen in kurzer Zeit herunterladen lassen.

Während der Prüfung lösen Sie die Aufgaben und notieren Ansatz, Lösungsweg sowie Zwischen- und Endergebnisse nachvollziehbar und handschriftlich. Zur Überprüfung oder Kontrolle können Sie natürlich gern Numerikprogramme wie MATLAB/Octave, Computeralgebrasysteme wie Maxima oder Netzwerksimulatoren wie LTspice oder EasyEDA nutzen, bewertet wird am Ende allerdings die handschriftlich notierte Lösung.
Weitere Hinweise dazu:

  • Berechnungen nicht mit Bleistift schreiben
  • für jede Aufgabe eine neue Seite beginnen
  • auf jeder Seite unten links ein Rechteck in der Größe des Studierendenausweises freilassen (siehe unten)
  • Punkte für einzelne Aufgaben siehe Aufgabenblatt
  • es ist die vorgegebene Berechnungsmethode zu verwenden, sonst 0 Punkte
  • richtiges Ergebnis gilt nur, wenn der Lösungsweg plausibel ist
  • Aufgabenunterteilung in a), b), … beibehalten, ist meist hilfreich
  • Endergebnisse nach Möglichkeit hervorheben

Zur Feststellung Ihrer Identität behalten wir uns auch vor, Ihre Schrift stichprobenartig in Form einer Schriftprobe mit den handschriftlichen Lösungen in den zwei Leistungskontrollen bzw. den personalisierten Zusatzaufgaben zu vergleichen.

Gegenüber den üblichem Präsenzklausuren sind die Aufgabenblätter individualisiert, d.h. jede(r) Teilnehmer*in bekommt eigene Aufgaben, die aber in der Schwierigkeit, im Umfang und in den Themenbereichen vergleichbar sind. Da Sie bei der Lösung zuhause mehr Möglichkeiten (z.B. Software, siehe oben) nutzen können, steigt der Aufgabenumfang gegenüber den bisherigen Präsenzklausuren von 9 auf 10 Aufgaben. Die Bearbeitungszeit beträgt wie bisher 180 min bzw. 3 h.

Während der Prüfung steht Ihnen technischer Support über das Zoom-Meeting der GET-Sprechstunde (https://ovgu.zoom.us/j/123456789, Passwort: xxxxxx) und telefonisch unter 0391-67-52195 verfügbar.

Am Ende der Prüfung fotografieren Sie Ihre handschriftlichen Lösungen ab bzw. scannen diese ein und laden sie hoch. Dabei muss auf jedem abfotografierten Lösungsblatt Ihr Studierendenausweis in der linken unteren Ecke deutlich sichtbar sein.

Für das Abfotografieren/Einscannen und Hochladen haben Sie weitere 30 min Zeit. Falls Ihre Internetverbindung sehr langsam ist, genügt es auch, zunächst eine MD5-Prüfsumme ihrer Dateien zu erzeugen (z.B. mit http://onlinemd5.com/) und diese fristgerecht hochzuladen. Danach laden Sie dann die eigentliche Datei nach der Frist hoch, die aber natürlich der gleichen Prüfsumme entsprechen muss. Außerdem müssen Sie eine Erklärung zur eigenständigen Lösung ausfüllen und unterschrieben einreichen.

Dabei würde ich zum Hochladen für jede Einzelaufgabe ein eigenes Einreichungsformular im Moodle anlegen, so dass die Studierenden für jede Aufgabe eine separate Rückmeldung zum Upload-Erfolg bekommen. Der Link zum jeweiligen Uploadformular würde ich direkt auf der Aufgabenstellung (auch als QR-Code) verlinken. Erlaubte Dateiformate wären wie schon im Laufe des Semesters PDF, JPEG und PNG.

Die Vorgehensweise hat z.B. gegenüber einem Test mit reinen Multiple-Choice- oder Zahlenwert-Aufgaben einige Vorteile:

  • Es wird keine gute Internetverbindung vorausgesetzt. Studierende benötigen auch nicht notwendigerweise einen Drucker und einen Scanner, sondern nur ein Smartphone/Tablet-PC bzw. alternativ eine Digitalkamera und einen Laptop oder PC.
  • Man kann den für uns sehr wichtigen Ansatz sowie Rechen- und Lösungsweg mit bewerten, was mit reinen Multiple-Choice- und Zahlenwert-und-Einheit-Aufgaben nur schwer abprüfbar ist und sehr gut gestaltete Fragen voraussetzt.
  • Wenn wir erst mal weiter beim jahrelang etablierten Aufgabenformat bleiben, ist das für die Studierenden nur eine geringe Umstellung, die entsprechend wenig Unsicherheiten hervorruft. Außerdem ist die Vergleichbarkeit mit den vorherigen Jahrgängen sehr gut möglich.
  • Bei handschriftlichen Lösungen kann man eine Schriftprobe machen. Ich bin da wenig paranoid, aber es hilft natürlich etwas, eine gewisse Authentizität sicherzustellen, die sonst bei reinen Online-Formaten schwer zu prüfen ist. Auch eine technisch, administrativ sowie personell aufwendige und datenschutzrechtlich äußerst bedenkliche Fernüberwachung mit Audio- und Videosignalen durch Online-Proctoring wird durch viele mögliche Angriffsvektoren nicht viel dagegen helfen und eher das Vertrauen und die Transparenz im Umgang mit den Studierenden aufs Spiel setzen.

All das ist mir in der Übungsscheinklausur bzw. Leistungskontrolle, die als reiner Multiple-Choice-Test bzw. mit Zahlenwert-Aufgaben stattfindet, egal bzw. nicht so wichtig. Außerdem haben wir ja noch das Format der semesterbegleitenden personalisierten Zusatzaufgaben, mit anonymem Peer Review, über die wir auch schon viele Kompetenzen vermittelt und geprüft haben.

Perspektivisch ist das für mich eigentlich auch der Königsweg, eine summative Prüfung durch viele kleine formative Assessments zu ersetzen, die kontinuierliche Rückmeldung geben und gleichzeitig ein dauerhaftes „Outsourcen der Prüfungsleistung“ aufwendiger machen. Trotzdem gibt man durch reine Multiple-Choice- oder Zahlenwert-Aufgaben schon sehr viel vom Rechenweg vor und gibt den Studierenden keine Möglichkeit, individuelle Fehler zu machen, von denen ich hier einige gesammelt habe:

Nachteilig beim beschriebene Take-Home-Format ist:

  • Man benötigt für die individuelle Zusammenstellung der Aufgaben einen großen Katalog an Prüfungsaufgaben, der aber bei uns vorhanden ist. Außerdem lässt sich bei Online-Prüfungen natürlich nicht ausschließen, dass Studierende die Prüfungsaufgaben danach sammeln, weitergeben und studiengangsintern veröffentlichen.
  • Der Korrekturaufwand ist natürlich recht hoch. Da es es sich in diesem Semester aber „nur“ um eine Nachschreibeklausur handelt und der Korrekturaufwand gegenüber einer klassischen Präsenzklausur nicht vergrößert ist, ist das aber für kleine Kohorten irrelevant.

Einen großen Vorteil in Online-Klausuren sehe ich aber zusammenfassend auch darin, endlich lebensnahe Kompetenzen wie die numerische Rechnung in MATLAB oder die praxisrelevante Simulation in einem Netzwerksimulator abzubilden. Ich hoffe mal, dass die Studierenden dann schon allein dafür sorgen werden, dass die wichtigen 4K-Kompetenzen Kommunikation, Kolloboration, Kreativität und kritisches Denken dabei auch nicht zu kurz kommen.