Erfahrungen mit einer Online-Leistungskontrolle in den Grundlagen der Elektrotechnik

Hintergrund:

In unserer zweisemestrigen Lehrveranstaltung „Grundlagen der Elektrotechnik“ gibt es schon seit Menschengedenken eine Leistungskontrolle bzw. Übungsscheinklausur zur Mitte bzw. zum Ende des Semesters. Früheres Ziel war, die Studierenden in einer gewissen Prüfungssituation mit ähnlichen, klausurtypischen Aufgaben auf die tatsächliche Prüfung vorzubereiten, semesterbegleitende Rückmeldung zum Kompetenzstand zu geben und natürlich vielleicht auch die Durchfallquote in der eigentlichen Prüfung zu senken.

Bedingt durch die Corona-Pandemie konnte die Leistungskontrolle nicht wie geplant im Dezember 2020 in Präsenz stattfinden, sondern wurde auf Januar 2021 verschoben, damit mehr Vorbereitungszeit möglich war. Da ein Format mit vielen numerischen Zahlenwert-Aufgaben und wenigen Multiple-Choice-Fragen geplant war, das nur sehr wenig Korrekturaufwand erfordert, war dadurch auch keine größere Verzögerung der Meldung der Übungsscheine an das Prüfungsamt zu erwarten.

Vorbereitung:

Natürlich machte ich mir schon im Laufe des Semesters ein paar Gedanken und sammelte erste Ideen, aber richtig Zeit für die Vorbereitung der Online-Leistungskontrolle fand ich erst in der Pause zwischen Weihnachten und Neujahr. Auf Basis einiger alter Zusatzaufgaben, einiger Aufgaben von Kolleg*innen anderer Hochschulen und einigen neu konzipierten Aufgaben stellte ich einen Test im Moodle zusammen. Die Vorgehensweise war dabei etwa wie folgt:

  1. eine passende Aufgabe finden (solides Einstiegsniveau, in möglichst wenig Teilschritten und mit wenig Herleitungsaufwand lösbar, weil sich diese sowieso nicht bewerten lassen)
  2. eine Musterlösung entwickeln, noch mal den Lösungsaufwand überprüfen
  3. die Aufgabe und Lösung außerhalb des Moodle verschriftlichen (Ich nutze dafür LaTeX-Quelltexte in einem Subversion-Repository.)
  4. die Aufgabentext ins HTML-Format überführen, was bei Formelzeichen, mathematischen Ausdrücken usw. einigen Aufwand macht
  5. die Lösung in eine Antwortformel überführen, randomisierte Eingangswerte erzeugen
  6. ein sinnvolles Feedback überlegen, z.B. mit einem Link auf einen Wikipedia-Artikel, der Hinweise zu korrekten Lösung gibt
  7. die Frage im Fragenkatalog des Moodle-Kurses anlegen
  8. die Fragen aus dem Fragenkatalog des Moodle-Kurses in den eigentlichen Moodle-Test übernehmen
  9. den Test zunächst durch ein Passwort schützen und zum Testen an passende Kolleg*innen weiterleiten

Außerdem habe ich eine Test-Leistungskontrolle mit wenigen ähnlichen Fragen im Moodle-Kurs angelegt und inklusive kurzer Informationen zum Prozedere der geplanten Leistungskontrolle an die Studierenden weitergeleitet.

Die Rückmeldung der Kolleg*innen zur eigentlichen Leistungskontrolle, die nach einigen Tagen eintrafen, waren dann extrem wertvoll, um:

  • Tippfehler und Unklarheiten in der Formulierung zu finden, die durch eine gewisse eigene Betriebsblindheit entstanden sind
  • einen realistischen Zeitaufwand für die Lösung abzuschätzen

In der Woche vor der Leistungskontrolle habe ich die Studierenden dann in den Online-Lehrveranstaltungen mehrfach an die Leistungskontrolle erinnert, das Prozedere erklärt, auf die Test-Leistungskontrolle hingewiesen und Fragen zum „Was hätte, wäre, wenn …“ beantwortet.

Etwa einen Tag vor der Leistungskontrolle habe ich den Test im Moodle dann „scharfgeschaltet“, also das Passwort entfernt, die Zahl der Versuche auf einen Versuch eingeschränkt sowie den Zugriffszeitraum und die Bearbeitungsdauer eingeschränkt.

Ankündigung:

Außerdem habe ich die Studierenden etwa einen Tag vor der Leistungskontrolle mit folgendem Text noch mal über alle Details informiert.

Werte Studierende,
wie heute im Online-Plenum besprochen, sind hier alle Informationen zur morgigen Leistungskontrolle. Die Leistungskontrolle wird als Online-Test über das Moodle durchgeführt und verschiedene numerische Fragen und Multiple-Choice-Fragen umfassen.
Zugriffslink:
https://elearning.ovgu.de/mod/quiz/view.php?id=xxxxx
Die Leistungskontrolle ist am Mittwoch, den 20. Januar 2021, verfügbar zwischen 19:00 und 21:00 Uhr.
Die reine Bearbeitungszeit ist allerdings auf 1 Stunde und 30 Minuten begrenzt, so dass 30 Minuten Puffer für eventuelle technische Probleme verbleiben. Sie haben für die Lösung einen erlaubten Versuch, alle knapp 30 Fragen zu beantworten. Alle Teilnehmenden bekommen die gleichen Fragen, jedoch in unterschiedlicher Reihenfolge und mit unterschiedlichen Zahlenwerten.
Durch die Randomisierung der Reihenfolge werden möglicherweise ähnliche Teilaufgaben von zusammengehörigen Aufgabentypen voneinander getrennt. Deshalb ist es sinnvoll, Zwischenwerte zu notieren, um mehrfach gleiche Rechnungen zu vermeiden, denn die Zahlenwerte sind bei diesen zusammengehörigen Teilaufgaben jeweils immer gleich.
Um ein Raten der Lösung zu unterbinden, ist die Toleranz bei den Zahlenwerten auf +- 1% eingestellt, weshalb Sie nicht zu stark runden sollten.
Insgesamt sind in der Leistungskontrolle maximal 30 Punkte erreichbar. Die Prüfungszulassung wird erteilt, wenn aus beiden Leistungskontrollen und allen Zusatzaufgaben insgesamt 40 Punkte erreicht werden
Zur Online-Leistungskontrolle sind praktisch alle Hilfsmittel (Skripte, Formelsammlungen, Online-Lexika, Übungsunterlagen, Simulationswerkzeuge, etc.) zugelassen. Auch eine Kommunikation über Online-Medien ist nicht verboten.
Der einzige beschränkende Faktor ist die Bearbeitungszeit. Es ist deshalb empfohlen, zur Vorbereitung ein A4-Blatt mit einer eigenen Auswahl an Formeln zu beschreiben. Außerdem sind eventuell ein klassischer wissenschaftlicher Taschenrechner sowie Stifte und Notizzettel empfohlen.
Eine Anmeldung zur Leistungskontrolle ist nicht erforderlich.
Eine Test-Leistungskontrolle mit einigen bespielhaften Fragen ist verfügbar.
Während der Leistungskontrolle ist technischer Support über das Zoom-Meeting der GET-Sprechstunde (https://ovgu.zoom.us/j/91829526001, Passwort: xxxxxx) und telefonisch unter 0391-67-52195 verfügbar.
Bitte achten Sie bei der Leistungskontrolle darauf:

  • an einem Ort mit möglichst zuverlässiger Internetverbindung zu sein
  • den Akku eines mobilen Computers vorher aufzuladen bzw. das Gerät am Netzteil zu betreiben
  • eventuelle Betriebssystemupdates vorher durchzuführen bzw. zeitweise zu deaktivieren

Abschließend wünsche ich viel Spaß und viel Erfolg bei der Bearbeitung der Aufgaben!
Viele Grüße, Mathias Magdowski

Durchführung:

Etwa 30 Minuten vor der Prüfung bin ich dann vom Home-Office ins Büro gefahren, um dort mit etwas sicherer Internetverbindung im Zoom-Meeting und web-unabhängig über meine Bürotelefonnummer erreichbar zu sein. Das Zoom-Meeting hätte ich auch von Zuhause aus durchführen können, wollte aber meine Home-Office-Telefonnummer nicht preisgeben. Auch ein dienstliches Mobiltelefon ist leider nicht vorhanden.

Knapp 10 Minuten vor Beginn der Leistungskontrolle wählen sich dann die ersten Studierenden ins Meeting ein, die FOMO-mäßig schauten, ob es dort noch einige wichtige Last-Minute-Informationen gibt. Ich verwies dort einfach noch mal auf den Link zur Leistungskontrolle und wünschte viel Erfolg, worauf die Studierenden das Meeting verließen.

Zu Beginn der Leistungskontrolle schaute auch ich gespannt auf die Anzeige im Moodle, ob der Test sich fristgerecht aktiviert und begann nebenbei damit, einige erste Erfahrungen bei Twitter zu teilen.

Nach 10 Minuten meldeten sich dann die ersten Studierenden via Zoom, die alle Fragen durchklickten und sich nun wunderten, warum sie diese nicht mehr beantworten können. Ich löschte die jeweiligen Versuche und die Studierenden begannen erneut.

Es gab weitere Rückfragen, z.B. zum Umgang mit Rundungsfehlern oder zur Interpretation mathematischer Ausdrücke, die sich aber alle schnell per Zoom, übers Telefon oder per E-Mail klären ließen. Etwas verwirrend aus studentischer Sicht war z.B. die Darstellung zu starker Rundungsfehler.

Beispiel für ein Problem mit Rundungsfehlern: Wie kann es sein, dass 0,8 Ohm als falsch und doch als richtig angezeigt wird? Die exakte Lösung beträgt 7,6 V/9,6 A, also 0,791666 Ohm. Der vom Studenten eingegebene gerundete Wert von 0,8 Ohm hat einen relativen Fehler von 1,05 %, der eben größer als +- 1% ist, und damit nicht akzeptiert wird. Leider ist die Angabe des korrekten Ergebnisses in Moodle selbst zu stark gerundet. Das ist aber nur ein Problem der Anzeige, intern wird korrekt gerechnet.

Zur Mitte der Bearbeitungszeit gab es dann noch einige Rückfragen, ob man zu bisher unbearbeiteten Aufgaben zurückkehren kann, die ich verneinte. Einige Studierende entschlossen sich daraufhin, Ihren Versuch komplett von mir löschen zu lassen und neu zu beginnen, andere entschieden dafür, ihre bisher erreichten Teilpunkte zu akzeptieren.

Zum Ende gab es dann kaum noch Fragen, der Zugriff zur Leistungskontrolle wurde vom Moodle automatisch abgeschaltet und alle Studierenden, die noch nicht abgegeben hatten, mussten automatisch ihren Versuch beenden und abgeben.

Nachbereitung:

Einer der entscheidenden Vorteile von elektronischen Tests mit randomisierten Zahlenwert- und Multiple-Choice-Fragen ist die schnelle, weil automatische Korrektur und die direkte Rückmeldung an die Studierenden. Direkt nach der Leistungskontrolle konnte ich die Gesamtpunkte aus dem Moodle exportieren, mit anderen Zusatzpunkten kombinieren und entsprechende Übungsscheine an das Prüfungsamt melden.

Etwas problematisch ist dabei, dass man eine Tabelle mit den Testergebnissen, aber ohne Matrikelnummern, oder eben eine Tabelle mit Matrikelnummern, aber ohne Testergebnisse exportieren kann. Verbindenes Element beider Tabellen ist aber die eindeutige E-Mail-Adresse der Studierenden, so dass sie sich in einer Tabellenkalkulation per SVERWEIS-Funktion miteinander verbinden lassen.

Außerdem werde ich noch eine kleine Auswertung mit der Gesamtpunktverteilung an die Studierenden verteilen, eventuell auch noch ein Video davon erstellen, in dem ich die Aufgaben löse und kurz erkläre, denn meines Erachtens sind die Aufgaben zumindest für das nächste Semester sowieso „verbrannt“.

Auswertung und Ausblick:

  • Online-Leistungskontrollen mit Zahlenwert-und-Einheit- oder Multiple-Choice-Fragen erfordern einiges an Vorbereitungsaufwand, insbesondere beim Fragendesign, senken aber den Korrekturaufwand enorm. Das lohnt sich aus meiner Sicht ab etwa 50 bis 100 Studierenden.
  • Über Online-Leistungskontrollen mit Zahlenwert-und-Einheit- oder Multiple-Choice-Fragen lassen sich nicht alle Kompetenzen abbilden und abprüfen, die über handschriftliche Leistungskontrollen möglich sind. Deshalb sollten man vielleicht noch anderen semesterbegleitenden Assessments wie z.B. personalisierte Aufgaben mit Peer Review im Portfolio haben.
  • Man kann Studierende, inbesondere jene mit wenig Erfahrungen in solchen Prüfungsformaten, nicht oft und intensiv genug über das anstehende Online-Leistungskontrollformat informieren, um Unklarheiten, Rückfragen und Frustration vorzubeugen.
  • In diesem Sinne ist eine Test-Leistungskontrolle für die Studierenden auf der gleichen Plattform, mit ähnlichen Aufgabentypen, der gleichen Eingabeschnittstelle und vergleichbaren Auswertungsalgorithmen eine sehr gute Idee.
  • Während der Leistungskontrolle sollten die Studierenden möglichst mehrere, niederschwellige und redundante Möglichkeiten zum Stellen von Rückfragen haben (z.B. per Zoom-Meeting, per Telefon, per E-Mail).
  • Die Befürchtung, dass Studierende aufgrund der Nutzbarkeit des Internets, numerischen Berechnungswerkzeugen wie MATLAB/Octave oder Simulationsprogrammen wie LTspice sowie durch die Möglichkeit der Kommunikation über Online-Medien nun deutlich besser abschneiden bzw. es viel schwieriger wird, die eigene Leistung zu bewerten, hat sich nicht bestätigt, denn die Verteilung der Gesamtpunktzahl ist sehr gut vergleichbar mit bisherigen Leistungskontrollen in Präsenz.

    Punkteverteilung der Online-Leistungskontrolle vom 20.01.2021:


    Punkteverteilung der Präsenz-Leistungskontrolle vom 11.12.2019:

Aufgrund dieser Vorteile werden wir auch nach den Einschränkungen durch die Corona-Pandemie nicht zu einer klassischen Präsenzleistungskontrolle zurückkehren sondern weiter beim Online-Format bleiben, auch wenn dafür jeweils neue Fragen nötig sind.

Für die Weiterentwicklung des Formats ist aber eine gemeinsame Auswertung mit den Studierenden z.B. in Form einer Evaluation mit einem Fragebogen, mittels Interviews oder durch informelle Gespräche nötig. Hierfür freue ich mich insbesondere auch über studentische Rückmeldung.

Außerdem wäre es wünschenswert, wenn sich Lehrende über Hochschulgrenzen hinaus über passende Fragenformate austauschen, gemeinsame Fragenkataloge pflegen sowie gegenseitig begutachten, um mit überschaubarem Aufwand zu guten Testinhalten zu gelangen. Hierfür braucht es natürlich einen übergeordneten Organisations- und Vernetzungsaufwand sowie entsprechende technische Austauschplattformen.

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s