Personalisierbare Aufgaben und anonymer Peer Review

Veröffentlicht am von mathiasmagdowski

Die Lehren-Kollegin Elke Bosse ist für die Abschlusspublikation zum Lehren-Programm auf der Suche nach Hinweisen, was aus den Projekten geworden ist, die wir als Teilnehmer*innen im Jahres- bzw. Dachprogramm verfolgt haben. Da mein Projekt aus dem Jahrgang 2018 zahlreiche Spuren im Internet hinterlassen hat und auch anderweitig publik gemacht wurde, möchte ich gern entsprechende Links oder Quellenangaben (bzw. elektronische Dokumente) teilen. Diese habe ich in diesem Blogartikel mit ein paar einleitenden Informationen auch für anderen Interessierte zusammengestellt.

Zusammenfassung

Beim Konzept von personalisierbaren Aufgaben mit anonymem Peer Review bekommen alle Studierenden eine eigene Aufgabe per E-Mail zugeschickt, können diese lösen und ihre Lösung über das Moodle zur Korrektur einreichen. Um den Korrekturaufwand für die Lehrenden zu senken, begutachten sich die Studierenden dann anhand einer ebenfalls personalisierten Musterlösung gegenseitig. Das ganze Verfahren läuft semi-automatisiert ab und ist dadurch gut skalierbar.

Gegenüber einfachen Multiple-Choice- oder Zahlenwert-und-Einheit-Aufgaben lassen sich hier auch der Rechenweg und Ansatz gut bewerten. Im Projekt soll ein Moodle-Plugin konzipiert, entwickelt, programmiert und bereitgestellt werden, das die bisherige technische Umsetzung in MATLAB bzw. Python ersetzt, die komplex und teilweise zeitaufwendig in der Anwendung ist. Damit kann das von den Studierenden sehr gut angenommene und etablierte Verfahren viel einfacher für eine größere Anzahl von Lehrveranstaltungen genutzt und umgesetzt werden.

Bisherige Aktivitäten und Motivation

Um unsere Studierenden vom Bulimielernen abzubringen und zu motivieren, sich schon während des Semesters (und nicht erst kurz vor der Prüfung) mit den Grundlagen der Elektrotechnik zu beschäftigen, wurde das Konzept personalisierter Aufgaben mit anonymem Peer Review entwickelt. Alle Studierenden bekommen eine eigene Aufgabe per E-Mail zugeschickt, können diese lösen und ihre typischerweise handschriftliche, abfotografierte bzw. eingescannte Lösung über ein Lernmanagementsystem zur Korrektur einreichen. Die Kommunikation findet dabei rein digital statt und ist damit perfekt für die Distanzlehre geeignet. Um den Korrekturaufwand für die Lehrenden zu senken, begutachten sich die Studierenden dann anhand einer ebenfalls personalisierten Musterlösung gegenseitig, so dass auch Studierenden, welche die Aufgabe selbst nicht korrekt lösen konnten, trotzdem fachlich richtig korrigieren können. Das Verfahren der Aufgabenerstellung, des Versands, der Einreichung und gegenseitigen Kontrolle läuft semi-automatisiert ab und ist dadurch auch für große Studierendengruppen gut geeignet. Gegenüber einfachen Multiple-Choice- oder Zahlenwert-und-Einheit-Aufgaben lassen sich hier auch Rechenweg und Ansatz sowie Skizzen, Schaltbilder und Diagramme gut bewerten sowie typische Fehlverständnisse und Misskonzepte aufdecken.

In einer von bisher elf entwickelten Aufgabentypen, in der es um das Zeichnen eines Zeigerbildes geht, erfolgte die Einreichung auch nicht als abfotografiertes oder eingescanntes Lösungsblatt, sondern als studentisch erstelltes Erklärvideo (Screencast bzw. abgefilmte Hand), weil sich so nicht nur das Ergebnis sondern auch der Prozess der Lösung viel besser dokumentieren und damit auch korrigieren bzw. bewerten lassen. Als Hilfestellung bekommen die Studierenden eine kurze Anleitung zum Bau eines improvisierten Stativs sowie ein kurzes Beispielvideo. Die Studierenden trainieren so neben der Fachkompetenz auch ihre Medienkompetenz, setzen sich mit den Möglichkeiten der Digitalisierung auseinander und gewinnen beim Hineindenken in fremde Lösungswege im Rahmen des Peer Review ein tieferes Verständnis für das Themengebiet der Aufgaben. Der studentische Peer Review bzw. das Peer Assessment als aktivierend Lehr- und Lernmethode sind dabei auch seit Jahren etabliert, siehe z.B. (Gielen, 2007), (Dochy et al., 1999), (Gibbs & Simpson, 2005), (Zare et al., 2017), ohne automatisiertes Framework im Hintergrund aber mit großem Aufwand für die Lehrenden verbunden, (Bhalerao & Ward, 2001).

Die beschriebene Vorgehensweise verbindet auf innovative Art und Weise die Vorbereitung auf klassische Prüfungsformate mit den Möglichkeiten digitaler Medien und deren Erstellung sowie digitaler Kommunikation. Das Verfahren wird von Studierenden zur Vertiefung des Stoffes und zur langfristigen Prüfungsvorbereitung sehr gut angenommen, und ermöglicht eine exzellente Aktivierung sowie gute Prüfungsvorbereitung ohne “teaching to the test”. Das Verfahren skaliert sehr gut und ist auch für sehr große Kurse mit mehr als 100 Teilnehmenden anwendbar. Die Aufgaben
sind tatsächlich randomisiert/algorithmiert und nicht aus einem großen Pool entnommen. Studierende schätzen die Aufgaben sowie damit verbundenen Zusatzpunkte für die Prüfungszulassung und geben sehr positive Rückmeldung. Perspektivisch sind auch Aufgaben mit verschiedenen Schwierigkeitsstufen möglich, bisher wurde aber Wert auf vergleichbare Komplexität und ähnlichen Lösungsaufwand gelegt. Durch die Randomisierung der Aufgaben sind eine kollaborative Lösung und gegenseitige Peer-Beratung der Studierenden untereinander möglich, simple Plagiate
werden aber erheblich erschwert.

Als weitere positive Aspekte sind die Senkung des Korrekturaufwands für die Lehrenden, individuellere und zeitnahe Rückmeldung für größere Gruppen sowie eine freiere Wahl der Lösungsmethode für die Studierenden zu nennen. Außerdem könnten mit der Projektmethode ohne Nutzung des Peer Reviews auch große Aufgabenpools für Open-Book- oder Take-Home-Exams erstellt werden, die zunehmend als alternativen Prüfungsformen für die Distanzlehre diskutiert werden. Ein ähnliches Verfahren wurde in Kooperation mit Olivier Cleynen et al. auch an der Fakultät für Verfahrens- und Systemtechnik umgesetzt.

Vorgehensweise als Ablaufdiagramm

ablaufdiagramm

Technische Umsetzung:

Versand an Studierende: per E-Mail
Einreichung: über Lernmanagementsystem (hier Moodle)
Programmierung: in MATLAB
Textsatz: in LaTeX mit den Paketen TikZ, CircuiTikZ, pgfplots und siunitx

Kennzahlen und Erfolge

  • bisher 13 verschiedene Aufgabentypen entwickelt
  • bisher 24 Durchläufe in 6 Semestern
  • insgesamt ca.:
    – 3900 personalisierte Aufgaben verschickt
    – 2160 studentische Lösungen eingereicht
    – 3820 studentische Peer-Review-Korrekturen durchgeführt

Bisherige Veröffentlichungen, Vorträge und Workshops

Hashtag: #PersonalisierteAufgaben

Veröffentlichungen

  • Cleynen, O., Santa-Maria, G., Magdowski, M. & Thévenin, D. (2020). Peer-graded in-
    dividualized student homework in a single-instructor undergraduate engineering course. Research in Learning Technology, 28.
    https://doi.org/10.25304/rlt.v28.2339
  • Magdowski, M. (2020c). Personalisierbare Aufgaben und anonymer Peer Review mit Erklärvideos als Einreichung – Wie kann man Bulimielernen verhindern, kontinuierliche Mitarbeit fördern und zeitnahe sowie individuelle Rückmeldung ermöglichen? (S. Ludwigs, Hrsg.). In S. Ludwigs (Hrsg.), So gelingt E-Learning! – Reader zum Higher Education Summit 2019.
    https://www.pearson-studium.de/cp-so-gelingt-e-learning-epdf.html
  • Magdowski, M. (2019f). Personalisierte Aufgaben und passende Musterlösungen zu den Grundlagen der Elektrotechnik automatisiert mit LaTeX, pgfplots und CircuiTikZ erstellen (H. Voß, Hrsg.). Die TeXnische Komödie, 31(4), 34–44.
    https://archiv.dante.de/DTK/PDF/komoedie_2019_4.pdf
  • Magdowski, M. (2018c). Personalisierbare Aufgaben und anonymer Peer-Review (M. Miglbauer, L. Kieberl & S. Schmid, Hrsg.). In M. Miglbauer, L. Kieberl & S. Schmid (Hrsg.), Hochschule digital.innovativ | #digiPH Tagungsband zur 1. Online-Tagung.
    https://www.fnma.at/content/download/1529/5759

Pre-Prints

  • Vollbeitrag zu “Personalisierbare Aufgaben und anonymer Peer Review in den Grundlagen der Elektrotechnik” für die Schriftenreihe “Greifswalder Beiträge zur Hochschullehre”
    https://www.overleaf.com/read/tkshqbvwftjz

Vorträge und Workshops

  • Magdowski, M. (2020a). Personalised Tasks and Anonymous Peer Grading. In Transforming Assessment Webinar Series.
    http://transformingassessment.com/events_1_april_2020.php
  • Magdowski, M. (2020b). Personalisierbare Aufgaben und anonyme Peer Reviews. In Webinarreihe „Lehrimpulse aus den Verbundhochschulen Sachsen-Anhalts“.
    https://www.youtube.com/watch?v=nFxohjyscRc
  • Magdowski, M. (2019a). Personalisierbare Aufgaben und anonymer Peer Review. In MatheMINT-Webinarreihe – Mathematik in den MINT-Fächern: Kreative Lehr-Lern-Konzepte digital umgesetzt.
    http://www.ecult.me/personalisierte-aufgaben-und-anonymer-peer-review/
  • Magdowski, M. (2019d). Personalisierbare Aufgaben und anonymer Peer Review mit Erklärvideos als Einreichung (S. Ludwigs, Hrsg.). In S. Ludwigs (Hrsg.), Pearson Higher Education Summit: Digital agil – Impulse für eine moderne Hochschullehre
  • Magdowski, M. (2019c). Personalisierbare Aufgaben und anonymer Peer Review in den Grundlagen der Elektrotechnik (K. Lisek, Hrsg.). In K. Lisek (Hrsg.), interStudies_2 Jahrestagung 2019: „UPtoDATE – Hochschullehre im digitalen Zeitalter“
  • Magdowski, M. (2019e). Personalisierbare Aufgaben und anonymer Peer-Review (L. Esch, Hrsg.). In L. Esch (Hrsg.), HFD Hangout – Online-Meeting für Interessierte aus dem Netzwerk für die Hochschullehre des Hochschulforums Digitalisierung der Hochschulrektorenkonferenz.
    https://hochschulforumdigitalisierung.de/de/hfd-hangout
  • Magdowski, M. (2019b). Personalisierbare Aufgaben und anonymer Peer Review. In Lightning Talk zur Summer School des Hochschulforums Digitalisierung.
    https://www.youtube.com/watch?v=LDw_Ifmg2WM
  • Magdowski, M. (2018a). #digiPH eLecture: Personalisierbare Aufgaben & anonymer Peer Review [Video: https://youtu.be/lSmz5TVEPv8%5D, In Online-Tagung | #digiPH – Hochschule digital.innovativ.
    http://www.virtuelle-ph.at/veranstaltung/digiph-electure-personalisierbare-aufgaben-anonymer-peer-review/
  • Magdowski, M. (2018b). Personalisierbare Aufgaben und anonymer Peer Review sowie QR-Code-Papier zum automatischen Korrekturversand (Workshop zum Tag der Lehre an der Otto-von-Guericke-Universität Magdeburg)

Foliensätze

Webseiten

Poster

Links zu ähnlichen Ideen von anderen Universitäten

Literatur

  • Bhalerao, A. & Ward, A. (2001). Towards electronically assisted peer assessment: a case study. Research in Learning Technology, 9(1).
    https://doi.org/10.3402/rlt.v9i1.12014
  • Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-, peer and co-assessment in higher education: A review. Studies in Higher Education, 24(3), 331–350.
    https://doi.org/10.1080/03075079912331379935
  • Gibbs, G. & Simpson, C. (2005). Conditions Under Which Assessment Supports Students’ Learning [Learning and Teaching in Higher Education (LATHE) was published by the University of Gloucestershire between 2005 and 2011. LATHE was edited by Phil Gravestock and Michele Hills. Publication has ceased, the final issue was issue No.5]. Learning and Teaching in Higher Education, (1), 3–31.
    http://eprints.glos.ac.uk/3609/
  • Gielen, S. (2007). Peer assessment as a tool for learning (Diss.).
    https://lirias.kuleuven.be/retrieve/67694
  • Zare, R. N., Cox Jr., C. T., Murphy, K. & Bayas, C. (2017). Implementation of peer-reviewed homework assignments. Journal of College Science Teaching, 3(46), 40–46.
    https://doi.org/10.2505/4/jcst17_046_03_40

Veröffentlicht von mathiasmagdowski

2 Kommentare zu „Personalisierbare Aufgaben und anonymer Peer Review“

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

Gravatar
WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. ( Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. ( Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. ( Abmelden /  Ändern )

Abbrechen

Verbinde mit %s