Die Lehren-Kollegin Elke Bosse ist für die Abschlusspublikation zum Lehren-Programm auf der Suche nach Hinweisen, was aus den Projekten geworden ist, die wir als Teilnehmer*innen im Jahres- bzw. Dachprogramm verfolgt haben. Da mein Projekt aus dem Jahrgang 2018 zahlreiche Spuren im Internet hinterlassen hat und auch anderweitig publik gemacht wurde, möchte ich gern entsprechende Links oder Quellenangaben (bzw. elektronische Dokumente) teilen. Diese habe ich in diesem Blogartikel mit ein paar einleitenden Informationen auch für anderen Interessierte zusammengestellt.
Zusammenfassung
Beim Konzept von personalisierbaren Aufgaben mit anonymem Peer Review bekommen alle Studierenden eine eigene Aufgabe per E-Mail zugeschickt, können diese lösen und ihre Lösung über das Moodle zur Korrektur einreichen. Um den Korrekturaufwand für die Lehrenden zu senken, begutachten sich die Studierenden dann anhand einer ebenfalls personalisierten Musterlösung gegenseitig. Das ganze Verfahren läuft semi-automatisiert ab und ist dadurch gut skalierbar.
Gegenüber einfachen Multiple-Choice- oder Zahlenwert-und-Einheit-Aufgaben lassen sich hier auch der Rechenweg und Ansatz gut bewerten. Im Projekt soll ein Moodle-Plugin konzipiert, entwickelt, programmiert und bereitgestellt werden, das die bisherige technische Umsetzung in MATLAB bzw. Python ersetzt, die komplex und teilweise zeitaufwendig in der Anwendung ist. Damit kann das von den Studierenden sehr gut angenommene und etablierte Verfahren viel einfacher für eine größere Anzahl von Lehrveranstaltungen genutzt und umgesetzt werden.
Bisherige Aktivitäten und Motivation
Um unsere Studierenden vom Bulimielernen abzubringen und zu motivieren, sich schon während des Semesters (und nicht erst kurz vor der Prüfung) mit den Grundlagen der Elektrotechnik zu beschäftigen, wurde das Konzept personalisierter Aufgaben mit anonymem Peer Review entwickelt. Alle Studierenden bekommen eine eigene Aufgabe per E-Mail zugeschickt, können diese lösen und ihre typischerweise handschriftliche, abfotografierte bzw. eingescannte Lösung über ein Lernmanagementsystem zur Korrektur einreichen. Die Kommunikation findet dabei rein digital statt und ist damit perfekt für die Distanzlehre geeignet. Um den Korrekturaufwand für die Lehrenden zu senken, begutachten sich die Studierenden dann anhand einer ebenfalls personalisierten Musterlösung gegenseitig, so dass auch Studierenden, welche die Aufgabe selbst nicht korrekt lösen konnten, trotzdem fachlich richtig korrigieren können. Das Verfahren der Aufgabenerstellung, des Versands, der Einreichung und gegenseitigen Kontrolle läuft semi-automatisiert ab und ist dadurch auch für große Studierendengruppen gut geeignet. Gegenüber einfachen Multiple-Choice- oder Zahlenwert-und-Einheit-Aufgaben lassen sich hier auch Rechenweg und Ansatz sowie Skizzen, Schaltbilder und Diagramme gut bewerten sowie typische Fehlverständnisse und Misskonzepte aufdecken.
In einer von bisher elf entwickelten Aufgabentypen, in der es um das Zeichnen eines Zeigerbildes geht, erfolgte die Einreichung auch nicht als abfotografiertes oder eingescanntes Lösungsblatt, sondern als studentisch erstelltes Erklärvideo (Screencast bzw. abgefilmte Hand), weil sich so nicht nur das Ergebnis sondern auch der Prozess der Lösung viel besser dokumentieren und damit auch korrigieren bzw. bewerten lassen. Als Hilfestellung bekommen die Studierenden eine kurze Anleitung zum Bau eines improvisierten Stativs sowie ein kurzes Beispielvideo. Die Studierenden trainieren so neben der Fachkompetenz auch ihre Medienkompetenz, setzen sich mit den Möglichkeiten der Digitalisierung auseinander und gewinnen beim Hineindenken in fremde Lösungswege im Rahmen des Peer Review ein tieferes Verständnis für das Themengebiet der Aufgaben. Der studentische Peer Review bzw. das Peer Assessment als aktivierend Lehr- und Lernmethode sind dabei auch seit Jahren etabliert, siehe z.B. (Gielen, 2007), (Dochy et al., 1999), (Gibbs & Simpson, 2005), (Zare et al., 2017), ohne automatisiertes Framework im Hintergrund aber mit großem Aufwand für die Lehrenden verbunden, (Bhalerao & Ward, 2001).
Die beschriebene Vorgehensweise verbindet auf innovative Art und Weise die Vorbereitung auf klassische Prüfungsformate mit den Möglichkeiten digitaler Medien und deren Erstellung sowie digitaler Kommunikation. Das Verfahren wird von Studierenden zur Vertiefung des Stoffes und zur langfristigen Prüfungsvorbereitung sehr gut angenommen, und ermöglicht eine exzellente Aktivierung sowie gute Prüfungsvorbereitung ohne “teaching to the test”. Das Verfahren skaliert sehr gut und ist auch für sehr große Kurse mit mehr als 100 Teilnehmenden anwendbar. Die Aufgaben
sind tatsächlich randomisiert/algorithmiert und nicht aus einem großen Pool entnommen. Studierende schätzen die Aufgaben sowie damit verbundenen Zusatzpunkte für die Prüfungszulassung und geben sehr positive Rückmeldung. Perspektivisch sind auch Aufgaben mit verschiedenen Schwierigkeitsstufen möglich, bisher wurde aber Wert auf vergleichbare Komplexität und ähnlichen Lösungsaufwand gelegt. Durch die Randomisierung der Aufgaben sind eine kollaborative Lösung und gegenseitige Peer-Beratung der Studierenden untereinander möglich, simple Plagiate
werden aber erheblich erschwert.
Als weitere positive Aspekte sind die Senkung des Korrekturaufwands für die Lehrenden, individuellere und zeitnahe Rückmeldung für größere Gruppen sowie eine freiere Wahl der Lösungsmethode für die Studierenden zu nennen. Außerdem könnten mit der Projektmethode ohne Nutzung des Peer Reviews auch große Aufgabenpools für Open-Book- oder Take-Home-Exams erstellt werden, die zunehmend als alternativen Prüfungsformen für die Distanzlehre diskutiert werden. Ein ähnliches Verfahren wurde in Kooperation mit Olivier Cleynen et al. auch an der Fakultät für Verfahrens- und Systemtechnik umgesetzt.
Vorgehensweise als Ablaufdiagramm
Technische Umsetzung:
Versand an Studierende: per E-Mail
Einreichung: über Lernmanagementsystem (hier Moodle)
Programmierung: in MATLAB
Textsatz: in LaTeX mit den Paketen TikZ, CircuiTikZ, pgfplots und siunitx
Kennzahlen und Erfolge
- bisher 13 verschiedene Aufgabentypen entwickelt
- bisher 24 Durchläufe in 6 Semestern
- insgesamt ca.:
– 3900 personalisierte Aufgaben verschickt
– 2160 studentische Lösungen eingereicht
– 3820 studentische Peer-Review-Korrekturen durchgeführt
Bisherige Veröffentlichungen, Vorträge und Workshops
Hashtag: #PersonalisierteAufgaben
Veröffentlichungen
- Cleynen, O., Santa-Maria, G., Magdowski, M. & Thévenin, D. (2020). Peer-graded in-
dividualized student homework in a single-instructor undergraduate engineering course. Research in Learning Technology, 28.
https://doi.org/10.25304/rlt.v28.2339 - Magdowski, M. (2020c). Personalisierbare Aufgaben und anonymer Peer Review mit Erklärvideos als Einreichung – Wie kann man Bulimielernen verhindern, kontinuierliche Mitarbeit fördern und zeitnahe sowie individuelle Rückmeldung ermöglichen? (S. Ludwigs, Hrsg.). In S. Ludwigs (Hrsg.), So gelingt E-Learning! – Reader zum Higher Education Summit 2019.
https://www.pearson-studium.de/cp-so-gelingt-e-learning-epdf.html - Magdowski, M. (2019f). Personalisierte Aufgaben und passende Musterlösungen zu den Grundlagen der Elektrotechnik automatisiert mit LaTeX, pgfplots und CircuiTikZ erstellen (H. Voß, Hrsg.). Die TeXnische Komödie, 31(4), 34–44.
https://archiv.dante.de/DTK/PDF/komoedie_2019_4.pdf - Magdowski, M. (2018c). Personalisierbare Aufgaben und anonymer Peer-Review (M. Miglbauer, L. Kieberl & S. Schmid, Hrsg.). In M. Miglbauer, L. Kieberl & S. Schmid (Hrsg.), Hochschule digital.innovativ | #digiPH Tagungsband zur 1. Online-Tagung.
https://www.fnma.at/content/download/1529/5759
Pre-Prints
- Vollbeitrag zu “Personalisierbare Aufgaben und anonymer Peer Review in den Grundlagen der Elektrotechnik” für die Schriftenreihe “Greifswalder Beiträge zur Hochschullehre”
https://www.overleaf.com/read/tkshqbvwftjz
Vorträge und Workshops
- Magdowski, M. (2020a). Personalised Tasks and Anonymous Peer Grading. In Transforming Assessment Webinar Series.
http://transformingassessment.com/events_1_april_2020.php - Magdowski, M. (2020b). Personalisierbare Aufgaben und anonyme Peer Reviews. In Webinarreihe „Lehrimpulse aus den Verbundhochschulen Sachsen-Anhalts“.
https://www.youtube.com/watch?v=nFxohjyscRc - Magdowski, M. (2019a). Personalisierbare Aufgaben und anonymer Peer Review. In MatheMINT-Webinarreihe – Mathematik in den MINT-Fächern: Kreative Lehr-Lern-Konzepte digital umgesetzt.
http://www.ecult.me/personalisierte-aufgaben-und-anonymer-peer-review/ - Magdowski, M. (2019d). Personalisierbare Aufgaben und anonymer Peer Review mit Erklärvideos als Einreichung (S. Ludwigs, Hrsg.). In S. Ludwigs (Hrsg.), Pearson Higher Education Summit: Digital agil – Impulse für eine moderne Hochschullehre
- Magdowski, M. (2019c). Personalisierbare Aufgaben und anonymer Peer Review in den Grundlagen der Elektrotechnik (K. Lisek, Hrsg.). In K. Lisek (Hrsg.), interStudies_2 Jahrestagung 2019: „UPtoDATE – Hochschullehre im digitalen Zeitalter“
- Magdowski, M. (2019e). Personalisierbare Aufgaben und anonymer Peer-Review (L. Esch, Hrsg.). In L. Esch (Hrsg.), HFD Hangout – Online-Meeting für Interessierte aus dem Netzwerk für die Hochschullehre des Hochschulforums Digitalisierung der Hochschulrektorenkonferenz.
https://hochschulforumdigitalisierung.de/de/hfd-hangout - Magdowski, M. (2019b). Personalisierbare Aufgaben und anonymer Peer Review. In Lightning Talk zur Summer School des Hochschulforums Digitalisierung.
https://www.youtube.com/watch?v=LDw_Ifmg2WM - Magdowski, M. (2018a). #digiPH eLecture: Personalisierbare Aufgaben & anonymer Peer Review [Video: https://youtu.be/lSmz5TVEPv8%5D, In Online-Tagung | #digiPH – Hochschule digital.innovativ.
http://www.virtuelle-ph.at/veranstaltung/digiph-electure-personalisierbare-aufgaben-anonymer-peer-review/ - Magdowski, M. (2018b). Personalisierbare Aufgaben und anonymer Peer Review sowie QR-Code-Papier zum automatischen Korrekturversand (Workshop zum Tag der Lehre an der Otto-von-Guericke-Universität Magdeburg)
Foliensätze
- Personalisierbare Aufgaben und anonymer Peer-Review
https://www.slideshare.net/MathiasMagdowski/personalisierbare-aufgaben-und-anonymer-peerreview/ - Personalisierbare Aufgaben und anonymer Peer Review mit Erklärvideos als Einreichung
https://www.slideshare.net/MathiasMagdowski/personalisierbare-aufgaben-und-anonymer-peer-review-mit-erklrvideos-als-einreichung - Frequently Asked Questions zu Personalisierbaren Aufgaben mit anonymem Peer Review
https://www.slideshare.net/MathiasMagdowski/frequently-asked-questions-zu-personalisierbaren-aufgaben-mit-anonymem-peer-review/ - Auswertung von 12 Durchläufen personalisierter Aufgaben mit anonymem Peer Review vom WiSe 2017/2018 bis zum SoSe 2019
https://www.slideshare.net/MathiasMagdowski/auswertung-von-12-durchlufen-personalisierter-aufgaben-mit-anonymem-peer-review-vom-wise-20172018-bis-zum-sose-2019/ - MatheMINT-Webinar: Personalisierbare Aufgaben und anonymer Peer Review
https://www.slideshare.net/MathiasMagdowski/mathemintwebinar-personalisierbare-aufgaben-und-anonymer-peer-review - Lehrimpulse aus den Verbundhochschulen Sachsen-Anhalts: Personalisierbare Aufgaben und anonyme Peer Reviews
https://www.slideshare.net/MathiasMagdowski/lehrimpulse-aus-den-verbundhochschulen-sachsenanhalts-personalisierbare-aufgaben-und-anonyme-peer-reviews - Transforming Assessment Webinar: Personalised Tasks and Anonymous Peer Grading
https://www.slideshare.net/MathiasMagdowski/transforming-assessment-webinar-personalised-tasks-and-anonymous-peer-grading
Webseiten
- Personalisierbare Aufgaben & anonymer Peer Review
https://www.e-teaching.org/community/digital-learning-map/personalisierbare-aufgaben-anonymer-peer-review - Projektprofil im Lehre n -Dachprogramm 2018
https://lehrehochn.de/wp-content/uploads/2018/03/projekt_magdowski.pdf
Poster
- Wir verhindern Bulimielernen, fördern kontinuierliche Mitarbeit und ermöglichen zeitnahe sowie individuelle Rückmeldung.
https://www.slideshare.net/MathiasMagdowski/poster-zu-personalisierbare-aufgaben-und-anonymer-peer-review
Links zu ähnlichen Ideen von anderen Universitäten
- Digitale mathematische Aufgaben mit WeBWorK
https://hochschulforumdigitalisierung.de/de/blog/digitale-mathematische-aufgaben-webwork - Marc Ihle über Peer Marking
https://youtu.be/cZh2VfUITwE bzw. https://youtu.be/Oqk2x3HfxX4 - Interaktive gezielt teilinvertierte Lehrveranstaltungen IGT-educationTUB
https://www.mintgruen.tu-berlin.de/fileadmin/user_upload/documents/MINTgruen/Tagungen/Poster/TUBOPLChemie2.pdf - Marc Ihle: Peer-Marking – Studierende korrigieren ihre Klausuren gegenseitig
https://www.bwstiftung.de/fileadmin/Mediendatenbank_DE/BW_Stiftung/Programmdateien/Bildung/Hochschulen/Fellowships/Marc_Ihle.pdf - Automatische Aufgabengenerierung über Linked Open Data am Beispiel der Archäologie
https://dl.gi.de/handle/20.500.12116/24387 - Technische Aspekte der automatischen Aufgabengenerierung für Blended Learning Angebote in der Biologie
https://dl.gi.de/handle/20.500.12116/24385
Literatur
- Bhalerao, A. & Ward, A. (2001). Towards electronically assisted peer assessment: a case study. Research in Learning Technology, 9(1).
https://doi.org/10.3402/rlt.v9i1.12014 - Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-, peer and co-assessment in higher education: A review. Studies in Higher Education, 24(3), 331–350.
https://doi.org/10.1080/03075079912331379935 - Gibbs, G. & Simpson, C. (2005). Conditions Under Which Assessment Supports Students’ Learning [Learning and Teaching in Higher Education (LATHE) was published by the University of Gloucestershire between 2005 and 2011. LATHE was edited by Phil Gravestock and Michele Hills. Publication has ceased, the final issue was issue No.5]. Learning and Teaching in Higher Education, (1), 3–31.
http://eprints.glos.ac.uk/3609/ - Gielen, S. (2007). Peer assessment as a tool for learning (Diss.).
https://lirias.kuleuven.be/retrieve/67694 - Zare, R. N., Cox Jr., C. T., Murphy, K. & Bayas, C. (2017). Implementation of peer-reviewed homework assignments. Journal of College Science Teaching, 3(46), 40–46.
https://doi.org/10.2505/4/jcst17_046_03_40
[…] sind. Deshalb sollten man vielleicht noch anderen semesterbegleitenden Assessments wie z.B. personalisierte Aufgaben mit Peer Review im Portfolio […]
LikeLike
[…] weshalb ich von dieser Idee wieder Abstand nahm. Schlussendlich funktionierte der von den personalisierten Aufgaben mit anonymem Peer Review erprobte E-Mail-Versand auch mit jeweils etwa 500 kB-großen PDF-Anhängen […]
LikeLike