Warum die meisten hochschulischen KI-Richtlinien Unsinn sind und welche sinnvolle Option verbleibt

Viele Hochschulen und Universitäten haben in den letzten Monaten angepasste Richtlinien zum „Einsatz von KI-gestützten Werkzeugen in Zusammenhang mit Studien- und Prüfungsleistungen“ oder Anpassungen der „Eigenständigkeitserklärung“ beim Verfassen von Abschlussarbeiten veröffentlicht, die teilweise auch recht umfänglich sind. Die beiden verlinkten Beispiele stehen dabei exemplarisch für viele weitere ähnlich Dokumente. Oft orientieren sich diese am Diskussionspapier Nr. 26 „KI-induzierte Transformation an Hochschulen“ des Hochschulforums Digitalisierung vom November 2023, in dem folgende drei Optionen vorgeschlagen werden:

1. Erlaubnis zur Nutzung KI-generierten Outputs ohne Kennzeichnungspflicht,
2. mit Kennzeichnungspflicht oder
3. Verbot generativer KI.

In diesem Artikel möchte ich kurz diskutieren, warum ich persönlich nur die erste Option „Erlaubnis zur Nutzung KI-generierten Outputs ohne Kennzeichnungspflicht“ für sinnvoll und die anderen Optionen bei näherer Betrachtung für eher hinderlich halte.

Ein Verbot (Option 3) ist großer Quatsch.

Fangen wir mal mit der dritten Option „Verbot generativer KI“ an. Ein solches Verbot mag natürlich für gewisse Arbeiten sinnvoll klingen, insbesondere wenn es darum geht, dass Studierende wirklich selbst den Text verfassen und es auch mehr um den Prozess des eigenen Schreibens denn um den niedergeschriebenen Inhalt geht. In jeden Fall ist eine in diesem Fall unerlaubte Nutzung textgenerierender KI in Haus- und Abschlussarbeiten nicht nachweisbar bzw. nachprüfbar, zumindest nicht rechtssicher (so zumindest meine Vermutung als rechtlicher Laie). Außerdem ist von Seiten der Studierenden eine relativ einfache Verschleierung der unerlaubten Nutzung möglich, zumindest bei Hausarbeiten an eigenen digitalen Endgeräten.

Es stellt sich außerdem die Frage, welche Konsequenzen für den/die Student*in bei einem Verdacht auf unerlaubte Nutzung entstehen, insbesondere in Anbetracht des sehr fraglichen Nachweises, der so wie die KI-erstellten Texte selbst nur auf einer gewissen Wahrscheinlichkeit beruht. Textgeneratoren sind nun mal darauf trainiert, möglichst menschlich klingende Texte zu erzeugen. Ein begründeter Verdacht entsteht vermutlich nur, wenn Texte sehr schnell entstehen, im Vergleich zu vorherigen Texten stark in der Qualität (nach oben) abweichen, für den Kontext unpassende Wörter enthalten oder von der inhaltlichen Logik her grob falsch sind.

Außerdem stellt sich bei der dritten Option die berechtigte Frage, mit welchen Argumenten ein Verbot der Nutzung begründet wird? Die alte Wir-müssen-alle-Kopfrechnen-lernen-Logik im Sinne von „Man hat später auch nicht immer einen Taschenrechner parat und muss deshalb auch mal kompliziertere Grundrechenoperationen im Kopf bzw. schriftlich ‚von Hand‘ lösen können.“ lässt sich in Anbetracht der ubiquitären Verfügbarkeit digitaler Endgeräte mit einer leistungsfähigen Internetverbindung und der ständigen Verfügbarkeit verschiedenen KI-Werkzeuge sicher schwer nutzen. Vielmehr geht es ja um die souveräne und mündige Anwendung von KI-Werkzeugen, die sich auch nur durch eine praxisnahe Nutzung trainieren und als Kompetenz entwickeln lässt.

Fazit: Da ein sicherer Nachweis praktisch nicht möglich ist, lässt sich ein Nutzungsverbot auch nur schwer durchsetzen.

Eine Kennzeichnungspflicht (Option 2) ist auch Quatsch.

Eine erlaubte Nutzung von KI-Werkzeugen mit gleichzeitiger „Kennzeichnungspflicht zur Nutzung KI-generierten Outputs“ entsprechend der Option 2 klingt auf den ersten Blick wie ein guter Kompromiss, denn Studierende dürfen solche Werkzeuge nutzen, müssen das aber geeignet angeben. Oft ist z.B. von einer „Übersicht verwendeter Hilfsmittel“ die Rede, in der sämtliche KI-generierten Textpassagen einzeln aufgeführt und mit den jeweils formulierten Eingaben (Prompts) und den verwendeten IT-Anwendung mit ihrem Produktnamen benannt werden sollen. Auch ein expliziter schriftlicher Ausschluss der Nutzung gewisser KI-Schreibwerkzeuge durch den/die Prüfer*in ist möglich.

Bei genauerer Betrachtung ist auch diese Option nicht zielführend, denn eine fehlende Kennzeichnung und damit unerlaubte Nutzung ist genau wie bei Option 3 nicht nachweisbar, die Kennzeichnung damit aus Lehrendensicht praktisch wertlos. Weiterhin kann und wird eine Kennzeichnung und Dokumentation der Prompts sehr aufwendig und sehr umfangreich sein. Hat man denn als Lehrperson und Prüfer*in nach Abgabe der Arbeit die entsprechende Zeit und ein umfängliches Interesse, diese Prompts und deren Ausgaben im Detail nachzuvollziehen? Dazu kommt die Schwierigkeit, dass gleiche Prompts aufgrund der Statistik bei der Texterzeugung unterschiedliche Ausgaben erzeugen können, insbesondere bei anderen und sich schnell ändernden GPT-Versionen, was eine Nachvollziehbarkeit enorm erschwert.

Darüberhinaus stellt sich die ganz konkrete Frage, wie ein KI-erzeugter Text formell gekennzeichnet werden soll, z.B. durch eine andere Schriftart oder andere Schriftgröße, einen anderen Schriftstil wie Kursiv- oder Fettdruck, oder eine gewissene Einrückung entsprechender Absätze. Auch ist fraglich, ab welcher Wortanzahl eine Kennzeichnung notwendig ist? Interessant wäre natürlich, wenn Studierende zum Schreiben ihrer Arbeit ein Schreibprogramm nutzen, das die komplette Historie des Dokumentes speichert (wie in Google Docs oder einem Etherpad), oder ein Dokumentsatzsystem wie LaTeX verwenden, bei dem sich die zeitlichen Änderungen der Dokumentquelltexte über eine Versionskontrolle wie Subversion oder Git dokumentieren und verfolgen lassen. Auch das ist aus Sicht der Lehrperson sehr aufwendig in der Kontrolle, würde bei einem begründeten Verdacht der unerlaubten Nutzung aber zumindest eine gewisse Diagose im Sinne eines „Oh, da ist aber sehr viel sehr wohlklingender Text in sehr kurzen Zeit durch Einfügen aus einer anderen Quelle entstanden“. erlauben. Auch das können Studierende natürlich (zeitlich aufwendig) verschleiern, indem sie KI-Ausgaben händisch abtippen statt diese einfach zu kopieren oder als IT-Studierende (natürlich mit KI-Hilfe) ein entsprechendes Programm schreiben, welches das für sie erledigt.

Fazit: Diese zweite Option macht potentiell sehr viel Aufwand (insbesondere bei sehr gewissenhaften Studierenden), bringt gleichzeitig aber wenig Nutzen. Sie schafft eine zweifelhafte Transparenz und belastet auch die Lehrpersonen bzw. Prüfungen mit nicht unerheblicher Mehrarbeit. Den Prozess der Erstellung einer Arbeit zu dokumentieren (und neben dem Ergebnis eventuell mit in den Bewertungsprozess einzubeziehen) ist dabei trotzdem sicher sehr sinnvoll. Die Frage ist aber, wie detailliert das geschehen muss (sekündliche vs. minütliche vs. stündliche vs. tägliche Änderungen) und wie man das geeignet technisch umsetzen kann (z.B. durch ein Versionskontrollsystem).

Verbleibt noch die Option 1 – Erlaubnis zur KI-Nutzung ohne Kennzeichnungspflicht

Dementsprechend bleibt nur die erste Option übrig. Eine entsprechende Eigenständigkeitserklärung der Studierenden könnte dann lauten:

Hiermit versichere ich, die vorliegende Arbeit selbstständig und unter Verwendung der angegebenen Literatur erstellt zu haben. Mir ist bewusst, dass auch bei der Nutzung von maschinellen Textgeneratoren nur ich allein für die wissenschaftliche Qualität und fachliche Korrektheit der Arbeit verantwortlich bin.

Mehr braucht es meines Erachtens nicht. Diese ganzen Optionen lenken dagegen von der eigentlichen Problematik ab. KI-Werkzeuge existieren und werden von den Studierenden selbstverständlich genutzt werden.

Problematik des Begriffs „Hilfsmittel„

In vielen Eigenständigkeitserklärungen findet sich auch der Begriff der verwendeten Hilfsmittel oder erlaubten Hilfsmittel, die eventuell mit angegeben werden sollen. Dazu stellen sich folgende Fragen der Abgrenzung:

• Was ist ein Hilfsmittel und was ist kein Hilfsmittel?
• Ist ein gedruckter Duden ein Hilfsmittel?
• Ist eine automatische Rechtschreib- oder Grammatikkorrektur ein Hilfsmittel?
• Ist ein Thesaurus ein Hilfsmittel?
• Ist ein Korrekturlesen durch dritte Personen (Kommiliton*innen, Freund*innen, Familienmitglieder, Kolleg*innen, etc.) ein Hilfsmittel?
• Ist eine maschinelle Übersetzung ein Hilfsmittel?
• Ist die Nutzung textgenerierender KI ein Hilfsmittel?
• Welche dieser Hilfsmittel würde man angeben, welche nicht?

Fazit: Der Begriff „Hilfsmittel“ ist ohne detaillierte Definition sehr schwammig und deshalb eher ungünstig.

Problematik der „ausschließlichen Nutzung der angegebenen Literatur„

In vielen Eigenständigkeitserklärungen wird die Formulierung der „ausschließlichen Nutzung der angegebenen Literatur“ oder der „Nutzung keiner anderen als der angegebenen Quellen“ verwendet. Auch hier stellen sich einige Fragen, was mit dieser „ausschließlichen Verwendung“ konkret gemeint ist?

• Dürfte man dann keine anderen, zusätzlichen Literaturquellen nutzen, deren Nutzungsumfang möglicherweise sehr gering ist? Ab wie vielen Wörtern bzw. Sätzen muss bzw. sollte eine Literaturquelle angegeben werden?
• Was ist mit Literaturquellen, die zum Allgemeinwissen bzw. zum fachspezifischen Grundlagenwissen gehören? Wo fängt dieses an und wo hört es auf?
• Wie kann aus Sicht des/der Prüfer*in ein Nachweis der Nutzung weiterer, nicht angebener Literaturquellen erfolgen?
• Was passiert, wenn man als Student*in weitere Quellen im Literaturverzeichnis angibt, die man aber gar nicht wirklich inhaltlich genutzt hat?

Fazit: Auch die „ausschließliche Nutzung von angegebenen Literaturquellen“ ist fragwürdig, da genutzte Literaturquellen im Umfang und der Relevanz der Nutzung sehr unterschiedlich sind. Sinnvoller wäre deshalb eventuell, die „Angabe aller relevanten Literaturquellen“ zu fordern.

Gut gepromptet ist halb gelöst – 5 Nutzungstipps für generative Sprachmodelle zur Bearbeitung ingenieurwissenschaftlicher Aufgaben

Obwohl ChatGPT von OpenAI, Gemini von Google oder Claude von Anthropic zunächst reine Sprachmodelle und explizit keine Wissens- oder Logikmodelle sind und per se auch nicht gut rechnen können, kann man diese doch meist recht erfolgreich zur Bearbeitung von ingenieurwissenschaftlichen Aufgabenstellungen oder zur Lösung technischer Probleme benutzen. Viel verkehrt machen kann man bei der Eingabe und Erklärung der Problemstellung eigentlich nicht, schließlich ist ein großer Vorteil der KI-Chatbots, sehr gut mit natürlicher Sprache umgehen zu können. Trotzdem gibt es einige Tipps und Tricks, die eine erfolgreiche Nutzung etwas wahrscheinlicher machen und meist auch unabhängig vom jeweiligen Sprachmodell und dessen konkreter Version funktionieren.

1. Schrittweises Vorgehen
   Bei einer längeren Rechenaufgabe oder der Herleitung einer Formel für einen komplexeren Sachverhalt kann es helfen, den Chatbot zu bitten, schrittweise vorzugehen und die jeweiligen Einzelschritte zu begründen. Ähnlich wie es einem Menschen hilft, ein großes, komplexes Problem zunächst in mehrere einfachere Probleme zu unterteilen, scheint eine solche Vorgehensweise auch für ein Sprachmodell hilfreich.
   
   Weiterer Vorteil: Die Antwort wird nachvollziehbarer.
   
   Nachteil: Die Antwort dauert länger, ebenso wächst die Kontextlänge.
   
2. Zahlenrechnung in Quelltext auslagern
   Chatbots können gut mit Sprache, Wörtern, Sätzen und Texten umgehen, aber nicht gut mit Zahlen rechnen. Als „Umweg“ sollte man das Sprachmodell bei einer Rechenaufgabe bitten, zur Lösung einen Quelltext zu erzeugen, mit dem sich die entsprechende Zahlenrechnung anhand von Formeln lösen lässt. Möglicherweise erzeugt ein Sprachmodell solche Quelltexte z.B. in der Programmiersprache Python schon von sich aus, wobei man dann durch eine entsprechende Aufforderung auch eine andere übliche und eventuell besser zum eigenen Geschmack passende Sprache auswählen kann.
   
   Weiterer Vorteil: Man kann den Quelltext für die gleiche Problemstellung anschließend auch schnell für andere Eingabewerte auswerten (lassen).
   
   Nachteil: Man sollte zumindest rudimentär die ausgegebene Programmiersprache verstehen und die Befehle grob nachvollziehen können.
   
3. Probe machen
   Wie bei der eigenständigen Lösung einer Aufgabe sollte man auch bei einer ki-gestützten Lösung ein anschließende Probe machen (lassen). Um eine solche Probe kann man natürlich auch den Sprachbot selbst bitten, wobei eine gewisse Gefahr besteht, dass vorherige Fehler auch in der Proberechnung wiederholt werden und der Chatbot bei eindeutig unplausiblen Antworten anschließend sogar die Richtigkeit der Aufgabe selbst anzweifelt. Als KI-Nutzer*in ist man also gut beraten, selbst eine gewisse Plausibilitätsprüfung zu machen, wobei man folgende Fragen durchgehen kann:
   • Passt die Einheit des Ergebnisses (und der Zwischenergebnisse)? Wenn die Einheit falsch ist, ist das Ergebnis sehr sicher auch falsch.
   • Passen das Vorzeichen und die Größenordnung des Ergebnisses? Das Sprachmodell hat einen negativen Widerstand von −5 Ω, eine Flugzeuggeschwindigkeit von 3 mm/h oder eine menschlische Körpermasse von 76,5 t berechnet? All das klingt unplausibel und ist dann vermutlich auch falsch.
   • Bekommt man das gleiche Ergebnis, wenn man den Rechenweg umdreht? Einfaches Beispiel: Das Sprachmodell soll aus Spannung und Strom einen Widerstand ausrechnen und macht das auch. Nun bittet man das Sprachmodell in einem komplett neuen Prompt aus dem vorher gegebenen Strom und dem gerade berechneten Widerstand die Spannung zu bestimmen. Stimmt das Ergebnis mit dem vorher gegebenen Wert überein, werden beide Rechnungen sehr vermutlich stimmen, weil ein gleichlautenden Fehler in beiden voneinander unabhängigen Rechnungen sehr unwahrscheinlich ist. Wichtig dabei ist, wirklich einen neuen Prompt zu benutzen, so dass der vorherige Kontext verloren geht.
     
     Weiterer Vorteil: Man lernt über eine Probe nebenbei sehr viel über die Problem- und Aufgabenstellung.
     
     Nachteil: Jede Probe kostet Zeit, je intensiver umso mehr.
     
4. Rolle des Sprachmodells anpassen
   Im Normalfall antwortet ein Sprachmodell auf eine Textaufgabe mit technischem oder ingenieurwissenschaftlichen Hintergrund ebenso sachlich und nüchtern. Bei sehr komplexen Fragestellungen kann es helfen, das Sprachmodell zu bitten, in die Rolle eines Wissenschaftlers zu schlüpfen, um mit einer größeren Wahrscheinlichkeit eine korrekte Antwort zu erhalten. Ebenso kann man das Sprachmodell natürlich auch bitten, das Ergebnis oder die Vorgehensweise bzw. den Lösungsweg in einfacherer Sprache zu erklären. Weiterhin kann man bei unbekannten Begriffen nachfragen und sich diese erklären lassen, wobei natürlich auch wieder fraglich ist, wie fachlich korrekt eine solche Antwort ist. Spannenderweise liefern Sprachmodelle wohl dann korrektere Antworten, wenn man diese in die Rolle einer männlichen Person oder z.B. auch eines Star-Trek-Charakters schlüpfen lässt. Ebenso gibt es Berichte, dass Sprachmodelle präziser antworten, wenn man ihnen Geld als Belohnung anbietet oder sie bittet, vor der Antwort „tief durchzuatmen“.
   
   Weiterer Vorteil: Es ist überraschend (und gleichzeitig auch etwas irritierend), mit welch einfachen Tricks man potentiell bessere Antworten erhalten kann.
   
   Nachteil: Solche Art von Prompt Engineering kann auch schnell von der eigentlichen Aufgabe ablenken.
   
5. Andere Sprachmodelle und alternative Werkzeuge testen
   Die Antwort des gewählten Sprachmodells ist offensichtlich falsch oder überzeugt nicht? Es spricht nichts dagegen, mal ein anderes Sprachmodell zu testen. Auch gibt es für sehr viele übliche ingenieurwissenschaftliche Fragenstellungen etablierte Softwarewerkzeuge wie MATLAB, Octave, Scilab, LTspice, Qucs, usw. Gerade bei komplexeren Aufgabenstellungen wird man für eine effiziente und elegante Lösung nicht um das dazu passende Werkzeug herumkommen, muss aber natürlich einen gewissen Einarbeitungszeitaufwand einplanen. Nichtsdestotrotz kann dann ein Sprachmodell bei der Entwicklung von Quelltexten, der Anpassungen von Funktionen, der Fehlersuche in Programmen oder der Erstellung von einfachen Testbeispielen behilflich sein.
   
   Weiterer Vorteil: Man pflegt und erweitert so stetig seinen persönlichen „Software-Werkzeugkasten“ zur Lösung ingenieurwissenschaftlicher Probleme.
   
   Nachteil: Jede neue Einarbeitung kostet wiederum etwas Zeit.

Aller Anfang ist schwer und es ist noch kein Prompt-Meister vom Himmel gefallen. Es lohnt sich aber, stetig etwas Zeit in das Ausprobieren und Kennenlernen von Sprachmodellen zu investieren, um kontinuierlich wichtige Erfahrungen zur potentiellen Anwendung zu sammeln. Das Tempo der jetzigen Weiterentwicklung ist enorm und es ist schwer absehbar, wie sich Sprachmodelle in wenigen Jahren verhalten werden. Es ist jedoch jederzeit ein guter Zeitpunkt, selbst aktiv zu werden und die eigene KI-Anwendungskompentenz an konkreten Problemstellungen zu schulen und zu entwickeln.

Anmerkung: Dieser Artikel ist geplanter Teil eines Positionspapiers des Verbands der Elektrotechnik, Elektronik und Informationstechnik (VDE) zu künstlicher Intelligenz in der ingenieurwissenschaftlichen Ausbildung und Arbeit in der Elektrotechnik. Ich freue mich hier über Kommentare und konstruktive Rückmeldung, die dann auch in die finale Veröffentlichung mit einfließen werden.