Überall lese ich, wie ChatGPT die Trainingswelt revolutioniert, weil sie u.a. die Konzeption und Gestaltung von Trainings viel effizienter macht.
Überall lese ich, wie wichtig ein guter Prompt ist, damit auch ein gutes Ergebnis herauskommt. Wenn es kein gutes Ergebnis gibt, dann sei der Prompt schlecht.
Ganz ehrlich, wenn ich es selbst mache, dann bin ich oft höchst unzufrieden und muss ewig nachbessern. Bin ich wirklich zu blöd, um gute Prompts zu verfassen?
+++ Noch eine kleine Ergänzung: ich bin Fan von KI-Tools und setze sie viel und oft ein. Und zugleich trete ich immer wieder zurück und werfe einen kritischen Blick aus der Metaebene darauf. +++
Experiment 1 - Erstellung eines Fallbeispiels für einen Lernworkshop - mit ChatGPT braucht es doppelt so lange!
Für ein Training brauchte ich zwei Fallbeispiele, an denen die Teilnehmenden das Gelernte nach und nach anwenden sollten. Ich wollte ihnen zwei zur Auswahl geben. Das erste schrieb ich selbst und brauchte dafür genau 34 Minuten bis ich zufrieden war (die meiste Zeit brauchte ich für das Tippen).
Das zweite wollte ich von ChatGPT erstellen lassen. Ich gab einen - wie ich fand - ziemlich guten Prompt ein, der den Kontext, das Ziel, die Beschreibung der Zielgruppe sowie den Ergebniswunsch berücksichtigte. Das Ergebnis war ganz ok, aber ich habe noch 4mal nachgepromptet (heißt das so?) und schließlich selbst nochmal ganz schön Hand angelegt. Zeitinvest: 1h 11min. 😱
Das hat mit ChatGPT also doppelt so lange gedauert. Woran kann das liegen? An meinem Prompt?
Experiment 2 - Erstellung eines Fallbeispiels für ein Resilienz-Training - mit ChatGPT geht es schneller!
In meinem zweiten Experiment habe ich ein Thema gewählt, zu dem ich nur Halbwissen habe. Ich hatte eine fiktive Zielgruppe vor Augen. Wieder wollte ich ein Fallbeispiel selbst erstellen und eines von ChatGPT formulieren lassen.
Dieses Mal sah es ganz anders aus. Ich brauchte selbst 52 Minuten und mit ChatGPT nur 20min bis ich zufrieden war. Wow - da hüpft das Effizienz-Herz. (Ich frage mich, würde das Kompetenz-Herz eines Resilienz-Profis auch hüpfen? Das habe ich leider nicht prüfen können.)
Was hat das zu bedeuten?
Erkenntnis: Bei der Arbeit mit ChatGPT findet eine dreifache Tilgung, Verzerrung und Generalisierung sowie eine Reduktion durch Stochastik statt
Nun könnte ich meine Erkenntnis so zusammenfassen: wenn ich mich auf einem Gebiet gut auskenne und Expertin darin bin, dann habe ich einen so hohen Anspruch, den ChatGPT nicht erreichen kann.
Aber warum eigentlich nicht?
Die Antwort ist (für NLPler) eigentlich ganz einfach: weil mindestens eine doppelte Tilgung, Verzerrung und Generalisierung stattfindet. Wem diese Begriffe nichts sagen: im NLP hat das L, also die Linguistik, eine große Bedeutung.
Möchte man Erfahrung und Wissen sprachlich formulieren, findet immer und automatisch ein Weglassen, eine Vereinfachung oder Verallgemeinerung statt. Mit Sprache kann also immer nur ein hinlängliches, aber nie "tatsächliches" Abbild geschaffen werden (Metamodell der Sprache). Dies geht u.a. auf die Forschungen des Linguistik Professors Noam Chomsky zurück.
Darüberhinaus wird das Wissen, auf das ChatGPT zugreift, durch Stochastik (mit welcher Wahrscheinlichkeit kommen Wortkombinationen vor), reduziert. Diese Reduzierung wird zwar immer besser, aber natürlich nie weggehen.
Das Ergebnis von ChatGPT kann niemals an die Expertise herankommen
Ich habe versucht, meine zunächst wirren Gedanken dazu, in einer Skizze darzustellen - und habe lange mit meinem Allround-Experten Bert darüber gesprochen.
Man kann unschwer erkennen, dass das Gekritzel per Hand gezeichnet ist. Ich weiß, ich hätte das auch mit KI machen können, aber ich hatte den Verdacht, dass das viel länger gedauert hätte:
Immer wenn ich einen Prompt verfasse, dann findet automatisch die erwähnte Tilgung, Verzerrung und Generalisierung statt, weil ich Prompts eben nur sprachlich verfassen kann.
ChatGPT ist ein Sprachmodell, welches auf bereits getilgtes, verzerrtes und generalisiertes Material zurückgreift. Durch Stochastik wird dieses Material weiter reduziert, aber sprachlich eloquent als Ergebnis wiedergegeben. (Eigentlich ist es also sogar ein vielfacher Filter-Prozess).
Der Prompt kann noch so gut sein, die Ergebnisse werden - aus Expert:innen Sicht - immer nur hinlänglich gut sein. Das ist systemimmanent. Die Güte des Ergebnisses kann bei 10% oder bei 90% liegen - aber nie bei 100%.
Als mir dies klar wurde, habe ich verstanden, weshalb ich oft so unzufrieden mit den Ergebnissen von ChatGPT & Co bin. Wenn ich selbst meinen Wissens- und Erfahrungsschatz direkt versprachliche, dann stimmt das Ergebnis viel besser überein, weil per se viel weniger Reduzierung und Filterung stattfindet. Eigentlich nur eine einfache.
(Tipp für diejenigen, denen das Schreiben nicht so leicht fällt: das Fallbeispiel selbst formulieren und dann von ChatGPT sprachlich - nicht inhaltlich - überarbeiten lassen).
Ich bin also nicht zu blöd, sondern eher zu klug für das Prompten (haha - schön wärs).
Dort, wo ich keine Expertin bin, bin ich dagegen schnell zufrieden
Hätte ich übrigens bei den o.g. Experimenten nicht das Thema Lernen oder Resilienz (in dem ich mich zumindest ein bisschen auskenne) genommen, sondern z.B. ein Fallbeispiel für ein "Training für aggressive Hunde" erstellen lassen, wäre ich sicher sofort zufrieden gewesen. Ich schätze den Zeitinvest auf 10min.
Mein Wissen ist dazu einfach nicht vorhanden. Da gibt es fast nichts zu tilgen, verzerren oder generalisieren. Ein:e Hundetrainer:in hätte da sicher noch lange nachgebessert, bis es ihrer Expertise entspricht).
Fazit: Expertise gewinnt an Bedeutung
Expert:innen werden immer wichtiger, um genau dieses Loch zwischen versprachlichtem und im Kopf befindlichem Wissen schließen zu können.
Expert:innen werden wichtige Beurteilungsinstanzen für KI-generierte Ergebnisse sein.
Wenn du schnell zufrieden bist mit einem Ergebnis von ChatGPT & Co darfst du dich fragen, ob der Prompt so sensationell war oder ob du bei dem Thema noch dazu lernen kannst.
Wenn du unzufrieden bist, dann ist das vielleicht ein gutes Zeichen, weil viel (vernetztes) Wissen in dir steckt - dann darfst du stolz auf dich sein :-)
Kommentar schreiben