Chat GPT: Temperatur als Faktor für Kreativität

Jeder der schon öfters mit Chat GPT gearbeitet hat, stellt fest, dass, je tiefer man in das Thema eindringen möchte, Chat GPT irgendwann immer die gleiche Antwort zurückliefert. Es dauert etwas, aber irgendwann ist es sinnbefreit, sich weiter mit der KI zu unterhalten. Mit ein Grund dafür ist der Parameter Temperatur, der für etwas Kreativität oder besser die notwendige Unschärfe im Antwortverhalten sorgt. Da dieser Parameter nicht den Wert 1 (keine Unschärfe) besitzt, dauert es einige Zeit bis man zu diesem Punkt gelangt.

Stephen Wolfram beschreibt es so: if we always pick the highest-ranked word, we’ll typically get a very flat essay, that never seems to show any creativity. Wir brauchen etwas Zufall, also einen Parameter, der es der KI erlaubt, auch einen weniger wahrscheinlichen Begriff als ausgewählten Token zu verwenden.

Was bedeutet die Temperatur in der KI

Die Temperatur ist ein Parameter in der künstlichen Intelligenz, der die Vielfalt und Qualität der generierten Texte und anderen Inhalte beeinflusst. Die Temperatur bestimmt somit, wie oft ein niedrigerer bewerteter Begriff in der Antwort genutzt werden soll. Eine Temperatur von 0,8 ist dabei ein häufig verwendeter Wert. Spannend, da der Wert 0,8 nach Wolfram nicht wissenschaftlich begründet ist, sondern sich an den Erfahrungswerten aus der Praxis ausrichtet. Also ein subjektiver Wert, der weiterhin von Menschen bestimmt ist. Es ist, denke ich, aber auch kein Zufall, dass auch die Temperatur der 80/20 Regel, dem Pareto Prinzip folgt. Stephen Wolfram weiter the concept of temperature is there because exponential distributions familiar from statistical physics happen to be being used, but there’s no physical connection—at least so far as we know.

Die Verwendung einer Temperatur von 0,8 hat jedoch auch ethische Implikationen. KI-Systeme können durch die Verwendung einer höheren Temperatur dazu neigen, Falschinformationen oder rassistische, sexistische oder andere diskriminierende Inhalte zu generieren. Dies liegt daran, dass die höhere Vielfalt an generierten Texten auch unangemessene oder problematische Inhalte einschließen kann. Aus diesem Grund ist es wichtig, dass KI-Entwickler und Forscher verantwortungsbewusst mit der Temperatur umgehen und sicherstellen, dass die generierten Texte ethisch vertretbar und fair sind.

Kreativität, Verifikation und Recherche

Bei c-rex.net setzen wir KI schon länger an verschiedenen Stellen ein. Natürlich nutzen wir den Co Pilot in der Software Entwicklung. Er generiert uns Code und seit kurzem nutzen wir auch Chat GPT in unseren Blogbeiträgen. Aber weder entwickelt Co Pilot bei uns die c-rex.net Software noch schreibt Chat GPT für uns den Blog und Webauftritt. Beide Systemen nutzen wir mehr und mehr als Unterstützung in unserer täglichen Arbeit. Sie sparen uns Zeit bei der mühsamen aber doch stupiden Arbeit Quellcode zu schreiben oder Texte grammatikalisch sauber und auch verständlich zu schreiben.

Die rasante Entwicklung von Automatisierungstechnologien zeigt sich besonders im Bereich der Übersetzung. Ein Bereich, in dem Kreativität sowieso schon lange nicht mehr wirklich gewünscht und mittlerweile auch nicht mehr gelebt wird. Anstatt Texte manuell mit Unterstützung von Translation-Memory-Systemen in verschiedene Sprachen zu übersetzen, können wir heute einfach eine beliebige MT-Engine mit Hilfe der Automatisierungsszenarien von c-rex.net nutzen. Wir definieren lediglich, welche Sprachen wir unterstützen möchten und die Automatisierung übernimmt den Rest. In verschiedenen Projekten haben wir festgestellt, dass immer häufiger auf Maschinenübersetzungen gesetzt wird und die Vorschläge der KI im Post-Editing-Prozess einfach nur "durchgewunken" werden. Nicht nur deshalb gibt es für uns von Tag zu Tag immer weniger Gründe, noch auf menschliche Unterstützung im Übersetzungsprozess zu setzen. Insbesondere dann, wenn man das im Konfliktdreieck Kosten, Qualität und Zeit betrachtet, gewinnt das Kostenargument immer mehr an Bedeutung.

Wie im Übersetzungsprozess benötigen wir künftig keine EntwicklerEntwicklerinnenEntwickler und EntwicklerinnenEntwickler:innen mehr, die nur Code schreiben können oder eine bestimmte Programmiersprache beherrschen. Wir benötigen künftig auch keine Technische RedakteureTechnische RedakteurinnenTechnische Redakteure und Technische RedakteurinnenTechnische Redakteur:innen mehr, die ausschließlich des Schreibens und der Grammatik mächtig sind. Zumindest werden diese Anforderungen in den Stellenbeschreibungen nicht mehr als Kernqualifikationen gefordert.

Was wir aber zunehmend benötigen werden, sind ExpertenExpertinnenExperten und ExpertinnenExpert:innen, die sich mit Technologien und Konzepten tiefgreifend auskennen, bewerten können, ob eine Antwort eines Systems korrekt oder zumindest plausibel ist. Dies setzt die Fähigkeit zur Recherche voraus. Nicht zuletzt aber brauchen wir die Kreativität, oder vielleicht besser eine warme Temperatur, welche uns neue Ideen liefert und uns innovativ voranbringt.

Fazit

Nutzen wir also Systeme wie Chat GPT, DeepL und Co Pilot als das, was sie sind: bessere Suchmaschinen und Schreibhilfen, die uns viel stupide und weniger kreative Arbeit abnehmen können und werden. Lasst uns das weiter automatisieren, um wettbewerbsfähig zu bleiben und in die Zukunft zu gehen.

Das setzt aber auch voraus, dass wir bereit sind uns selbst mehr Breite und Tiefe zu geben. Das ist harte Arbeit, um gegenüber den maschinellen Unterstützern konkurrenzfähig zu bleiben. Ob uns das gelingt, darf man gerne bezweifeln, und umso wichtiger wird es, dass wir endlich damit beginnen gesellschaftlich Grundlagen zu schaffen, um die negativen Auswirkungen abzufangen: Digitalisierung und das bedingungslose Grundeinkommen!?.