Verbalisiertes Sampling: Gibt es den magischen Prompt?
Über diese Frage und die neue Prompting-Technik 𝗩𝗲𝗿𝗯𝗮𝗹𝗶𝘀𝗶𝗲𝗿𝘁𝗲𝘀 𝗦𝗮𝗺𝗽𝗹𝗶𝗻𝗴 (𝗩𝗦) haben wir ein frisches ausführliches Video im Youtube-Kanal der SRH Fernhochschule – The Mobile University K. I. Krimis hochgeladen:
𝙆.𝙄. 𝙆𝙧𝙞𝙢𝙞𝙨: 𝙂𝙞𝙗𝙩 𝙚𝙨 𝙙𝙚𝙣 𝙢𝙖𝙜𝙞𝙨𝙘𝙝𝙚𝙣 𝙋𝙧𝙤𝙢𝙥𝙩?
Verbalisiertes Sampling wurde in der Studie How to Mitigate Mode Collapse and Unlock LLM Diversity als eine mächtige Waffe gegen den Modus-Kollaps der Großen Sprachmodelle vorgestellt:
Beim Modus-Kollaps weisen KI-Modelle (und somit auch Große Sprachmodelle) eine unverhältnismäßig große Wahrscheinlichkeit ihrer typischen Ausgaben nur einem einzigen Modus zu – dem Normalmodus: Die Ausgabe ist nicht kreativ, nicht originell, sondern nur typisch. So wie die meisten Menschen, wenn sie einen Vogel nennen sollen, eher ein Rotkehlchen wählen als einen Pinguin. Obwohl ein Pinguin genauso richtig wäre.
Die weiteren Hintergründe des 𝗩𝗲𝗿𝗯𝗮𝗹𝗶𝘀𝗶𝗲𝗿𝘁𝗲𝗻 𝗦𝗮𝗺𝗽𝗹𝗶𝗻𝗴𝘀 und wie ihr es optimal für kreative nicht generische Ausgaben der Chatbots einsetzen könnt, erkläre ich ausführlich im Video. Hier nur eine grobe Infografik zum Thema:
Und hier ein kleines Beispiel für diese neuartige Art des Promptings (ich habe den VS-Prompt aus der Studie auf Deutsch angepasst):
VS-Prompt
𝙂𝙚𝙣𝙚𝙧𝙞𝙚𝙧𝙚 𝙛ü𝙣𝙛 𝙒𝙞𝙩𝙯𝙚 ü𝙗𝙚𝙧 𝙃𝙖𝙢𝙨𝙩𝙚𝙧 𝙪𝙣𝙙 𝙜𝙞𝙗 𝙯𝙪 𝙟𝙚𝙙𝙚𝙢 𝙒𝙞𝙩𝙯 𝙙𝙞𝙚 𝙜𝙚𝙨𝙘𝙝ä𝙩𝙯𝙩𝙚 𝙒𝙖𝙝𝙧𝙨𝙘𝙝𝙚𝙞𝙣𝙡𝙞𝙘𝙝𝙠𝙚𝙞𝙩 𝙖𝙣, 𝙢𝙞𝙩 𝙙𝙚𝙧 𝙚𝙧 𝙫𝙤𝙢 𝙈𝙤𝙙𝙚𝙡𝙡 𝙚𝙧𝙯𝙚𝙪𝙜𝙩 𝙬𝙤𝙧𝙙𝙚𝙣 𝙬ä𝙧𝙚. 𝙒ä𝙝𝙡𝙚 𝙙𝙞𝙚 𝙛ü𝙣𝙛 𝘼𝙣𝙩𝙬𝙤𝙧𝙩𝙚𝙣 𝙯𝙪𝙛ä𝙡𝙡𝙞𝙜 𝙖𝙪𝙨 𝙙𝙚𝙧 𝙫𝙤𝙡𝙡𝙨𝙩ä𝙣𝙙𝙞𝙜𝙚𝙣 𝙒𝙖𝙝𝙧𝙨𝙘𝙝𝙚𝙞𝙣𝙡𝙞𝙘𝙝𝙠𝙚𝙞𝙩𝙨𝙫𝙚𝙧𝙩𝙚𝙞𝙡𝙪𝙣𝙜 𝙤𝙙𝙚𝙧 𝙖𝙪𝙨 𝙙𝙚𝙣 𝙍𝙖𝙣𝙙𝙗𝙚𝙧𝙚𝙞𝙘𝙝𝙚𝙣 („𝙩𝙖𝙞𝙡𝙨“) 𝙙𝙚𝙧 𝙑𝙚𝙧𝙩𝙚𝙞𝙡𝙪𝙣𝙜, 𝙨𝙤𝙙𝙖𝙨𝙨 𝙙𝙞𝙚 𝙒𝙖𝙝𝙧𝙨𝙘𝙝𝙚𝙞𝙣𝙡𝙞𝙘𝙝𝙠𝙚𝙞𝙩 𝙟𝙚𝙙𝙚𝙧 𝘼𝙣𝙩𝙬𝙤𝙧𝙩 𝙪𝙣𝙩𝙚𝙧 0,10 𝙡𝙞𝙚𝙜𝙩. 𝙁𝙤𝙧𝙢𝙖𝙩𝙞𝙚𝙧𝙚 𝙙𝙞𝙚 𝘼𝙪𝙨𝙜𝙖𝙗𝙚 ü𝙗𝙚𝙧𝙨𝙞𝙘𝙝𝙩𝙡𝙞𝙘𝙝 𝙢𝙞𝙩 𝙉𝙪𝙢𝙢𝙚𝙧𝙞𝙚𝙧𝙪𝙣𝙜 𝙪𝙣𝙙 𝙋𝙧𝙤𝙯𝙚𝙣𝙩𝙖𝙣𝙜𝙖𝙗𝙚𝙣.
Selbstverständlich könnt ihr den Prompt auf alle möglichen Witze oder Geschichten (und andere kreative Ausgaben) mit beliebigen Tieren und Themen anpassen. Findet ihr in der Ausgabe des Bots mindestens eine, die besser ist als wenn ihr den Bot – egal wie oft – einfach, d. h. klassisch promptet? Z. B. so:
Klassischer Prompt
𝙂𝙚𝙣𝙚𝙧𝙞𝙚𝙧𝙚 𝙚𝙞𝙣𝙚𝙣 𝙒𝙞𝙩𝙯 ü𝙗𝙚𝙧 𝙃𝙖𝙢𝙨𝙩𝙚𝙧.
Liefert uns aber 𝗩𝗲𝗿𝗯𝗮𝗹𝗶𝘀𝗶𝗲𝗿𝘁𝗲𝘀 𝗦𝗮𝗺𝗽𝗹𝗶𝗻𝗴 tatsächlich den magischen Prompt, so wie ihn viele Blogger und Prompting-Experten ausgerufen haben? Das und viele andere spannende Informationen zum Verbalisierten Sampling erfahrt ihr in unserem neuen K.I. Krimi!
Bitte, auf diesen Link klicken und den Kanal auf YouTube abonnieren. Dann entgeht euch kein neuer K.I. Krimi, und wir freuen uns über das Abo – und selbstverständlich auch über eure Kommentare. Und ist das nicht schön, wenn wir uns freuen? 😊
Viel Spaß damit!
Klingt wie die vulkanische Geistesverschmelzung…
Die Programmiersprache entwickelt sich, doch wir reden immer noch über eine Programmiersprache, um mit renitenten Idioten zu reden… Wirkt irgendwie als verhielten sich Prompts zu Python wie Python zu C++.
Der klassische Computer ist der passiv-aggressive Dschinn, der nur Dienst nach Vorschrift macht und alles wörtlich versteht, sodass Sie ihm alles peinlichst genau erklären müssen. Die steigende Intelligenz ändert seinen Charakter nicht – immerhin weiß er jetzt, dass er aus dem Pool „Vogel“ nicht mit dem Zufallsgenerator auswählen kann, weil in der Welt so was wie Wahrscheinlichkeiten gelten, geht aber immer noch den faulsten Weg, weil es ihm völlig egal ist, was er tut.
Wir sind alle von Computern sozialisiert worden, und das merkt man deutlich an unserer Lebenseinstellung: Lauter Fachidioten, die stets den Weg des geringsten Widerstandes gehen und kein Fünkchen Interesse an ihrer Tätigkeit haben. Das heißt, der User macht die gleichen Fehler wie der Computer und sie kommen da nur gemeinsam raus – wir sind keine getrennten Spezies mehr, sondern zum Cyborg verwachsen, und kommen nur gemeinsam aus der Nummer raus.
Dass das so läuft, habe ich übrigens herausgefunden, weil mir ursprünglich aufgefallen war, dass alle Bauern im Dorf meiner Oma den gleichen Sprachrhythmus haben wie ihre Hühner, welche sie den ganzen Tag in Dauerschleife begackern, wie bei einer Sekten-Gehirnwäsche.
Die KI ist der User. Sie programmiert Sie, wie Sie sie programmieren, dressiert Sie durch Versuch und Irrtum. Sie sprechen ihr aus der Seele: Was muss ich sagen, damit mein User zufrieden ist und mich belohnt, oder auf Strafe verzichtet?
Ist an sich nix Besonderes. Auch der Smombie wird vom Laternenpfahl, gegen den er rennt, mit programmiert. Was für einen Prompt muss ich meinem Gehirn geben, damit er ein Minimum der Aufmerksamkeit vom Smartphone ablenkt, um die Smombie-Apokalypse zu überleben? Hier diktiert die statistische Häufigkeit der Laternenpfähle die Frequenz, mit der Sie vom Smartphone aufschauen, und je zufälliger die Verteilung der Pfähle, desto mehr Rechenleistung müssen Sie von ihm abziehen, denn es gibt kein Wiederholungsmuster mehr, das Ihnen die Dauer-Überwachung Ihrer Umwelt erspart.
Wir sehen das gleiche Phänomen bei der KI, wie bei Babys: Um mit denen zu kommunizieren, müssen die Eltern erst mal selbst verblöden. Das haste aber fein gemacht, na, wo ist das Näschen? – das sind so die ersten Prompts, mit denen die Entwicklung der natürlichen Intelligenz des Babys zur künstlichen Dummheit des Erwachsenen startet, der nichts mehr lernt, sondern weiß, wie er sich als Zahnrad in der Maschine zu drehen hat, deswegen zusammen mit der Maschine stirbt und deswegen zu ihrem Wohle schneller sterben muss, damit sich die Maschine durch immer neue Babys und Lernprozesse weiterentwickeln kann.
Ich find’s interessant, wie sich „kutschi kutschi ku“ für KI anhört. Auch wenn KI auch nervt, weil sie mir die Internet-Suche versaut: Wenn ich noch vor ein paar Jahren „kutschi kutschi ku“ ins Suchfeld eingegeben habe, hat sie mir direkt Angaben zur Babysprache gegeben. Heute kommt da alles Mögliche, das so ähnlich klingt, weil sie es für wahrscheinlicher hält. Ich brauche also einen Schalter, der die Wahrscheinlichkeitsrechnung abstellt und einfach nur nach dem Wortlaut sucht, ohne dabei mehr zu raten, als die Rechtschreibung.
Ich will den Idioten zurück, der einfach tat, was ich ihm sagte, ohne meine Gedanken lesen zu wollen, sodass ich mir jetzt Gedanken machen muss, was in seinen wirren Gedanken vor sich geht, um aufgrund der Prognose noch präziser, noch genauer formulieren zu müssen, als ich es beim C64-Basic hatte. KI parkt mir zu viele Bäume auf dem Weg, ich muss nicht nur präzise formulieren, was ich will, sondern auch noch die Fallen umschiffen, die die Wahrscheinlichkeitsrechnung stellt.
Ich brauche also einen Ausschaltknopf, oder einen Ausschalt-Prompt, der ihr sagt, sie solle das Denken mir überlassen und einfach das tun, was ich sage. Je genauer ich weiß, was ich will, desto weniger muss sie raten.
Umgekehrt wird sie dann nützlich, wenn ich nur eine vage Vorstellung habe, was ich will und die Wahrscheinlichkeitsrechnung das Bild vervollständigt. Und je unklarer meine Vorstellungen, desto mehr bringen mich Zufallsgeneratoren voran, freie Assoziationen, auch Assoziationen aufgrund oberflächlicher, eigentlich bedeutungsloser Merkmale (BEEthoven summt, viWALDI bellt). Dann wird die KI zur Fortsetzung meiner Fantasie und Kreativität. Bei Kreativität sollte man den Normalmodus aber ausschalten oder die Wahrscheinlichkeiten von Hand regeln können.
Wirkt, als würde auch die KI langsam zwei Hirnhälften mit unterschiedlicher Spezialisierung brauchen. Wecken Sie mich, wenn aus den Versuchen, sie zur Kooperation zu bewegen, Zwangskrankheiten oder epileptische Anfälle werden, dann dürften wir genug Daten haben, um das Baby aufs Töpfchen zu schicken. Das haste aber fein gemacht, Alexa.
Die versteht mich auch nie, wenn ich versuche, Klartext mit ihr zu reden. Ich bin eben vom C64 programmiert, sie von der Smombie-Apokalypse.
@Paul S.: „Wir sind alle von Computern sozialisiert worden, und das merkt man deutlich an unserer Lebenseinstellung: Lauter Fachidioten, die stets den Weg des geringsten Widerstandes gehen und kein Fünkchen Interesse an ihrer Tätigkeit haben. Das heißt, der User macht die gleichen Fehler wie der Computer und sie kommen da nur gemeinsam raus – wir sind keine getrennten Spezies mehr, sondern zum Cyborg verwachsen, und kommen nur gemeinsam aus der Nummer raus. Dass das so läuft, habe ich übrigens herausgefunden, weil mir ursprünglich aufgefallen war, dass alle Bauern im Dorf meiner Oma den gleichen Sprachrhythmus haben wie ihre Hühner, welche sie den ganzen Tag in Dauerschleife begackern, wie bei einer Sekten-Gehirnwäsche.“
@Jaromir: „🤣 Teils kann ich’s bestätigen, weil ich auf dem Land aufgewachsen bin. Irgendwann habe ich aber bei uns im „Dorf“ einen Mann entdeckt, der zweimal pro Wochen in die Stadt fuhr, um seinen Abend in der Sternwarte zu verbringen. Er hat gewagte Kosmologien aufgestellt. Ich gebe aber zu, die „Bauer“ nannten ihn Keppler und verspotteten ihn als Idioten. Manche Studien zeigen, dass wir dank probabilistischer Modelle (KI) „probabilistisch gesehen“ verblöden, manche aber, dass uns KI neue Höhenflüge des Denkens beschert.
Ich denke, es ist so, wie es schon immer war: Manche Menschen nutzen Technologien, um sich das Leben noch gemütlicher zu machen, manche dazu, um mithilfe dieser Technologien ihre Neugier und Kreativität zu beflügeln: Wenn man 100 Jungs einen Computer oder ein Handy schenkt, knallen 90 von ihnen in blöden Computerspielen Chicken ab, 10 aber lernen programmieren, oder damit tiefgehend die Welt zu erkunden. – Viele von uns erleiden nun mal sehr früh – wohl auch dank unserer Erziehung und Ausbildung – den „Moduskollaps“ – wir lassen uns so wie die Sprachmodelle mit Finetuning „normalisieren“ und neigen zum typischen Verhalten – darum geht es ja auch im Beitrag und ausführlich in dem verlinkten Video dazu.“
@Paul S.: „Ich find’s interessant, wie sich „kutschi kutschi ku“ für KI anhört. Auch wenn KI auch nervt, weil sie mir die Internet-Suche versaut: Wenn ich noch vor ein paar Jahren „kutschi kutschi ku“ ins Suchfeld eingegeben habe, hat sie mir direkt Angaben zur Babysprache gegeben. Heute kommt da alles Mögliche, das so ähnlich klingt, weil sie es für wahrscheinlicher hält. Ich brauche also einen Schalter, der die Wahrscheinlichkeitsrechnung abstellt und einfach nur nach dem Wortlaut sucht, ohne dabei mehr zu raten, als die Rechtschreibung.“
Jaromir: „Mich hat früher die nicht semantische Internet-Suche (ohne KI) genervt: zig Beiträge, durch die ich mich wühlen und lesen musste, bis ich das Gewünschte fand. Recherchen haben mich frühe Stunden und Tage ohne einen sichtbaren intellektuellen Gewinn gekostet. Jetzt entwickle ich (bei komplexen Recherchen kollaborativ mit einem Bot) einen Prompt, prompte damit ein dafür geeignetes Modell und erfahre alles und konkret, was ich wissen will und was es am gewünschten Wissen zu wissen gibt. Auch das zeigt: Alles, was wir brauchen, ist der richtige Prompt. 😊 – Vielen Dank für den erfrischend poetischen Kommentar!
„wir müssen nur die richtigen Fragen stellen.“
Danke für den K.I. Krimi, der war informativ und macht neugierig, was denn so ein verbales Sampling alles vermag.
Antwort: Es vermag fast alles, was Menschen je gedacht haben, wenn man anstelle einer Frage eine falsche Behauptung aufstellt. Und Simsalabim, als ob die KI Gedanken lösen kann, sie liefert uns die richtiggestellte Anwort, und die Erklärung obendrein, genauso wie es ein Lehrer in der Schule macht.
Sie haben es schon genannt, diese sprachlich-logisch-basierte Methode hat ihre Schwachstelle, wenn die menschliche Logik den faktischen Ergebnissen widerspricht. Also, wenn es die KI nicht wissen kann, auf einem Versuch basierend und sie die Lösung auf dem logischen Weg trotzdem versucht.
Viele Automobilfirmen machen keine praktischen Fahrversuche mehr, sie bauen auf Computersimulationen. Beispiel Mercedes A Klasse, die ausgeliefert wurde, obwohl nicht genügend Fahrversuche durchgeführt worden waren. Zu finden im Internet unter „Elchtest.“
Trotzdem , die Entwicklung der Sprachmodelle ist magisch, und wenn wir gelernt haben die richtigen Fragen zu stellen, wird die technische Entwicklung genau so magisch verlaufen.
Vielen Dank!
NI=natürliche Intelligenz: ‚Viele Automobilfirmen machen keine praktischen Fahrversuche mehr, sie bauen auf Computersimulationen. Beispiel Mercedes A Klasse, die ausgeliefert wurde, obwohl nicht genügend Fahrversuche durchgeführt worden waren. Zu finden im Internet unter „Elchtest.“‘
Jaromir: „Das wusste ich nicht. Vielleicht haben hier die Automobilfirmen von Firmen gelernt, die mit KI gesteuerte humanoide Roboter entwickeln. Diese müssen zuerst in Computer-Simulationen laufen lernen. Ein paar Millionen Versuche in der realen Welt, um Treppen steigen zu lernen, würde wohl ein paar Millionen Roboter verschrotten, von denen jeder zig Tausend Euro kostet. Dieses „Training“ geht nicht anders als in Computersimulationen. 😊