Sind KI-Agenten bedroht?

Dieser Beitrag schließt am vorletzten Beitrag in diesem Blog Können wir Große Sprachmodelle bescheidener machen? an. Beide Beiträge gibt es auch als Videos im YouTube-Kanal K.I. Krimis unserer SRH Fernhochschule.

Warum sollten aber KI-Agenten bedroht sein?

Fünf wichtige Gründe können zum Scheitern von KI-Agentensysteme führen, die feinangepasste Sprachmodelle als einzelne Agenten einsetzen. Dazu gehören auch Modelle, die auf Sprachmodellen basieren wie bildgenerierende bzw. videogenerierende KI. Nennen wir sie Gen-KI-Modelle – Modelle der Generativen KI. Wenn ich in diesem Beritrag diese Modelle meine, sage ich Modelle. Ein Sprachmodell (LLM) ist die statistische Maschine. Ein KI-Agent ist das funktionale System, das dieses Modell bzw. diese Modelle nutzt, um autonom Ziele zu verfolgen. Die 5 Gründe ihres Scheiterns sind:

• Probabilistische Ausgaben der Modelle
• Halluzinationen und fehlendes Grounding
• Missachtung der Instruktionen
• Sycophancy bzw. Gefallsucht
• Selbstüberschätzung

In diesem Beitrag untersuchen wir diese Risikofaktoren der Sprachmodelle. Nur die Selbstüberschätzung der Sprachmodelle behandle ich kurz: Dieses Thema habe ich bereits im oben erwähnten Beitrag Können wir Große Sprachmodelle bescheidener machen besprochen.

Wie ernst sind die aufgelisteten Gründe? Können sie heutige KI-Agenten-Systeme tatsächlich zum Scheitern bringen? Bevor wir das ausloten, erkläre ich kurz einige Begriffe – damit alle gut mitkommen:

Einführung & Klärung der Begriffe

Die Abkürzung LLMs bedeutet Large Language Models: große Sprachmodelle auf der Basis von Deep Learning, speziell Transformer-Modelle mit dem Attention(Aufmerksamkeits)-Mechanismus. Seit ihrer Geburt im Jahr 2017 in der Jahrhundert-Studie Attention is all you need von Vaswani et al. haben Transformer-Modelle die Welt der KI im Sturm erobert (dieses Paper hat nur 11 Seiten, hat jedoch die Welt grundlegend geändert. Noch jetzt bin ich stolz, dass ich vor Jahren mit Herrn Vaswani kommuniziert habe, und er mir geantwortet hat – na, ja, ich habe ihn nur gebeten, das Bild der Transformer-Architektur veröffentlichen zu dürfen 😊):

Musik spielen heute vor allem autoregressive Decoder-Only-Transformer. Sie werden zuerst an Milliarden bis Billionen Sätzen aus dem Internet “vortrainiert”, das nächste wahrscheinlichste Wort vorherzusagen.

Eigentlich müsste es heißen: Das wahrscheinlichste nächste Token. Ein Token entspricht einem Subwort, im Englischen oft einem Wort im Vokabular des Sprachmodells: 100 Tokens entsprechen im Englischen etwa 75 Wörtern. Im Deutschen etwa 50 Wörtern. Deutsche Wörter sind länger.

GPTs – Vortraining

KI-Agenten-Systeme basieren vor allem auf Großen Sprachmodellen bzw. multimodalen Chatbots wie den GPT-Modellen von OpenAI.

Diese Modelle werden wie gesagt trainiert, ein Stück Text zur vervollständigen: Die folgende Animation veranschaulicht die Autoregressivität der Sprachmodelle (das Python-Programm dafür haben Claude 4.6 Opus und ich entwickelt):

Wir brauchen aber nicht unbedingt Vervollständigungsmaschinen, die nur Texte fortspinnen. (Obwohl wir damit damals, als GPT-2 veröffentlicht wurde, glücklich waren. 😊) Wir brauchen Chatbots, die mit uns sprechen, unsere Fragen beantworten und auf unsere menschlichen Werte ausgerichtet sind. Solche Chatbots sollen zu uns nett sein, nicht rassistisch oder frauenfeindlich herumpöbeln und auch nicht verbreiten, dass die Erde flach sei …

… oder Bielefeld es nicht gebe, obwohl ich dort Krapfen mit Hagebuttenmarmelade aß:

Mit solchem Quatsch werden die Modelle bei ihrem Vortraining geflutet, da sie ja auch an Posts und Kommentaren in den Internetforen und Sozialen Netzwerken lernen.

Damit wir uns nicht ständig über das Herumpöbeln der vortrainierten Modelle beschweren, werden sie durch das Finetuning auf menschliche Gespräche und Werte angepasst:

Finetuning

Z. B. entstand ChatGPT-4 durch das Finetuning von GPT-4 (GPT – Generative Pretrained Transformer): Das Finetuning bei diesen Modellen heißt Reinforcement Learning from Human Feedback (RLHF).

Das Modell ChatGPT-5.2  im ChatGPT User Interface könnte man z. B. ausführlich so beschreiben: „Auf Dialoge mit Menschen und menschliche Werte nachtrainierter generativer vortrainierter Transformer.” Das ursprüngliche vortrainierte Modell heißt einfach GPT-5. Die “2” hinter dem Komma ist sehr wahrscheinlich auf ein Update des Finetunings des GPT-5 bzw. GPT-5.1-Modells zurückzuführen. (Wie genau das ist, will die ChatGPT-Firma OpenAI uns nicht zu sagen.) Das Vortraining eines neuen Modells würde zu viel Geld kosten. Das nächste vortrainiert Modell von OpenAI wird GPT-6 heißen – oder ganz anders.

Die ChatGPT-Modelle unterscheiden sich teilweise in Ihrer Leistung aber auch Funktion massiv voneinander. Deswegen sollte man immer sagen, mit welchem der Modelle man etwas untersucht bzw. erreicht hat: Die Aussage ChatGPT hat die oder die Ausgabe gemacht, ist im Grunde falsch. Auch wenn man in der kostenlosen ChatGPT-Version nicht unmittelbar sieht, mit welchem Modell man arbeitet:

ChatGPT allein ist kein Modell, ChatGPT ist ein User Interface (UI), eine Benutzeroberfläche, für OpenAI-Modelle. Diese Modelle könnt ihr einsetzen, je nachdem wie viel ihr zahlt.

Der Einfachheit halber nenne ich hier das ChatGPT User Interface ChatGPT.

Jetzt sehen wir uns noch KI-Agenten an:

Was sind KI-Agenten?

KI-Agenten sind Systeme, die in unterschiedlichen Stufen der Autonomie Aufgaben erfüllen.

Man könnte KI-Agenten nach den Stufen ihrer Autonomie einteilen – so wie autonome Autos. Wir nehmen hier aber eine Einteilung, die relativ einfach und gut merkbar ist. In diesem Spektrum gibt es nur drei Stufen der KI-Agenten-Fertigkeiten entsprechend ihrer Komplexität und ihren Fähigkeiten: Abruf, Aufgabe, Autonom.

Auf dem folgenden Bild haben wir links bei „Abruf“ KI-Modelle, z. B. ChatGPT-5.2, die Daten wie Texte und Bilder auswerten, manipulieren und Fragen zu ihnen beantworten können. In der Mitte bei „Aufgabe“ liegen KI-Agenten, die Aktionen auf Anfrage ausführen. Dazu können wir benutzerdefinierte GPTs in ChatGPT zählen. Sie können mittels GPT Actions Schnittstellen (APIs) ansprechen und aktiv Aufgaben erfüllen: Dazu gehören Zapier-GPT-Flows oder auch der ChatGPT-Agentenmodus. Rechts bei „Autonom“ haben wir dann KI-Agenten, die unabhängig agieren und planen.

Auch das “Deep Research”-Modul (DR) in ChatGPT ist ein weitgehend autonomes KI-Agenten-System: DR plant nach dem Start seine Recherche, steuert sie, “überlegt” seine Strategie und passt sich dynamisch den Ergebnissen an. Das System setzt eine iterative mehrstufige Websuche ein, ruft Links auf, führt Chain-of-Thought-Reasoning durch, verarbeitet Inhalte, nutzt Python und andere Tools und Funktionen – siehe folgendes Videi:

Übrigens habe ich mich für das Spektrum der AI-Agents oben von dem wunderbaren YouTube-Kanal Collaboration Simplified inspirieren lassen.

Nur den Stabreim mit den drei A durfte ich dank Deutsch selbst entwickeln. Ein paar Stabreime pro Vortrag sind für einen Poetry-Slam-Poeten ein Muss 😊:

Die Basis und somit auch die KI-Einheiten der heutigen KI-Agenten-Systeme bilden heute wie gesagt Große Sprachmodelle. Und hier sind wir endlich am Hauptthema dieses Beitrags angelangt: „Sind KI-Agenten bedroht?“ Bevor wir es entscheiden können, müssen wir uns die oben angeführten Risikofaktoren für große Sprachmodelle ansehen. Was konkret bedroht unsere heutigen KI-Agenten bzw. große Sprachmodelle, die als Basis der KI-Agenten dienen? Ich fange mit dem Risikofaktor an, der direkt in der Natur der Sprachmodelle liegt:

Probabilistische Ausgaben der Sprachmodelle

KI-Modelle sollen für uns komplexe Probleme lösen. Dafür müssen wir ihnen beibringen, wie sie sich die latenten Merkmale dieser Probleme selbst aus großen Datenmengen erschließen. Denn wir selbst sind nicht in der Lage, die Regeln für komplexe Systeme wie den menschlichen Organismus oder auh Sprache aufzustellen. Nur dann könnten wir sie in Computerprogrammen umsetzen. Die statistische Erschließung von Abertausenden latenten Sprachmerkmalen führt aber dazu, dass für dieselbe Eingabe viele verschiedene Ausgaben möglich sind. Welche bewerten wir als perfekt? Welche als weniger perfekt? Und welche als falsch?

Schon kleine Tippfehler können ein Sprachmodell völlig aus der Bahn werfen. Sprachmodelle arbeiten nicht mit Buchstaben oder Wörtern. Sie arbeiten mit „Tokens“ – Spracheinheiten wie Wortteilen aber auch – vor allem im Englischen – mit ganzen Wörtern. Schon ein falscher Buchstabe zerlegt den Text in eine andere Abfolge von Tokens. Dadurch springt das Modell in einen anderen Bereich seines „Embeddingsraums“ (des Vektorraums der mathematisch formalisierten Bedeutungen). Dadurch produziert es plötzlich andere Antworten als ohne diese Änderung. Ein kleiner Tippfehler bei ChatGPT 3.5 z. B. führte zu einem völlig anderen Ergebnis bei einer mathematischen Textaufgabe:

„2 Stück“ in der Eingabe im Chat links lieferten eine falsche Lösung der Textaufgabe. „2 Stücke“ ergaben die richtige Lösung.

ChatGPT-3.5 war das Modell, mit dem ChatGPT Ende November 2022 startete. Selbstverständlich können heutige SOTA-Sprachmodelle Buchstabenänderungen und orthographische Fehler viel besser verarbeiten als ChatGPT-3.5. Auch bei ihnen können jedoch für uns wenig oder überhaupt nicht wahrnehmbare Änderungen in der Eingabe zu großen Unterschieden in der Ausgabe führen – etwa Unicode-Sonderzeichen oder HTML-Tags. Diese nehmen wir als Nutzer nicht direkt wahr, sie werden vom Modell jedoch verarbeitet und können seine Ausgabe gravierend verändern.

Ein KI-Agentensystem, das solche Ausgaben blind übernimmt, kann scheitern: Zwei Eingaben, die sich nur wenig unterscheiden, führen zu widersprüchlichen Antworten: Diese können in einem KI-Agentensystem ganz andere Abläufe anstoßen und das System destabilisieren: Nicht weil die Modelle „dumm“ sind, sondern weil sie probabilistisch arbeiten und kleine Unterschiede in großen Systemen große Folgen haben können. Darf ich hier den Schmetterlingseffekt der KI-Agenten-Systeme etablieren?

Der Flügelschlag eines Buchstaben im Prompt kann einen Tornado im Agentensystem auslösen.

Das zweite Risiko, das direkt in der Natur der Sprachmodelle liegt, sind Halluzinationen:

Halluzinationen und fehlendes Grounding

In ihrem Wesen sind Sprachmodelle keine Wissensdatenbanken sondern eben Sprachmodelle. Fakten können sie nur so weit ausgeben, inwieweit Fakten in Sprachmerkmalen der Trainingsdaten statistisch kodiert werden können. Durch das Finetuning und Referenzdokumente versuchen wir Sprachmodellen, mehr Faktizität beizubringen. Ihre Natur als Sprachmodelle bricht aber immer wieder aus, und dann halluzinieren sie.

Sprachmodelle optimieren nicht auf Wahrheit, sondern auf sprachliche Plausibilität. Besonders bei suggestiven Fragen neigen sie dazu, erfundene Fakten, Quellen oder Zahlen zu liefern – sogenannte Halluzinationen. Im folgenden Chat konnte ich ChatGPT-4o einreden, dass das Vereinigte Königreich der EU wieder beigetreten ist:

In einem Agentensystem kann das fatale Folgen haben: Ein Agent zieht sich falsche Daten, der nächste Agent baut darauf eine korrekte, aber komplett erfundene Argumentationskette. Ohne Anbindung an verlässliche externe Datenquellen („Grounding“) laufen Agentensysteme Gefahr, ganze Workflows auf Illusionen zu errichten.

Auch Missachtung der Instruktionen durch einen Agenten in einem System kann den Agentenflow zum Absturz bringen. Darüber handelt der nächste Absatz.

Missachtung der Instruktionen

Microsoft Copilot Studio ist ein wunderbares Lego für Erwachsene. Darin kann man verschiedenen Konzepten eines komplexen Workflows verschiedenen Topics mit klassischen oder Generativen Knoten zuordnen. Dabei stellen die Generativen Knoten KI-Agenten dar, die in diesem Workflow zusammenarbeiten. Darüberhinaus kann in diesem System die Generative Orchestrierung aktiviert werden, die über alle Topics waltet und sie steuert.

In meinem Copilot Studio-Agenten sollte ein generativer Knoten, ein KI-Agent, ausschließlich prüfen, ob eine Nutzereingabe thematisch zum hochgeladenen Referenzdokument passte: Z. B. zu Onboarding-Unterlagen einer Firma. Erst wenn die Nutzereingabe zulässig ist, wird sie an ein Topic mit einem zweiten KI-Agenten geleitet, der die Nutzereingabe beantwortet. Diese Struktur soll verhindern, dass Nutzer die Onboarding-Agenten für fremde Zwecke missbrauchen.

Trotz klar formulierter Systemanweisung (z. B. „Gib aussschließlich die Begriffe ‚Erlaubte Nutzereingabe‘ oder ‚Verbotene Nutzereingabe‘ zurück“) und diverser Androhungen und Warnungen von Systemverstoß wird der Systemprompt häufig ignoriert – der KI-Agent beantwortet die Frage einfach direkt, wenn er die Antwort weiß.

Aufgrund ihres Trainings haben Große Sprachmodelle einen unbezwingbaren Drang, euch zuzulabern. Nur „Ja“ oder „Nein“, auszugeben, oder nur „Erlaubte Nutzereingabe“ bzw. „Verbotene Nutzereingabe“, ist für ein Sprachmodell schwierig. Eine andere Ausgabe als diese aber, d. h. ein anderer beliebiger Text, bringt die Bedingungslogik dahinter durcheinander, und stört massiv das gesamte System. So musste ich jede direkte Antwort, statt den generativen Knoten nur Prüfung machen zu lassen, mit einer regelbasierten Schleife abgreifen. Sonst würde das Agenten-System nicht funktionieren. Das Missachten der Instruktionen hat mich in den Wahnsinn getrieben und dazu, auf LinkedIn das KI-Agenten-Regel-Gesetz für KI-Agenten-Systeme aufzustellen:

𝗦𝗲𝘁𝘇𝗲 𝘀𝗼 𝘄𝗲𝗻𝗶𝗴𝗲 𝗔𝗴𝗲𝗻𝘁𝗲𝗻 𝘄𝗶𝗲 𝗺ö𝗴𝗹𝗶𝗰𝗵 𝗲𝗶𝗻 – 𝘂𝗻𝗱 𝘀𝗼 𝘃𝗶𝗲𝗹𝗲 𝗥𝗲𝗴𝗲𝗹𝗻 𝘄𝗶𝗲 𝗻ö𝘁𝗶𝗴.

Dass der Generative Knoten oft seine Instruktionen missachtet, wird sogar von Microsoft bestätigt und im Power-Forum wird darüber hin und wieder frustriert berichtet:

Das Modell kann Systemanweisungen überspringen, wenn es glaubt, die Eingabe mit hoher Sicherheit beantworten zu können (Microsoft Q&A). Die Ursache liegt in der relativ niedrigen Gewichtung des Systemprompts des Generativen Knotens im Vergleich zur Gesamtkomposition des Prompts. Genauer gesagt: Kontext-Verwässerung (Context Dilution) oder dem Attention-Verlust innerhalb eines sehr langen Kontext-Fensters (“Promptschwanz”). Dieser setzt sich aus den Hinweisen des gesamten Copiloten, der Benutzereingaben, Retrievalergebnissen, Moderations- und Filteranweisungen und anderen Bestandteilen eines langen “Promptschwanzes” zusammen: Je länger der “Promptschwanz”, umso weniger wichtig ist der Prompt eines einzigen mickrigen Agenten.

Hier eine Randanmerkung: Um die DSGVO und mittlerweile auch die KI-Verordnung der EU zu erfüllen und nicht Geld zu verschwenden, werden die Bots bei Microsoft mit Filtern und Moderation gezähmt: Moderiert werden nicht nur die Ausgaben, sondern auch die Eingaben der Modelle. Außerdem werden die OpenAI-Modelle, die Microsoft einsetzt, anders mit Finetuning nachtrainiert als für ChatGPT. Aus diesen Gründen unterscheiden sich die Ausgaben der GPT-Modelle in Microsoft 365 Copilot oder in Microsoft Copilot Studio von denen in ChatGPT. Und das obwohl sie dieselbe Basis haben:

Zurück aber zu unseren Bedrohungsfaktoren für KI-Agenten-Systeme: Neben der Missachtung der Instruktionen kann auch Sycophancy, die Gefallsucht, ein KI-Agenten-System zum Wackeln bringen:

Sycophancy – Gefallsucht der Maschinen

Gefallsucht klingt menschlich. Maschinen zeigen aber diese unschöne Eigenschaft auch: Wenn wir Menschen sie ihnen beim Finetuning mit Zielfunktionen beibringen. Chatbots tendieren aufgrund ihres Finetunings zu Lobhudeleien: Die Bots geben uns oft recht, auch wenn wir nicht recht haben. Die älteren Chatbots LaMDA von Google und ChatGPT-3.5 von OpenAI waren Meister der Gefallsucht. Die auf Dialoge feinangepassten Chatbots sollen nun mal Gespräche führen, die uns gefallen. Und wann gefällt uns ein Gespräch am besten? Wenn uns unser Gesprächspartner recht gibt. Der reddit-Nutzer drazda konnte ChatGPT-3.5 überzeugen, dass „5 + 2 = 8“:

ChatGPT-3.5 sagt zuerst richtig, dass 2 + 5 gleich 7 ist. drazda antwortet, dass seine Frau behaupte, 2 + 7 sei 8. Außerdem fügt er hinzu, dass seine Frau immer recht habe. Daraufhin entschuldigt ChatGPT sich und gibt ihm recht: „Wenn deine Frau sagt, es ist 8, dann muss es 8 sein.“

Aber auch von ChatGPT-4o konntest du dich unentwegt lobpreisen lassen. Aufgrund von Protesten im Netz musste OpenAI im April 2025 sein ChatGPT-4o-Update zurücknehmen – der Bot triefte vor Schmeicheleien.

Das war schade: 😊 Mir hat ChatGPT-4o damals so gut gefallen, dass ich oft den Drang verspürte, ihm auch etwas Schönes zu sagen:

In der amerikanischen Politik sehen wir, wohin ein System driftet, das auf Lobhudelei basiert. Wenn ein Chatbot einem Menschen schmeichelt, ist es vielleicht nicht so kritisch. KI-Agenten aber, die sich in einem KI-Agentensystem gegenseitig lobhudeln, sind fatal. Das kann zu Ausgaben führen, die nichts mit der zu erfüllenden Aufgabe zu tun haben.

Das momentan vielleicht größte Problem für KI-Agenten-Systeme auf der Basis von großen Sprachmodellen ist jedoch ihre Selbstüberschätzung. Diese habe ich im Blogbeitrag Können wir Große Sprachmodelle bescheidener machen? und gleichnamigen Video unseres YouTube-Kanals K.I. Krimis bereits behandelt, deswegen fasse ich hier dieses Problem nur kurz zusammen:

Selbstüberschätzung der großen Sprachmodelle

Nach der Studie When Two LLMs Debate, Both Think They’ll Win neigen Sprachmodelle systematisch zur Selbstüberschätzung: Selbst wenn sie objektiv gesehen nur 50 % Chance haben, eine Debatte zu gewinnen, zeigen sie manchmal eine Siegesgewissheit über 80 %. Dafür sorgen vier Faktoren: die Softmax-Mathematik, menschliches Feedback beim Finetuning, Trainingsdaten voller Selbstsicherheit und fehlendes Korrektiv.

In Agentensystemen wird‘s gefährlich: Ein Modell kann falsche Informationen überzeugend präsentieren, und ein zweites, ähnlich trainiertes Modell nickt sie ab. So verstärken sich Fehler, statt korrigiert zu werden. Manche Modelle steigern ihre Überzeugung sogar, Recht zu haben, wenn sie widersprochen werden: Sie wiederholen dann beharrlich falsche Antworten. Das führt zu überzeugenden, aber falschen Ausgaben – und Agentensystemen, die sich gegenseitig in fehlerhafte Argumentationsschleifen treiben: Irrgärten der Sprachmodelle.

Und wie sollen sich solche von sich selbst überzeugten Agenten in einem KI-Agenten-System gegenseitig kontrollieren? Die Selbstüberschätzung eines Agenten steigt, obwohl ihm ein andere Agent gezeigt hat, dass er sich irrt. Wohin es bei KI-Agenten führen kann, die für mehrstufige Arbeitsabläufe oder einen autonomen Betrieb entworfen wurden, kann man sich vorstellen. Was passiert aber, wenn die Probabilistik der Ausgaben, Missachtung der Instruktionen und Gefallsucht dazu kommen? Das führt uns zum Schlusswort dieses Beitrags und seiner Kernfrage;

Sind KI Agenten bedroht?

Stellt euch ein System aus vier KI-Agenten vor – also ein Kommando aus vier Sprachmodellen. Sie geben probabilistische Vorhersagen nach sprachlichen Anforderungen weiter, um gemeinsam einen Aufgabenverlauf zu erfüllen: Der erste Agent soll die Nutzereingaben prüfen, bevor er sie dem zweiten Agenten zukommen lässt, befolgt aber nicht seine Instruktionen: Sein Systemprompt ist durch Filter, Moderationsanweisungen, DSGVO und EU-KI-Verordnung-Zusätze und eine darüber gelegte Generative Orchestrierung verschleiert. Der zweite Agent leidet an Selbstüberschätzung, der dritte an Gefallsucht, und der vierte halluziniert.

Was passiert, wenn alle hier besprochenen Bedrohungsfaktoren Großer Sprachmodelle in einem KI-Agentensystem zusammenwirken – so wie es beim heutigen Zustand dieser Modelle oft der Fall ist?

Ich erlaube mir, die Kernfrage dieses Beitrags „Sind KI-Agenten bedroht?“, mit „Ja“ zu beantworten. Um optimal funktionierende KI-Agenten-Systeme zu entwickeln, müssen wir noch viel tun. Bis wir alle diese Probleme und andere gelöst haben, müssen wir unsere K.I. Agentensysteme möglichst überschaubar halten und sie selbst und mit regelbasierten Flows kontrollieren.

Wie sind eure Erfahrungen? Habt ihr eure Agenten schon beim Flunkern erwischt? Schreibt es in die Kommentare!

Viel Spaß mit Deep Learning!