Warum die meiste KI nie die Demo verlässt — und wie man Agenten in Produktion bringt

Fast jedes Team kann ein LLM an ein Tool hängen und in einem Nachmittag einen Wow-Moment erzeugen. Dann stirbt es — weil Produktion Dinge verlangt, die eine Demo nie testet: Gedächtnis, Leitplanken, Kosten, Beobachtbarkeit und eine saubere Übergabe. Der Unterschied liegt nicht an der Modellqualität, sondern an Engineering-Disziplin.

1. Gib dem Agenten ein Gedächtnis, dem er trauen kann

Ein Agent ohne gemeinsamen Zustand leitet bei jedem Aufruf den Kontext neu her und widerspricht sich über Sessions hinweg. Ich betreibe Org-Memory auf Postgres + pgvector mit Hybrid-Suche — Vektor, BM25 und Trigram, fusioniert per Reciprocal Rank Fusion. Die Retrieval-Qualität ist der größte Hebel dafür, ob ein Agent kompetent wirkt oder halluziniert.

2. Setze echte Leitplanken um Aktionen

Ein Demo-Agent, der nur chatten kann, ist harmlos. Ein Produktions-Agent, der E-Mails sendet, ins CRM schreibt oder Geld bewegt, braucht gescopte Tools, explizite Freigabe-Gates für alles Unumkehrbare und eine harte Trennung zwischen Lesen und Schreiben. Das Modell schlägt vor; das System entscheidet, was es wirklich tun darf.

3. Kontrolliere die Kosten, bevor sie dich kontrollieren

Token-Verbrauch ist ein Produktions-SLO, keine Überraschung auf der Rechnung. Ich leite jeden LLM-Aufruf durch ein einziges Gateway, das Budgets pro Aufgabe durchsetzt, das Modell nach Aufgabentyp wählt und Limits deckelt — damit keine außer Kontrolle geratene Schleife still ein Monatsbudget verbrennt.

4. Mach es beobachtbar

Wenn du nicht sehen kannst, was ein Agent getan hat und warum, kannst du ihm nicht vertrauen — und ihn schon gar nicht verbessern. Jeder Lauf hinterlässt eine Spur: die Eingaben, den abgerufenen Kontext, die aufgerufenen Tools, die verbrauchten Tokens. Vertrauen kommt von Monitoring, nicht vom Bauchgefühl.

5. Baue für die Übergabe, nicht fürs Lock-in

Das Ziel ist ein System, das der Eigentümer ohne mich betreibt. Das heißt Dokumentation, eine saubere Übergabe und sicherzustellen, dass kein einzelner Mensch zum Ausfallpunkt wird. Ein Agent, den man rund um die Uhr betreuen muss, ist keine Automatisierung — es ist ein zweiter Job.

“Beeindruckende KI läuft einfach weiter. Nicht weil sie im Pitch gut aussieht, sondern weil sie jeden einzelnen Tag still die Arbeit macht.”

Ich habe 27 solcher Agenten und 32 Microservices solo gebaut, hinter zwei MCP-Servern. Nichts davon ist Magie — es ist die unspektakuläre Disziplin, KI wie Software zu behandeln, die in Produktion laufen muss. Wenn Sie das für Ihr Team wollen, sprechen wir.