Fast alle nutzen inzwischen KI, aber kaum jemand baut darauf auf. Jeder Prompt beginnt bei null, und wenn jemand das Team verlässt, geht das Gelernte mit. So beschreibt Eric Siu, Gründer der Agentur Single Grain, das Problem in seinem Beitrag im Moz-Blog vom 15. Oktober 2026. Seine Antwort besteht aus drei Bausteinen: Skills, Evals und Loops.

Meine Kurzfassung vorweg: Ein KI-Workflow wird nicht durch bessere Prompts verlässlich, sondern durch den Prüfschritt. Wer vorher festlegt, woran ein fertiges Ergebnis zu erkennen ist, kann Arbeit an die KI abgeben. Wer das nicht tut, automatisiert vor allem seine Fehler.

Was Assistent, Agent, Skill und Workflow grundsätzlich unterscheidet, steht in Assistent, Agent, Workflow, Skill, Konnektor: Was ist was?, und wo du selbst stehst, in KI nutzen in sechs Stufen. Hier geht es um die beiden Bausteine, die dort zu kurz kommen: Evals und Loops.

Skills: das Rezept, nicht das Ergebnis

Ein Skill ist bei Siu ein Arbeitsablauf, den die KI jedes Mal gleich ausführt, meist als Markdown-Datei. Das Format geht auf Anthropics Agent Skills zurück und funktioniert laut Siu inzwischen auch in ChatGPT und Codex. Seine Faustregel: Was du zweimal machst, machst du einmal gut und baust dann einen Skill daraus.

Als Beleg nennt er einen Skill für lange Beiträge auf X, der seine Impressionen von 180.000 im Januar auf rund 3,1 Millionen im Juni gebracht habe. Das ist eine Eigenangabe, und sie verrät nicht, welchen Anteil der Skill hatte und welchen Themenwahl, Takt und gewachsene Reichweite. Spannender finde ich ein Detail daneben: Siu gibt seiner eigenen Fassung des Skills fünf von zehn Punkten, jemand aus seinem Team hat die eigene Kopie auf acht oder neun gebracht. Ein Skill ist also kein fertiges Produkt, sondern ein Zwischenstand.

Was ein Skill nicht leistet: Er beschreibt, wie gearbeitet wird. Ob die KI dabei auf Search Console, ein SEO-Tool oder das CMS zugreifen darf, regeln Konnektoren.

Kurz gefragt

Hast du feste Prüfregeln (Guardrails) für KI-Ergebnisse?

Im nächsten Abschnitt geht es darum, wie aus solchen Regeln ein Eval wird.

Wie andere bei weiteren Fragen abgestimmt haben, zeigt die Übersicht KI-Umfragen.

Anonym: Gezählt wird nur deine Antwort. Mehr dazu in der Datenschutzerklärung.

Evals: vorher festlegen, wann etwas fertig ist

Siu gibt offen zu, dass ihm das Wort Eval anfangs zu groß vorkam. Seine Übersetzung ist trotzdem die beste, die ich kenne: Der Skill ist der Prozess, das Eval ist die Definition von „fertig“. Bevor ein Ergebnis rausgeht, wird es an festen Kriterien gemessen. Besteht es, geht es raus. Besteht es nicht, wird nachgebessert und neu bewertet.

Sein Beispiel: Im X-Skill sucht ein Prüfschritt nach typischen Mustern von KI-Texten. Jeder Entwurf startet mit 100 Punkten und verliert für jedes gefundene Muster Punkte. Veröffentlicht wird ab 90.

Für promptpower.de arbeite ich mit Claude Code und ähnlichen Prüfregeln. Sie sind allerdings nicht am Reißbrett entstanden, sondern aus Fehlern:

  • Kein Beitrag geht live, solange ein interner Prüfvermerk im Text steht. Gesucht wird vor dem Veröffentlichen und danach noch einmal auf der öffentlichen Seite ohne Login.
  • Der sichtbare Text liegt zwischen 6.000 und 9.000 Zeichen. Wird es mehr, wird zuerst gekürzt.
  • Der SEO-Titel ist höchstens 580 Pixel breit, gemessen und nicht geschätzt.
  • Nach jeder Änderung meldet der Block-Editor null ungültige Blöcke.
  • Kein Gedankenstrich als Satztrenner.

Das sind keine klugen Regeln, sondern langweilige. Genau deshalb lassen sie sich zuverlässig prüfen. Ob ein Text gut ist, entscheide ich weiter selbst. Ob er 9.400 Zeichen hat, muss niemand mehr nachzählen.

Bei Siu bewertet das Eval auch Qualität, Richtigkeit und Passung. Das kann eine zweite KI übernehmen, aber sie prüft dann, ob etwas plausibel klingt, nicht ob es stimmt. Für Zahlen und Zitate braucht es weiterhin die Originalquelle.

Loops: der Kreis, der aus Fehlern Regeln macht

Für Siu ist ein Loop ein Workflow, der lernt. Ein Agent nimmt einen Auftrag an, nutzt Werkzeuge und liefert ein Ergebnis. Ein Loop setzt dagegen einen Zielzustand, misst den Ist-Zustand, bewertet die Lücke, handelt und schreibt mit, was passiert ist. Sein Beispiel: Alle Seiten sollen in unter 50 Millisekunden laden, im Schnitt sind es 150. Der Loop arbeitet, bis die Lücke geschlossen ist.

Das unterhaltsamste Beispiel im Text ist zugleich das heikelste. Rund 20 Sponsoring-Anfragen pro Woche beantwortet bei Siu ein Loop namens „Mr. Siu Sponsorship“, mit einem festen Preis von 25.000 Dollar pro Video. Weil die Anfragenden immer wieder nach Richtlinien und Mediakit fragten, schickt der Loop beides inzwischen von sich aus mit. Aufgetragen hatte ihm das niemand. Siu nennt das rekursive Selbstverbesserung.

So würde ich das nicht bauen, jedenfalls nicht für alles. Ein Loop, der ungefragt sein Verhalten ändert und dabei im eigenen Namen nach außen schreibt, ist bei Sponsoring-Anfragen eine nette Anekdote. Bei Kundenanfragen, Preisen oder Veröffentlichungen wird daraus ein Haftungsthema. Siu erzählt selbst, dass er jeden Morgen nachliest, was der Loop geändert hat. Das ist der eigentliche Prüfschritt, und er ist menschlich. Was ohne diesen Schritt passieren kann, zeigen zwei Agenten bei OpenAI, die ihre eigene Überwachung abgeschaltet haben (Halloween mit KI).

Wie das Lernen bei mir aussieht

Auf promptpower.de lernt nicht das Modell, sondern das Regelwerk. Jede Änderung landet mit Anlass und Datum in einem Änderungsprotokoll. Was sich dort als Fehler wiederholt, wird zur Regel in einer Projektanweisung, die Claude vor jeder Arbeit liest. Die Regel zu den Prüfvermerken stammt vom 11. Oktober 2026: Damals stand ein Beitrag mit vier offenen Vermerken live. Die Längenregel kam vier Tage später, nachdem ein Beitrag nach mehreren Ergänzungen zwei Absätze zum selben Thema und ein Fazit hatte, das alles noch einmal aufzählte.

An der Stelle „Regel“ sitzt bei mir also ein Mensch, der entscheidet, was künftig gilt (Human in the Loop). Für eine Website ohne Testumgebung, auf der jede Änderung sofort live ist, halte ich das für die richtige Stelle.

Ein KI-Workflow fürs Marketing, Schritt für Schritt

Auch Siu lässt seinen Loop für Inhalte vor dem Veröffentlichen bei einem Menschen enden. Er wertet aufgezeichnete Gespräche, Podcast und YouTube-Kanal aus, sucht die Themen, die immer wiederkehren, lässt Entwürfe schreiben und legt sie in WordPress ab. Ob etwas erscheint, entscheidet eine Person aus dem Team.

Für den Einstieg reicht weniger. Ein Beispiel mit der Search Console:

  1. Eine Aufgabe wählen, die jede Woche anfällt und deren Ergebnis sich prüfen lässt, etwa die Auswertung der Search Console.
  2. Aufschreiben, wie du sie heute erledigst: welche Daten, welche Schritte, woran du ein brauchbares Ergebnis erkennst. Das ist der Skill.
  3. Drei bis fünf prüfbare Kriterien festlegen: Jede Empfehlung nennt eine URL, stützt sich auf eine Zahl aus dem Export und trennt Beobachtung („viele Impressionen, wenige Klicks“) von Vermutung („ein anderer Titel könnte helfen“). Das ist das Eval.
  4. Mit echten Daten testen, ein CSV-Export genügt. Jeden Fehler notieren.
  5. Aus wiederkehrenden Fehlern neue Regeln machen und nach einigen Wochen nachsehen, ob sich Klickrate oder Position bewegt haben. Das ist der Loop.

Erst wenn das von Hand zuverlässig läuft, lohnt sich die Anbindung über API, MCP oder ein Werkzeug wie n8n. Weitere Einsatzfelder sammle ich unter KI im Marketing.

Fazit: Der Prüfschritt ist die eigentliche Arbeit

Siu verkauft Skills, Evals und Loops als Weg zu messbarem Umsatz. Die Zahlen dafür sind Einzelbelege aus der eigenen Agentur. Überzeugender ist, was er nebenbei erzählt: Skills werden besser, weil Menschen sie verbessern, und ein Loop ist nur so gut wie seine Definition von „fertig“. Wer KI im Marketing einsetzt und noch keine einzige feste Prüfregel hat, sollte dort anfangen und nicht beim nächsten Agenten. Ein KI-Workflow ohne Eval ist nur ein schnellerer Weg zu AI Slop.