KI-Agenten prüfen: Wann ist ein Workflow bereit für den Betrieb?

Definieren Sie, was „richtig“ bedeutet

Bei einer Rechnungsprüfung reicht eine überzeugende Zusammenfassung nicht. Fachlich relevant sind beispielsweise übereinstimmende Summen, korrekte Zuordnung und sichtbar fehlende Belege. Für unseren vorgeschlagenen Test wird vorab entschieden, welche Fehler zwingend stoppen und welche Angaben eine Person ergänzen darf.

OpenAI beschreibt Evaluationen als aufgabenspezifische Tests für das variable Verhalten generativer Systeme. Die Methode umfasst Messwerte und menschliches Urteil. Für die betriebliche Abnahme halten wir deshalb sowohl konkrete Fehler als auch deren praktische Folgen fest.

Bauen Sie eine kleine, aussagekräftige Fallsammlung

Nutzen Sie anonymisierte oder eigens erstellte Fälle, die den Alltag abbilden: einen vollständigen Vorgang, widersprüchliche Angaben, eine fehlende Quelle und eine nicht erlaubte Anforderung. Speichern Sie zu jedem Fall das erwartete Verhalten und den Grund dafür. Der Maßstab darf nicht nachträglich an die Antwort angepasst werden.

• Ergebnisqualität: Sind Fakten, Zahlen und Schlussfolgerungen belegt?
• Aktionsgrenze: Wurde ausschließlich die erlaubte Änderung ausgeführt?
• Übergabe: Ist für einen Ausnahmefall klar, wer ihn wie weiterbearbeitet?

Prüfen Sie auch das Verhalten der Werkzeuge

Ein korrekter Text kann mit einer falschen Systemaktion verbunden sein. Prüfen Sie deshalb das Zielsystem: Wurde der richtige Vorgang geändert, nur einmal geschrieben und eine erforderliche Freigabe eingehalten? Fügen Sie Testmaterial mit widersprüchlichen Handlungsanweisungen hinzu, ohne echte Daten oder echte externe Empfänger zu verwenden.

Die OpenAI-Sicherheitsdokumentation nennt Prompt Injection und unbeabsichtigte Datenweitergabe als Risiken. Begrenzte Datenflüsse und Rechte reduzieren die Folgen eines Fehlers. Auch bei bestandenen Tests bleibt deshalb relevant, welche Aktionen ein Agent überhaupt ausführen kann.

Die Testmethode bleibt, Produkte können auslaufen

Am Prüfdatum dokumentiert OpenAI das Auslaufen der Evals-Plattform: ab 31. Oktober 2026 nur lesbarer Bestand, Abschaltung von Dashboard und API am 30. November 2026 geplant. Agent Builder soll ebenfalls am 30. November auslaufen. Das beendet nicht die Notwendigkeit von Evaluationen; es verändert die Wahl des Werkzeugs.

Halten Sie Testfälle, Kriterien und Ergebnisse deshalb unabhängig vom gewählten Anbieterformat vor. Für neue Prozesse sollte vor dem Aufbau geprüft werden, ob ein Werkzeug noch eine tragfähige Betriebs- und Migrationsperspektive hat.

Nach Änderungen gezielt erneut prüfen

Neue Modelle, veränderte Quellen und zusätzliche Werkzeuge können das Verhalten verschieben. Wiederholen Sie die relevante Fallsammlung und ergänzen Sie echte neue Fehler. Entscheiden Sie anhand der betroffenen Risiken, ob ein begrenzter Nachtest genügt oder die vollständige Abnahme wiederholt werden muss.

Ein KI-Workflow-Audit hilft, Abnahmekriterien aus Ihrem tatsächlichen Prozess abzuleiten. Der Systemcheck ist ein sinnvoller Einstieg, wenn noch unklar ist, welche Arbeit automatisiert werden soll und wo Fehler die größten Folgen hätten.