Den Ablauf mit Ein- und Ausgang beschreiben
Der Arbeitsauftrag lautet, agentische Abläufe mit begrenzter Handlungsfreiheit zu planen. Dafür werden Zweck, Owner und zulässiger Betriebsrahmen vor dem ersten Test festgelegt.
Für die fachliche Prüfung werden folgende Punkte dokumentiert: Ziel, erlaubte Tools, Budget, Stopps, Freigaben und Evaluation. Annahmen und fehlende Informationen bleiben im Ergebnis sichtbar.
Einen kontrollierten Pilot durchführen
- Ein konkretes Ziel mit überprüfbarem Ergebnis und zulässigem Aufgabenraum formulieren.
- Erlaubte Tools, Budgetgrenzen und Entscheidungen mit menschlicher Freigabe festlegen.
- Normale Aufträge und Situationen mit fehlenden Informationen oder abgelehnter Freigabe evaluieren.
- Ergebnisse und Stopps gemeinsam bewerten, bevor der Aufgabenraum erweitert wird.
Ergebnis und Fehlerweg prüfen
Eine Evaluation zeigt erreichbare Ergebnisse innerhalb des Budgets sowie korrektes Stoppen bei fehlenden Eingaben, nicht erlaubten Werkzeugen oder ausstehender Freigabe. Der Aufgabenraum ist dabei ausdrücklich dokumentiert.
Zu vermeiden: Autonomie ohne begrenzten Aufgabenraum. Lässt sich nicht vorab beschreiben, wann der Agent stoppen oder eine Entscheidung abgeben muss, ist seine Handlungsfreiheit noch nicht ausreichend begrenzt.
Entscheidungsmatrix
| Prüfpunkt | Weiter, wenn | Stoppen, wenn |
|---|---|---|
| Auftragsgrenze | Dokumentiert: Ziel, erlaubte Tools, Budget, Stopps, Freigaben und Evaluation. | Scope, Daten oder Verantwortung sind noch ungeklärt. |
| Ablaufnachweis | Eine Evaluation zeigt erreichbare Ergebnisse innerhalb des Budgets sowie korrektes Stoppen bei fehlenden Eingaben, nicht erlaubten Werkzeugen oder ausstehender Freigabe. Der Aufgabenraum ist dabei ausdrücklich dokumentiert. | Es liegt nur eine unbewertete Demo ohne Abnahmenachweis vor. |
| Kontrolle im Betrieb | Owner, Freigabe, Ersatzweg und nächster Prüftermin sind festgelegt. | Zu vermeiden: Autonomie ohne begrenzten Aufgabenraum. Lässt sich nicht vorab beschreiben, wann der Agent stoppen oder eine Entscheidung abgeben muss, ist seine Handlungsfreiheit noch nicht ausreichend begrenzt. |
Nachvollziehbar bleiben
Primärquellen
- NIST: AI Risk Management Framework coreQuellenstand:
- n8n: Production AI Playbook — Human OversightQuellenstand:
