Quellen und Fragestellung eingrenzen
Der Arbeitsauftrag lautet, unternehmensinterne Antworten mit nachvollziehbaren Fundstellen aufzubauen. Dafür werden Zweck, Owner und zulässiger Betriebsrahmen vor dem ersten Test festgelegt.
Für die fachliche Prüfung werden folgende Punkte dokumentiert: kuratierte Quellen, Zugriffsrechte, Chunking, Retrieval-Test und Zitatanzeige. Annahmen und fehlende Informationen bleiben im Ergebnis sichtbar.
Fundstellen und Aussagen abgleichen
- Eine kuratierte Quellenmenge mit Zuständigkeit, Aktualitätsstand und Zugriffsrechten zusammenstellen.
- Bekannte Fragen mit erwarteten Fundstellen auswählen und Textaufteilung sowie Retrieval daran prüfen.
- Jede Antwort mit ihrer angezeigten Fundstelle abgleichen und unbelegte Aussagen kennzeichnen.
- Fehlende Quellen und ausgeschlossene Dokumente gezielt testen und den Aktualisierungsprozess festlegen.
Unsicherheit sichtbar dokumentieren
Ein Test mit bekannten Fragen dokumentiert gefundene Textstellen, Berechtigung und Antwortstützung. Fälle ohne geeignete Quelle sowie mit nicht erlaubten Dokumenten liefern keine unbelegten oder unzulässigen Antworten.
Zu vermeiden: eine Quellenanzeige mit inhaltlicher Richtigkeit gleichzusetzen. Eine Quellenanzeige ist unzureichend, wenn die Fundstelle die Aussage nicht trägt oder der Zugriff auf das zugrunde liegende Dokument nicht zulässig ist.
Entscheidungsmatrix
| Prüfpunkt | Weiter, wenn | Stoppen, wenn |
|---|---|---|
| Quellenbasis | Dokumentiert: kuratierte Quellen, Zugriffsrechte, Chunking, Retrieval-Test und Zitatanzeige. | Scope, Daten oder Verantwortung sind noch ungeklärt. |
| Belegprüfung | Ein Test mit bekannten Fragen dokumentiert gefundene Textstellen, Berechtigung und Antwortstützung. Fälle ohne geeignete Quelle sowie mit nicht erlaubten Dokumenten liefern keine unbelegten oder unzulässigen Antworten. | Es liegt nur eine unbewertete Demo ohne Abnahmenachweis vor. |
| Aussagegrenze | Owner, Freigabe, Ersatzweg und nächster Prüftermin sind festgelegt. | Zu vermeiden: eine Quellenanzeige mit inhaltlicher Richtigkeit gleichzusetzen. Eine Quellenanzeige ist unzureichend, wenn die Fundstelle die Aussage nicht trägt oder der Zugriff auf das zugrunde liegende Dokument nicht zulässig ist. |
Nachvollziehbar bleiben
Primärquellen
- Microsoft: RAG end-to-end evaluationQuellenstand:
- Microsoft: Document-level access controlQuellenstand:
