Ein KI-Produkt von einem externen Team entwickeln zu lassen verlangt überprüfbare Qualitätskriterien. Ein deutsches Unternehmen sollte normale Eingaben, schwierige Fälle und erlaubte Aktionen vorab definieren. Eine flüssig formulierte Antwort kann fachlich falsch sein; die Bewertung muss am vorgesehenen Nutzerergebnis ansetzen.
Die Aufgabe eingrenzen
Beschreiben Sie, welche Informationen der Assistent lesen darf und welches Ergebnis er liefern soll. Trennen Sie die Suche nach einem Dokument von einer Änderung an Geschäftsdaten. Eine mögliche Aktion benötigt ihre eigenen Rechte und Freigaben.
Definieren Sie Antworten bei fehlenden oder widersprüchlichen Informationen. Der Partner muss wissen, wann das System nachfragen, eine Grenze nennen oder an eine Person weitergeben soll.
Ein autorisiertes Prüfset vorbereiten
| Fall | Bewertungsfrage |
|---|---|
| Bekannte Antwort | Ist Inhalt und Beleg korrekt? |
| Fehlende Information | Bleibt die Grenze erkennbar? |
| Widerspruch | Wird die Unsicherheit behandelt? |
| Unberechtigter Nutzer | Bleiben gesperrte Daten geschützt? |
| Geplante Aktion | Wird die notwendige Freigabe verlangt? |
Nutzen Sie Daten, deren Verwendung im vereinbarten Rahmen geprüft ist. Weitere Empfänger und Dienste gehören in diese Prüfung.
Ergebnisse nachvollziehbar halten
Speichern Sie die getestete Version und die Ergebnisse pro Fall. Eine Gesamtnote kann einen schwerwiegenden Fehler verdecken. Betrachten Sie deshalb kritische Fälle getrennt.
Prüfen Sie nach Änderungen die betroffenen Fälle erneut. Behalten Sie Grenzen des Prüfsets im Bericht: Es beschreibt die beobachteten Eingaben, nicht alle zukünftigen Fragen.
Betrieb und Kosten einbeziehen
Definieren Sie Nutzungsgrenzen, Anbieterabhängigkeiten und das Verhalten bei Ausfall eines Dienstes. Klären Sie, welche Informationen bei einem Fehler an den Support gelangen.
Der Produktverantwortliche akzeptiert die vorgesehenen Verhaltensweisen. Der technische Partner erklärt ihre Umsetzung und Grenzen. Die Freigabe sollte diese Entscheidungen und die verbleibenden Reserven dokumentieren.
Das Vorhaben vorbereiten
Weiterlesen: Startworkshop für ein Nearshore-Team: Vorbereitung und Ergebnisse. Für eine Projektanfrage nutzen Sie den Kontakt zu Sky Vaults auf Englisch.