Une recherche en langage naturel peut aider les utilisateurs à retrouver une information. Son index doit respecter les droits du logiciel, y compris lorsque l'information apparaît dans un extrait.
Définir le périmètre consultable
Choisissez les documents et leur propriétaire. Appliquez les permissions pendant la recherche, avant d'envoyer les passages au modèle. Prévoyez les mises à jour et les suppressions.
Vérifier les frontières
Testez deux rôles et deux organisations avec des documents proches. Essayez une question sur un dossier interdit. La réponse, les références et les traces ne doivent pas exposer son contenu.
Accepter sur des cas connus
Préparez des questions dont la réponse est validée, ainsi que des questions sans réponse disponible. Mesurez les références correctes et les demandes laissées sans résultat. Demandez au partenaire le fonctionnement de l'index et son entretien. L'architecture RAG multitenant de Microsoft décrit des options de filtrage utiles à examiner selon votre système.
Décrire le parcours technique avant le devis
Une fonction de recherche peut extraire le texte d'un fichier, préparer des passages, les indexer puis les récupérer pour une réponse. Tracez ces étapes avec votre partenaire. Pour chacune, indiquez l'identité du document, son propriétaire et les droits applicables.
Les permissions doivent rester effectives lorsque les documents sont déplacés ou partagés. Une réindexation différée peut laisser un contenu ancien ; votre architecture doit préciser comment les lectures sont refusées pendant cette attente. Une suppression physique et une révocation d'accès ont parfois des calendriers différents.
Constituer un jeu de recette utile
| Cas | Vérification |
|---|---|
| Question connue | Réponse et référence attendues |
| Information absente | Absence de réponse inventée |
| Document remplacé | Version pertinente utilisée |
| Autre compte client | Contenu et référence non exposés |
| Droit retiré | Prochain accès refusé |
| Texte malveillant | Aucune permission supplémentaire |
Les questions viennent de tâches réelles, avec des documents autorisés. Gardez une partie des exemples en dehors de la préparation pour évaluer le dispositif. Faites relire les réponses par le propriétaire métier de l'information.
Séparer les causes d'erreur
Si le bon document n'est pas retrouvé, examinez l'index, les filtres et les termes de recherche. Si le passage est correct mais l'explication fausse, analysez la génération et sa validation. Une note globale ne montre pas toujours lequel de ces problèmes doit être corrigé.
La réponse peut présenter ses références pour permettre au lecteur d'ouvrir la source. Le lien doit lui-même contrôler l'accès. Afficher le titre d'un document interdit peut déjà divulguer une information, même sans ouvrir son contenu.
Prévoir l'exploitation
Désignez le responsable des documents et celui des incidents techniques. Le partenaire livre la procédure de mise à jour, les limites connues et le suivi des réponses inutilisables. Le budget inclut l'entretien de cet ensemble, ainsi que le traitement des exceptions qui restent humaines.
Une proposition précise permet de comparer les fournisseurs sur votre parcours complet. Demandez une preuve d'isolation et une évaluation de réponse avant de généraliser à davantage de comptes.
À lire aussi : Assistant IA en français et allemand : évaluer les réponses par langue. Présentez votre périmètre à Sky Vaults.