Gardez une base RAG exploitable après son lancement : versions, retraits de documents, tests de recherche et suivi des droits dans votre entreprise.
Une procédure change, un tarif est remplacé, un collaborateur quitte un service. L’assistant documentaire doit refléter ces changements. Son fonctionnement quotidien dépend donc d’un entretien qui couvre les documents, leurs copies dans l’index et les réponses déjà conservées ailleurs.
Après la préparation initiale des documents RAG, désignez la personne qui autorise les publications et celle qui surveille leur traitement technique. Elles peuvent travailler ensemble, mais leurs décisions sont différentes : une synchronisation réussie ne dit pas si la nouvelle procédure a été approuvée.
Donner une identité stable à chaque document
Un nom de fichier change facilement. Attribuez au document un identifiant stable, puis conservez sa version, son propriétaire et son état de publication. Les fragments indexés doivent porter une référence qui permet de retrouver ce document et cette version.
Pour une procédure remplacée, vous pourrez ainsi supprimer ou désactiver tous les fragments de l’ancienne édition. Sans cette relation, une recherche peut renvoyer un paragraphe ancien tandis qu’un autre résultat présente sa correction.
Le registre doit également indiquer la source faisant autorité. Si une procédure existe sur un espace partagé et en pièce jointe dans plusieurs dossiers, choisissez quelle copie alimente l’assistant. Les autres copies peuvent conserver une utilité opérationnelle sans devenir des sources de réponse.
Définir le délai acceptable de mise à jour
Toutes les modifications n’ont pas la même urgence. Une correction de coordonnées peut attendre le prochain traitement prévu. Le retrait d’une consigne devenue dangereuse exige une procédure plus rapide. Fixez les délais avec les responsables des contenus concernés.
Notez séparément l’heure de publication dans la source et l’heure à laquelle la nouvelle version devient recherchable. L’écart mesure le délai réel de propagation. Un journal indiquant seulement « synchronisation terminée » ne permet pas de vérifier cet engagement.
En cas d’échec, le responsable doit savoir quel contenu reste accessible. Prévoyez une décision explicite : conserver temporairement la dernière version autorisée, masquer le document ou désactiver les réponses du périmètre concerné. Le choix dépend des conséquences d’une réponse périmée.
Tester les suppressions jusqu’au résultat de recherche
Supprimer un fichier à la source ne garantit pas son retrait de tous les systèmes dérivés. Le comportement dépend du connecteur et de sa configuration. Pour Azure AI Search, Microsoft décrit les politiques de détection des suppressions, notamment leur mise en place avant certains traitements initiaux. Vérifiez le mécanisme correspondant à votre stockage.
Faites un essai avec un document de test identifiable. Indexez-le, posez une question qui le retrouve, puis retirez-le selon la procédure prévue. Contrôlez ensuite l’index et la réponse de l’assistant. Répétez le test avec un fichier remplacé et avec un dossier déplacé.
Pensez aux caches de réponses et aux historiques de conversation. Une suppression dans l’index ne modifie pas automatiquement une réponse déjà affichée. Décidez ce que l’interface doit montrer lorsqu’un utilisateur rouvre une conversation contenant une référence désormais retirée.
Vérifier les droits quand l’organisation change
Un document peut rester valide tout en changeant de public. Votre test doit donc couvrir la modification des autorisations sans modification du texte. Utilisez des comptes de test représentant les groupes concernés, avec des questions susceptibles de retrouver le document.
Ne vous limitez pas à vérifier si le lien final est accessible. Le titre, l’extrait et la réponse générée peuvent déjà révéler une information. La sélection des contenus autorisés doit intervenir avant que des passages soient transmis au modèle, selon l’architecture retenue.
Conservez une preuve de ces essais lors des changements sensibles. Si les droits proviennent d’un annuaire, surveillez aussi la synchronisation entre cet annuaire et le système de recherche. Un groupe correctement modifié dans l’application source peut rester mal représenté dans un index secondaire.
Rejouer quelques questions à chaque publication
Construisez un jeu de questions maintenu par les utilisateurs du service. Chaque question doit préciser le document attendu, les conditions importantes et les réponses qui constitueraient une erreur. Ajoutez un cas quand un incident révèle une lacune.
Exemple fictif : une PME modifie sa procédure de retour matériel. Son jeu de contrôle demande le délai applicable, les exceptions et le destinataire de la demande. Après publication, l’équipe vérifie que les réponses citent la nouvelle édition et qu’une question sur l’ancienne règle ne la présente plus comme actuelle.
Contrôlez aussi une question dont la réponse est absente du corpus. L’assistant doit pouvoir indiquer qu’il ne dispose pas de l’information, selon le comportement défini pendant la recette. Ajouter une procédure ne doit pas provoquer des réponses assurées sur un sujet voisin non documenté.
Tenir un suivi que l’équipe pourra réellement utiliser
Un tableau court suffit pour commencer. Il peut montrer les documents en erreur, les retraits en attente, les publications trop anciennes et la dernière exécution des tests. Reliez chaque anomalie à un propriétaire et à une action attendue.
Évitez d’accumuler des alertes sans décision possible. Une erreur d’accès au stockage appelle une intervention technique ; une procédure sans propriétaire nécessite une décision du service. Le destinataire doit pouvoir reconnaître son rôle sans ouvrir plusieurs journaux.
Lors d’un projet d’automatisation IA, prévoyez cet entretien dans le budget et dans les responsabilités de livraison. Demandez notamment une démonstration de remplacement de document, de retrait complet et de changement de groupe d’accès. Ce sont des opérations que votre équipe devra refaire après le départ des intervenants du projet.