Vérifiez les citations d’un assistant IA : document accessible, passage pertinent, version correcte et affirmation réellement soutenue par la source.
Une réponse accompagnée de liens paraît facile à vérifier. Encore faut-il que chaque lien ouvre le bon document et que ce document soutienne ce qui est écrit. Un assistant peut retrouver une source pertinente puis ajouter une condition absente du texte. Le contrôle doit donc descendre au niveau des affirmations.
L’objectif de cet audit est de permettre à l’utilisateur de revenir à la preuve utile. Il complète les tests de recherche d’un assistant RAG et aide à localiser les erreurs entre récupération des passages, rédaction et affichage.
Définir les affirmations qui demandent une preuve
Commencez par les éléments qui orientent une action : délai, seuil, responsable ou condition d’éligibilité. Une phrase contenant plusieurs de ces éléments peut nécessiter plusieurs références. Identifiez ce que la source doit confirmer avant de noter la réponse.
Exemple fictif : l’assistant écrit qu’un retour doit être demandé sous dix jours et approuvé par le responsable du site. Le document cité confirme le délai, mais ne nomme aucun approbateur. La réponse contient une affirmation soutenue et une autre non vérifiée. Lui attribuer une seule note « citation présente » masquerait cette différence.
Les transitions et les conseils généraux ne demandent pas toujours une citation documentaire. Il faut cependant distinguer visuellement une règle interne d’une suggestion de l’assistant. Le lecteur doit savoir si une phrase décrit une obligation issue du corpus ou une proposition de méthode.
Relier chaque référence à un passage
Conservez l’identifiant du document, sa version et la référence du passage transmis au modèle. Lorsque l’interface affiche un extrait, celui-ci doit correspondre à la source utilisée lors de la réponse. Un extrait recalculé sur la dernière version peut rendre l’historique trompeur.
Microsoft décrit les références renvoyées par la récupération agentique d’Azure AI Search, utilisables pour présenter les sources. Leur disponibilité technique fournit une base d’affichage ; votre application doit encore vérifier la correspondance entre la référence et la réponse produite.
Évitez de laisser le modèle inventer librement une adresse de document. Dans une architecture contrôlée, il peut sélectionner une référence parmi les résultats autorisés, puis l’application construit le lien. Testez ce mécanisme avec des titres identiques et des versions voisines.
Utiliser une grille de lecture courte
Le relecteur doit pouvoir enregistrer la nature du défaut. Une appréciation globale telle que « moyen » n’indique pas ce qu’il faut corriger.
| Contrôle | Exemple de défaut |
|---|---|
| Accessibilité | Le compte du lecteur ne peut pas ouvrir la source |
| Identité | Le titre correspond à un autre document |
| Actualité | La réponse cite une édition remplacée |
| Pertinence | Le passage traite un sujet voisin |
| Justification | La source ne contient pas la condition annoncée |
| Couverture | Une partie importante de la réponse reste sans preuve |
Ajoutez une colonne pour l’action attendue : corriger l’index, revoir la rédaction ou réparer l’interface. Ce classement évite de demander au même intervenant de résoudre toutes les erreurs sans connaître leur origine.
Contrôler les exceptions et les négations
Une source peut limiter une règle à un service ou exclure certains équipements. Vérifiez que la réponse conserve ces limites. Un résumé plus court devient incorrect s’il étend une règle à des situations que le document exclut.
Prêtez aussi attention aux formulations négatives. « Le service ne traite pas cette demande » ne soutient pas une réponse affirmant qu’il la traite. Le rapprochement par mots communs ne suffit pas pour noter la citation.
Lorsque deux documents semblent se contredire, le comportement attendu doit être défini avec le propriétaire métier. L’assistant peut signaler le conflit et orienter vers un responsable. Il ne doit pas choisir une règle sur la seule base d’un titre paraissant plus récent.
Tester avec les droits de l’utilisateur final
Un administrateur peut ouvrir une source que les utilisateurs du service ne voient pas. Effectuez l’audit avec des comptes représentant les groupes concernés. Le test doit porter sur le document, mais aussi sur les extraits et les titres affichés dans la conversation.
Si un lien nécessite une authentification, expliquez ce comportement dans l’interface. Évitez de copier un document privé sur une adresse publique pour rendre la citation plus commode. La qualité de l’accès se règle dans la gestion des identités et des permissions.
La maintenance du corpus RAG doit prévoir les changements de droits et le retrait des anciennes versions. Une citation correcte aujourd’hui peut devenir inaccessible après une réorganisation documentaire.
Vérifier aussi les réponses conservées
Une conversation ancienne peut citer une procédure qui a changé. Décidez si l’application conserve une référence à l’édition utilisée, affiche un avertissement ou demande de relancer la recherche. La décision dépend de la possibilité de conserver et d’ouvrir ces éditions.
N’actualisez pas silencieusement le texte d’une réponse archivée. L’utilisateur doit pouvoir distinguer la réponse d’origine d’une nouvelle consultation. Pour les dossiers importants, gardez les éléments nécessaires à comprendre ce que l’assistant avait réellement à sa disposition.
Lors de la recette de votre automatisation IA, demandez un échantillon annoté phrase par phrase. Il montrera les liens valides, les affirmations sans preuve et les passages à corriger. Cette liste fournit des actions concrètes à l’équipe de développement et aux responsables des documents.