Recherche hybride RAG : découpage, reclassement et preuves

Une recherche documentaire cyber doit retrouver aussi bien un identifiant exact qu’une explication exprimée autrement. Une référence de correctif, un nom de route et une description d’impact ne se recherchent pas nécessairement de la même façon. C’est une raison de comparer recherche lexicale et recherche sémantique sur des questions représentatives.

La recherche hybride combine plusieurs signaux de recherche. Elle ne garantit pas que les premiers passages soient applicables ou autorisés. Le circuit RAG d’entreprise doit déjà définir ces contraintes.

Le découpage doit préserver une unité compréhensible

Un passage qui contient « cette opération nécessite un rôle administrateur » devient ambigu si le nom de l’opération est resté dans le morceau précédent. À l’inverse, un document entier peut contenir plusieurs produits et versions dont un seul répond à la question.

Pour un corpus de procédures, essayez un découpage par section qui conserve le titre, le produit et la révision. Pour une référence d’API, rapprochez la méthode, la route, les préconditions et la réponse attendue. Gardez un identifiant stable reliant chaque morceau à sa source.

Le chevauchement entre morceaux peut rétablir une continuité, mais il ajoute des doublons. Si les cinq premiers résultats répètent la même phrase, le contexte contient moins de preuves distinctes que ne le suggère leur nombre. Mesurez cette redondance avant d’augmenter la taille du contexte.

Mots clés, vecteurs et fusion de rangs

Un moteur lexical peut être précieux pour une référence exacte. Un moteur vectoriel peut aider lorsque la question paraphrase le contenu. Ces comportements doivent être testés dans votre corpus : le simple choix d’un embedding ne démontre pas la capacité à retrouver toutes les formulations.

Les scores provenant de deux moteurs ne sont pas forcément comparables. Une fusion par rang permet de les combiner sans supposer qu’un score lexical vaut une similarité vectorielle. Voici la forme d’une fusion réciproque des rangs :

score(document) = somme, pour chaque liste où il apparaît, de 1 / (c + rang)

Le paramètre c, la profondeur des listes et la gestion des doublons font partie de l’expérience. Cette formule combine des positions ; elle ne calibre pas une probabilité de pertinence. Un document interdit doit être absent des listes consommées par les étapes suivantes.

Le reclassement ne répare pas un candidat absent

Un reranker réordonne les passages qu’il reçoit. Si la recherche initiale n’a pas retrouvé la bonne procédure, le reclassement ne peut pas la recréer. Il faut donc mesurer la recherche de candidats séparément de la qualité de l’ordre final.

Le service de reclassement doit respecter le même périmètre de confidentialité que le générateur. Envoyer un extrait client à un fournisseur externe constitue déjà un traitement de ce contenu, même si le passage n’apparaît finalement pas dans la réponse.

Une expérience qui permet de choisir

Construisez un petit jeu annoté avec les identifiants des passages attendus. Incluez des identifiants exacts, des paraphrases, des versions proches et des questions dont aucune source ne permet la réponse. Gardez un ensemble séparé pour vérifier le choix final, plutôt que d’ajuster les paramètres jusqu’à réussir les mêmes exemples.

Comparez les variantes avec les mêmes autorisations et le même budget. Le rappel des passages attendus parmi les premiers candidats, la précision des preuves livrées, la latence et les erreurs d’abstention éclairent des décisions différentes. Une moyenne globale peut masquer l’échec sur toutes les références exactes.

Notre exemple local illustre uniquement le filtrage et un score de chevauchement lexical. Il n’implémente pas BM25, les embeddings ou cette fusion. Vous pouvez reprendre ses cas d’isolation comme contrôles préalables, puis ajouter des embeddings et une fusion de rangs dans une expérience distincte.

Si les questions portent sur des relations et des synthèses de corpus, examinez aussi GraphRAG et ses compromis. La documentation OpenSearch sur la recherche hybride décrit une implémentation ; la version et les paramètres doivent rester associés à vos résultats. Retrouvez la série dans le dossier IA et cyber.