Extraction basée sur des prompts : comment utiliser les LLM dans votre pipeline gouverné de traitement de documents

Vantage, la plateforme Document AI d'ABBYY, prend désormais en charge l'extraction basée sur des prompts, une fonctionnalité qui vous permet d’intégrer directement de grands modèles de langage (Large Language Models – LLM) à vos workflows de traitement documentaire et d’extraire des données structurées à l'aide d'instructions en langage naturel. Aucun développement spécifique, aucune plateforme distincte et aucun entraînement préalable du modèle ne sont nécessaires. Cet article présente le fonctionnement de la fonctionnalité, les fournisseurs de LLM pris en charge, la marche à suivre pour les connecter, ainsi que les capacités concrètes qui la rendent opérationnelle en entreprise dès le premier jour.

Points clés à retenir

• ABBYY Vantage adopte une approche « apportez votre propre modèle » (Bring Your Own Model – BYOM), avec des connexions natives à OpenAI, Microsoft Foundry et Google AI Studio (Gemini).
• L'extraction basée sur des prompts est une activité en glisser-déposer dans Advanced Designer, qui s'intègre directement aux Document Skills (compétences documentaires) existantes.
• Des prompts préconfigurés sont inclus pour accélérer le déploiement, avec la possibilité de les modifier et de les affiner librement.
• Vous pouvez tester et affiner vos prompts sur des documents réels avant de publier une compétence en production.
• L'envoi sélectif d'extraits de documents vous donne la maîtrise des données qui quittent votre organisation et du volume de tokens consommé.

 

Qu'est-ce que l'extraction basée sur des prompts dans la plateforme ABBYY Vantage ?

L'extraction basée sur des prompts vous permet d'utiliser des instructions en langage naturel pour extraire des données structurées de vos documents à l'aide du LLM de votre choix. Au lieu d'entraîner un modèle traditionnel d'apprentissage automatique (Machine Learning – ML), vous décrivez les champs à extraire, définissez le format de sortie, et le LLM se charge du reste.

La fonctionnalité prend la forme d'une activité dédiée Advanced Designer d’ABBYY Vantage. Vous l'ajoutez au canevas de votre workflow comme n'importe quelle autre activité d'extraction, la connectez à un fournisseur de LLM, rédigez ou ajustez un prompt, puis l'exécutez sur vos documents. Les résultats sont directement associés aux champs de sortie que vous avez définis dans la Document Skill.

Cette fonctionnalité est importante, car elle étend le champ d'action de la plateforme. Les modèles de Machine Learning spécialisés restent le bon choix pour les documents structurés, répétitifs et à fort volume. L’extraction basée sur des prompts répond quant à elle aux besoins liés aux documents dont la mise en page varie fortement, aux cas d’usage à faible volume mais à forte valeur ajoutée, ainsi qu’aux scénarios dans lesquels vous ne disposez initialement d’aucune donnée d’entraînement annotée.

Connectivité aux LLM : apportez votre propre modèle

ABBYY Vantage adopte une approche agnostique vis-à-vis des modèles. Vous fournissez les identifiants du LLM ; la plateforme se charge du reste. Les connexions se configurent une seule fois au niveau du tenant et sont immédiatement accessibles à tous les concepteurs de Document Skills de votre organisation.

Quels fournisseurs de LLM sont actuellement pris en charge ?

Trois fournisseurs sont pris en charge via des connexions natives prêtes à l'emploi :

• OpenAI ChatGPT: connexion directe à l'aide d'une clé API et du nom de modèle (par ex. gpt-4, gpt-4o). La configuration ne prend que quelques minutes.
• Microsoft Foundry: pour les organisations qui utilisent une infrastructure Azure, cette option donne accès à une grande variété de modèles hébergés dans Azure. La configuration nécessite une clé API, l'URL complète du point de terminaison et un nom de modèle. Cette option convient particulièrement aux entreprises qui doivent respecter des exigences en matière de résidence des données ou déjà engagées vis-à-vis d’Azure.
• Google AI Studio (Gemini): connexion aux modèles Gemini de Google à l'aide d'une clé API et du modèle de votre choix (par ex. gemini-2.0-flash, gemini-2.5-pro). Une option simple à mettre en œuvre pour les équipes qui travaillent déjà dans Google Cloud.

Chaque fournisseur a ses propres exigences en matière de configuration, mais la procédure suit toujours le même schéma : accédez à Configuration dans la section Admin, ouvrez Connexions, cliquez sur « Add Connection », sélectionnez votre fournisseur, saisissez vos identifiants et lancez un test de connexion. Une coche verte confirme que la connexion est active. Après la publication d'une compétence, les administrateurs du tenant peuvent également remplacer la connexion par défaut pour chaque environnement, sans avoir à republier la compétence.

Qu'en est-il des fournisseurs de LLM absents de cette liste ?

Nous travaillons à élargir la connectivité native de cette fonctionnalité ; en attendant, la fonctionnalité Custom Activity vous permet de connecter d'autres modèles. Elle étend la connectivité au-delà des trois fournisseurs pré-intégrés en autorisant l'appel de n'importe quel service REST tiers depuis une compétence documentaire. Vous pouvez ainsi router vos documents vers d'autres LLM : Anthropic Claude, modèles auto-hébergés ou LLM propriétaires d'entreprise. Vous définissez les champs du document ainsi que les formats de texte et d'image avant tout envoi externe, et vous choisissez des formats de sortie au-delà des options par défaut. Vous gardez ainsi la maîtrise des données partagées, tout en réduisant considérablement l'effort de développement. Des connecteurs pré-intégrés pour d'autres fournisseurs sont également disponibles sur l'ABBYY Marketplace.

Les points forts de la fonctionnalité

Des prompts prédéfinis, prêts à l'emploi

Rédiger de zéro des prompts d'extraction efficaces demande du temps et de l'expertise. L'activité basée sur des prompts d'ABBYY Vantage inclut des prompts prédéfinis, fruits de plusieurs décennies d'expérience en traitement de documents. Il ne s'agit pas de modèles génériques : ils encodent une connaissance précise de la structure des documents métier, des variations de libellés de champs selon les langues et les formats, et de la manière d'instruire un LLM pour qu'il extraie les données à l'identique, sans déduction ni reformatage des valeurs.

Un prompt prédéfini type comprend quatre composants :

• Rôle : définit la fonction que le LLM doit jouer (par ex. « modèle d'extraction de données ») et délimite le périmètre de la tâche.
• Format de sortie : spécifie la structure JSON exacte que le LLM doit renvoyer, avec des noms de champs correspondant directement aux champs de sortie de la compétence.
• Règles propres à chaque champ : fournit des motifs de reconnaissance, des spécifications de format, des indications d'emplacement et des règles d'exclusion pour chaque champ. Par exemple, une règle pour le champ IBAN listera les variantes de libellés dans plusieurs langues (« Bankverbindung », « Coordonnées bancaires », « Payment Details »), précisera que la valeur complète doit être extraite exactement telle qu'imprimée, et exclura explicitement les IBAN appartenant au client plutôt qu'au fournisseur.
• Règles de rigueur : préviennent les hallucinations en interdisant au LLM de générer ou de déduire des valeurs. Si un champ n'est pas clairement présent, il est omis de la sortie plutôt que deviné.

Vous pouvez ajuster ces prompts pour ajouter du contexte, enrichir les règles de champs ou introduire une logique d'extraction conditionnelle. La structure prédéfinie vous offre un point de départ fiable plutôt qu'une page blanche.

Tester et optimiser les prompts dès la conception

Avant, la mise en production d’une compétence documentaire, vous pouvez tester les activités basées sur des prompts directement sur des documents réels dans Advanced Designer. Sélectionnez un document de votre jeu de test, exécutez l'activité et examinez les champs extraits dans la vue prédictive. Chaque valeur extraite affiche le nom du champ, le texte prélevé dans le document et l'emplacement où la valeur a été trouvée.

Cette boucle de test en phase de conception vous permet d'identifier rapidement les problèmes et de procéder à des ajustements sans perturber le traitement en production. Parmi les ajustements les plus courants :

• Ajouter des variantes de libellés lorsqu'un champ est manqué en raison de différences de mise en forme
• Renforcer les règles de rigueur lorsque le LLM tente de remplir des champs vides avec des données déduites
• Spécifier des séquences d'échappement pour les valeurs multilignes, comme les adresses
• Clarifier les règles d'appartenance des données lorsque le document contient à la fois des données fournisseur et des données client pour un même type de champ

L'approche itérative — modifier une règle à la fois et tester sur plusieurs documents — produit des résultats plus cohérents que l'optimisation sur un seul exemple. Le format du document influe également sur les résultats. La plateforme propose plusieurs options d'envoi des documents au LLM, dont Plain Text, Formatted Text et Annotated Text. Annotated Text est le format recommandé : il préserve la structure du document tout en étant traité efficacement, et il évite les coûts en tokens plus élevés ainsi que la prise en charge limitée associés à l'envoi de fichiers PDF bruts.

L'envoi sélectif d'extraits de document : maîtrise des tokens et confidentialité des données

Envoyer un document entier à une API de LLM externe à chaque requête d'extraction pose deux problèmes : le coût et l'exposition des données. La plateforme Document AI d'ABBYY répond aux deux grâce au traitement sélectif.

L'activité basée sur des prompts s'exécutant au sein d'une compétence documentaire plus large, vous pouvez la configurer pour ne traiter que certaines parties d'un document. La reconnaissance optique de caractères (Optical Character Recognition – OCR) et l'analyse de mise en page de la plateforme s'exécutent d'abord et produisent une représentation textuelle propre et structurée du document. Vous n'envoyez ensuite au LLM que les sections ou les champs pertinents, plutôt que le document brut dans son intégralité.

Les bénéfices concrets sont immédiats :

• La consommation de tokens diminue, car le LLM reçoit moins de données en entrée à chaque requête.
• La confidentialité des données s'améliore : les champs ou sections sensibles que vous ne souhaitez pas transmettre à l'extérieur ne quittent jamais le pipeline.
• La précision augmente, le LLM recevant un texte propre et structuré issu de l'OCR d'ABBYY plutôt que des pixels bruts ou des données mal formatées.

Cette approche réduit également le risque d'injection de prompt, une vulnérabilité connue lorsque le contenu brut d'un document est transmis directement à un LLM sans prétraitement.

Comment cette fonctionnalité s'intègre dans un workflow hybride

Cette approche fonctionne en complément des autres méthodes d'extraction de la plateforme — elle ne les remplace pas. Une compétence de traitement de factures type peut utiliser un modèle d'extraction ML pré-entraîné pour les champs structurés, comme les lignes d'articles et les totaux, puis ajouter une activité basée sur des prompts spécifiquement pour les coordonnées bancaires du fournisseur, qui varient trop d'une mise en page à l'autre pour qu'un modèle entraîné les traite de manière fiable.

Avec un pipeline hybride, chaque approche d'extraction traite ce qu'elle fait de mieux :

Les sorties des activités basées sur des prompts alimentent les mêmes étapes de validation, de revue humaine (Human-in-the-Loop) et d'export que tout autre résultat d'extraction. La réponse du LLM est ancrée dans le document source ; les valeurs de champs étant extraites à l'identique et associées à des emplacements de lignes précis, vous obtenez une sortie traçable qui répond aux exigences de conformité.

Quelles prochaines étapes pour l'intégration des LLM dans la plateforme Document AI d'ABBYY ?

Un aperçu de ce que nous préparons : nous élargissons la prise en charge de l'écosystème LLM aux modèles généralistes et aux modèles propriétaires auto-hébergés, au-delà des connexions pré-intégrées actuelles. Nous développons également des outils de gestion et d'optimisation des prompts, des garde-fous renforcés de gouvernance et de prévention des hallucinations pour les sorties des LLM, ainsi que des modèles de langage hébergés par ABBYY et optimisés pour le traitement de documents, afin de permettre une extraction zero-shot efficace et fiable, sans entraînement préalable.

Lancez-vous avec l'extraction basée sur des prompts

L'extraction basée sur des prompts comble l'une des lacunes les plus courantes de l'automatisation documentaire : traiter des documents trop variables ou trop peu structurés pour l'entraînement d'un modèle traditionnel, sans développer d'intégration sur mesure. Grâce à la combinaison de connexions LLM pré-intégrées, de prompts prédéfinis, de tests en phase de conception et d'envoi sélectif des données, vous passez de la configuration de la connexion à une compétence d'extraction opérationnelle en moins de 30 minutes.

Pour un accompagnement technique complet, consultez la documentation consacrée à la configuration des connexions LLM et à l'extraction de données avec des activités basées sur des prompts. Pour explorer tout le potentiel de la plateforme, rendez-vous sur abbyy.com/fr/ai-document-processing.