Accédez au plein potentiel des données tabulaires des états financiers avec une pipeline simple et robuste utilisant la puissance des Vision Language Models (VLM).

Les états financiers regorgent de données chiffrées: les valeurs du bilan, du compte de résultat, des flux de trésorerie, sont présentées sous forme de tableaux au milieu de documents PDFs.

Pour une utilisation efficace et optimisée de ces données, les équipes d’analystes (crédit, risque financier) passent un temps considérable à extraire manuellement les tableaux vers des formats exploitables pour l’analyse (excel, csv…). Ce travail manuel est chronophage, source d’erreurs, et réalisé par des équipes sur-qualifiées pour la tâche.

Les Large Language Models (LLM) et les VLM se dessinent comme des approches adaptées à de telles tâches. Mais comment construire une solution performante, adaptée à un cas d’usage spécifique ? Selon “The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance?” les benchmarks ne sont pas adaptés aux cas d’applications du monde réel, comment évaluer notre solution d’intelligence artificielle générative ?

Si la genAI fait ses preuves sur l’extraction de tables depuis les PDFs, par quels moyens utiliser leurs réponses pour accéder à des données structurées, utilisables à posteriori.

Chez Quickscale AI, nous avons pensé, testé et évalué une méthode combinant l’utilisation des LLM et des VLM pour extraire efficacement les tables PDFs vers un format structuré et directement adapté au traitement en Python, avec des résultats de plus de 80% d’accuracy.

Une pipeline en 3 étapes : du PDF vers le dataframe

La méthode d’extraction des tables se base sur deux modèles: Pixtral 12B-2409 et Llama 3.2. Ces deux modèles sont combinés à une logique simple mais robuste et un prompt engineering efficace. Le passage du PDF vers le dataframe se base sur une inférence pour chaque modèle suivi d’un parsing de la sortie des modèles par une fonction en Python pour obtenir un dataframe Pandas final.

Etape 1: image et texte du PDF vers une table markdown

Les données d’entrée de la pipeline sont la page PDF contenant le tableau, au format image, et le texte extrait de cette page. La première inférence est réalisée sur Pixtral 12B, avec pour consigne d’extraire la table telle que présente dans le PDF. Aucune transformation n’est demandée lors de cette première inférence pour éviter la surcharge d’action à réaliser par le VLM.

La sortie de cette inférence est au format markdown. Le markdown retourné par Pixtral est une première étape vers la structuration de la table du PDF, mais le format markdown n’est toujours pas utilisable tel quel en Python pour une analyse de données.

Etape 2: normalisation de la table markdown

La table markdown générée par Pixtral va nous servir de base pour la normalisation. La table markdown est donnée dans le contexte d’entrée du modèle Llama 3.2 avec des consignes précises de normalisation. Ces consignes sont basées sur des règles métiers appliquées par les analystes, et le contexte est augmenté avec des exemples – toujours au format markdown – de tables avant et après normalisation.

La sortie de cette deuxième inférence est une table markdown contenant les colonnes classiques présentes dans toutes tables d’état financier : la description des items financiers, la date de la période actuelle et celle de la période précédente et les notes. La table générée par Llama 3.2 est
désormais presque utilisable pour une étude algorithmique plus approfondie.

Etape 3: parsing de la table vers un dataframe Pandas

Après les deux appels VLM / LLM, la dernière étape consiste à parser la table markdown pour la transformer en dataframe Pandas. Pour cela, une fonction repère les séparateurs de colonnes et de lignes du format markdown pour les traduire en colonnes et lignes du dataframe. Et voilà ! La table du compte de résultat est extraite de PDF et transformée en une donnée structurée.

La pipeline est construite et prête à extraire des données de nos documents financiers. Comment évaluer les performances et mesurer l’impact des différentes technologies sur le résultat final ?

Une méthode d’extraction performante à plus de 80%

Selon “The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance?” les benchmarks ne sont pas adaptés aux cas d’applications du monde réel, comment évaluer notre solution d’intelligence artificielle générative ?

Création d’un dataset pour l’évaluation

Pour évaluer quantitativement la pipeline de bout en bout, un dataset est créé. Ce dataset comporte une quarantaine de tables provenant de 20 états financiers. Les tables sélectionnées se veulent volontairement complexes, pour évaluer les performances de la solution dans un contexte où elle a le plus de valeur ajoutée.

La méthode d’évaluation se base sur de la comparaison exacte (exact match) entre la valeur normalisée de la table d’entrée, pour une période, pour un item financier donné et la valeur du dataframe de sortie pour la même période et le même item financier.

Des résultats qui démontrent la puissance du multimodal

Pour tirer plus d’insights sur les performances des VLM sur les tâches d’extraction de tables, la pipeline est évaluée avec trois types d’entrées différentes :

• l’image et le texte de la page PDF contenant la table
• l’image seule de la page PDF
• le texte seul de la page PDF

Les résultats obtenus prouvent que la combinaison de l’image et du texte permet d’obtenir les meilleurs résultats :

Plusieurs enseignements peuvent être tirés de ces résultats :

• En utilisant le texte seul, l’accuracy est la plus basse, la vision est nécessaire pour comprendre le layout complexe des tables des états financiers. L’information brute extraite du texte ne suffit pas à reconstituer la structure implicite ou les relations spatiales entre les éléments.
• Avec l’image seule, l’accuracy est encore assez basse, principalement en raison d’une mauvaise interprétation des chiffres (le 3 et le 8 sont confondus, de même que le 9 et le 0 etc). Cette limitation est due à la contrainte technique de la taille maximale des images pouvant être acceptées en entrée du VLM.
• La combinaison de l’image et du texte résout ces deux problèmes : le layout de la table est bien interprété par le VLM, et les chiffres sont fidèlement capturés dans le texte. Le modèle bénéficie alors à la fois de la structure visuelle et de la précision sémantique, ce qui permet une meilleure compréhension globale du document.

Il est important de noter que toutes les tables en sortie de pipeline sont correctement formées. Le VLM et le LLM génèrent des tables dans un format markdown parsable dans 100% des cas.

Dans des cas de layouts complexes, la composante vision est nécessaire pour une interprétation correcte des tables à extraire.

Les VLM au coeur des solutions d’extraction

Les résultats obtenus prouvent que des pipelines utilisant des modèles de tailles raisonnables, rivalisent avec des solutions plus complexes et plus
coûteuses. La solution d’extraction de tables dans des PDFs d’états financiers, avec seulement deux inférences LLM par table, démontre de bonnes performances de précision. Sans complexité majeure, les Vision Language Models sont adaptables à des cas d’usage spécifiques et à forte valeur ajoutée.
Envie de voir comment vous pouvez extraire des données de vos documents ? Contactez-nous en cliquant sur le lien : Contact.