Étude Indépendante

Les LLMs échouent sur 1 tâche financière sur 2

Top 1 : Gemini 3.5 Flash — 57,86%. Moyenne du top 15 : ~47%. Source : Vals.ai Finance Agent Benchmark v2 ↗

#ModèleScore±Coût/tâche
1
Google
Gemini 3.5 Flash
57.86%
±0.23$2.51
2
Anthropic
Claude Opus 4.8
53.92%
±0.16$4.22
3
OpenAI
GPT 5.5
51.76%
±0.55$4.13
4
Anthropic
Claude Opus 4.7
51.51%
±0.49$4.03
5
Anthropic
Claude Sonnet 4.6
51.03%
±0.33$2.41
6
Alibaba
Qwen 3.7 Max
48.35%
±0.48$1.97
7
MiniMax
MiniMax-M3
48.27%
±0.44$0.32
8
OpenAI
GPT 5.4 Mini
45.36%
±0.45$1.08
9
Moonshot AI
Kimi K2.6
44.87%
±0.76$1.11
10
zAI
GLM 5.1
44.79%
±0.61$0.62
11
DeepSeek
DeepSeek V4
44.08%
±0.65$1.11
12
Google
Gemini 3.1 Pro Preview
42.98%
±1.21$1.59
13
Google
Gemini 3 Flash (12/25)
42.55%
±0.43$0.57
14
Alibaba
Qwen 3.6 Plus
40.85%
±0.13$0.66
15
Alibaba
Qwen 3.7 Plus
38.22%
±1.04$0.36
Données : Vals.ai FABv2 — Partial Credit scoring. Mis à jour : juin 2026.

Analyse

Pourquoi ~50%d'échec

Récupération de données

Les LLMs extraient des chiffres depuis des sources web non vérifiées. L'hallucination sur les montants financiers est la première cause d'échec.

Calcul numérique

Les résultats se dégradent sur les chaînes de calcul longues. Un écart d'arrondi au début produit une erreur massive à la fin.

Conventions métier

Aucun LLM ne connaît le PCGM, les taux de TVA marocains, ou les barèmes IR/IS. Ces conventions sont ignorées.

Comparaison

LLM seul vs LLM + Fiscalys

Gemini 3.5 Flash
LLM seul
57.86%
+ Fiscalys
97,5%
97,5%
Claude Opus 4.8
LLM seul
53.92%
+ Fiscalys
97,5%
97,5%
GPT 5.5
LLM seul
51.76%
+ Fiscalys
97,5%
97,5%

Fiscalys élimine la première cause d'échec (récupération de données) en fournissant une source de vérité déterministe. Le LLM apporte le raisonnement contextuel. Résultat : 97,5% de précision, quelle que soit la tâche fiscale marocaine.

La Solution

LLM + Fiscalys

LLM SEUL
✕ Données : web scrape non vérifié
✕ Calculs : manuels, dérive
✕ Conventions : aucune
FISCALYS
✓ Données : source certifiée, auditable
✓ Calculs : moteurs TVA/IR/IS natifs
✓ Conventions : PCGM, barèmes DGI
LLM + FISCALYS
✓ Données certifiées + raisonnement IA
✓ Calculs exacts + analyse contextuelle
✓ Conformité DGI + flexibilité LLM
Demander une démo