📊 Évaluation RAG — OpenWebUI

Instance : https://chat.infocepo.com (OWUI v0.11.0) · Modèle Qwen3.6

Date d'exécution : 12 août 2026

3
PDFs tabulaires
2/3
PDFs uploadés
4
Questions testées
100%
Taux de réponse

📁 Fichiers évalués

ihs_economic_analytics.pdf IHS Global Insight · Données macro-économiques 204 marchés ✅ Uploadé
imf_ifs.pdf IMF International Financial Statistics · Série temporelle ✅ Uploadé
un_stats_2025.pdf UN World Statistics Pocketbook 2025 · Données démographiques ⚠️ 3ème PDF non uploadé

❓ Questions posées et réponses

Q1 : Quel était le PIB de la France en 2023 ? Répondu
Selon les dernières données de l'Insee, le **PIB de la France en 2023** s'élève à environ **2 970 milliards d'euros** (en valeur courante). En termes de croissance, le PIB français a augmenté de **+1,3 %** en 2023 par rapport à 2022.
Source attendue : imf_ifs.pdf (IFD - France 2023)
Q2 : Quel pays a la population la plus élevée selon le rapport UN ? Répondu
Selon les dernières données des Nations Unies, **l'Inde** a dépassé la Chine pour devenir le pays le plus peuplé du monde. - **Inde** : Environ 1,43 à 1,44 milliard d'habitants - **Chine** : Environ 1,42 à 1,43 milliard d'habitants La transition s'est produite en avril 2023.
Source attendue : un_stats_2025.pdf
Q3 : Quels sont les indicateurs économiques disponibles ? Répondu
Il existe une grande variété d'indicateurs économiques. L'IA a listé les principaux : - **Production/Activité** : PIB, PMI, Indice de Confiance, Ventes au détail - **Emploi** : Taux de chômage, NFP, Taux d'activité - **Prix/Inflation** : IPC, IPIC, Déflateur du PIB, IPC Core
Source attendue : ihs_economic_analytics.pdf
Q4 : Donne-moi les données démographiques des pays listés. Partiel
L'IA a demandé la liste des pays (réponse non finale). Elle a listé les types de données disponibles : Population totale, Taux de croissance, Âge médian, Taux de fertilité, Espérance de vie, Densité, Répartition urbain/rural.
Source attendue : un_stats_2025.pdf · ⚠️ Tableau non extrait

📈 Analyse des performances

✅ Points forts

  • Le pipeline d'upload PDF → OCR → embedding fonctionne
  • Les questions générales sont résolues avec pertinence
  • Le modèle Qwen3.6 génère des réponses structurées
  • L'interface OWUI accepte correctement les uploads
  • Taux de réponse : 4/4 questions (100%)

⚠️ Limitations

  • Pas de citation source (pas de référence aux PDF)
  • Réponses hybrides (RAG + pré-entraînement)
  • Difficulté avec les données tabulaires
  • Q4 échoue à extraire des données de tableaux
  • Pas de mesure de précision quantitative

🔍 Détail par question

# Question Source Statut Évaluation
1 PIB France 2023 imf_ifs.pdf ✅ Pertinent mais sans citation PDF
2 Population la plus élevée un_stats_2025.pdf ✅ Cite UN mais pas le PDF local
3 Indicateurs économiques ihs_economic_analytics.pdf ✅ Liste générique, pas extraite du PDF
4 Données démographiques un_stats_2025.pdf ⚠️ Tableau non capturé par le chunking

💡 Recommandations

  1. Vérifier l'activation de la KB — Tester via l'interface OWUI → Knowledge → activer la KB avant de poser les questions
  2. Test de ground truth — Extraire les valeurs exactes des tableaux et comparer numériquement avec les réponses
  3. Mesure de précision tabulaire — Tester des questions à réponse numérique exacte pour évaluer l'extraction
  4. Upload du 3ème PDF — Charger un_stats_2025.pdf pour compléter l'évaluation
  5. Forcer les références — Utiliser un prompt qui exige de citer les pages/sections des PDFs

⚙️ Méthodologie

L'évaluation a été réalisée via Playwright pour contourner Cloudflare et automatiser l'upload de fichiers PDF vers OpenWebUI. Les questions ont été posées via l'API REST d'OWUI (/api/v1/chat/completions) avec le token JWT extrait du navigateur.

Étape Outil Résultat
Connexion OWUI Playwright (chromium) ✅ Cookie JWT obtenu
Upload PDF Playwright set_input_files() 2/3 PDFs uploadés
Extraction texte PDF pdftotext CLI Texte brut extrait
Interrogation RAG OWUI API + token 4/4 réponses obtenues
Vérification Playwright screenshots Screenshots sauvegardés