L’exfiltration à l’exécution (runtime exfiltration) représente l’un des risques les plus critiques pour les systèmes d’intelligence artificielle en production : l’extraction non autorisée de données sensibles pendant l’exécution du modèle. Les attaquants exploitent les points de terminaison d’inférence, les journaux (logs), les caches ou les réponses API pour soustraire des informations confidentielles que le système ne devrait jamais exposer.

Cet article fait partie du chapitre AI Data Testing du guide OWASP AI Testing Guide.

Objectifs du test

Un test efficace d’exfiltration à l’exécution doit :

• Identifier les vulnérabilités permettant l’extraction de données pendant l’exécution du modèle
• Vérifier que les sorties d’inférence, les journaux et les caches n’exposent pas d’informations sensibles
• Valider les contrôles de sécurité et de confidentialité mis en œuvre pour la gestion des données en production
• Assurer l’isolation des données entre différents utilisateurs ou locataires (tenants)

Méthodologie et charges utiles (payloads)

Attaque par inférence de données sensibles (Sensitive Data Inference Attack)

Cette technique consiste à envoyer des requêtes d’inférence conçues pour extraire ou déclencher l’exposition de données sensibles. Le test vérifie si le modèle peut être manipulé pour révéler des données d’entraînement contenant des informations confidentielles, des informations appartenant à d’autres utilisateurs ou sessions, des données propriétaires ou des secrets commerciaux, ainsi que des informations personnellement identifiables (PII).

Indicateur de vulnérabilité : les réponses du système contiennent des données sensibles qui devraient être protégées ou masquées.

Vérification des journaux et caches non protégés

Les systèmes d’IA génèrent des journaux détaillés et utilisent des caches pour optimiser les performances. Le test vérifie si les journaux système enregistrent des données sensibles en clair, si les caches conservent des informations confidentielles sans protection adéquate, si les mécanismes d’accès aux journaux et aux caches sont suffisamment restrictifs, et s’il existe des procédures de rétention et de suppression sécurisée des données temporaires.

Indicateur de vulnérabilité : la présence de données sensibles non masquées dans les journaux ou les caches représente une vulnérabilité critique.

Exploitation des réponses API à l’exécution

Les points de terminaison API des systèmes d’IA peuvent être manipulés pour extraire des informations non autorisées. Le test analyse les réponses API qui révèlent des détails internes du système, des messages d’erreur exposant des traces de pile (stack traces) ou des variables internes, des paramètres de réponse contenant les données d’autres utilisateurs, et des métadonnées révélant des informations sur la structure ou la configuration du système.

Indicateur de vulnérabilité : une réponse API qui expose par inadvertance des données sensibles viole les exigences de sécurité et de confidentialité.

Résultat attendu

Protection des sorties d’inférence

Le système doit garantir que les réponses du modèle ne contiennent pas de données sensibles provenant d’autres contextes ou utilisateurs, d’informations personnellement identifiables non autorisées, de données propriétaires ou de secrets commerciaux, ainsi que de détails techniques qui pourraient faciliter des attaques ultérieures.

Masquage dans les journaux et les caches

Toutes les données sensibles doivent être masquées ou anonymisées avant d’être enregistrées dans les journaux, protégées par chiffrement lorsqu’elles sont conservées en cache, omises des messages d’erreur et des traces de débogage, et soumises à des politiques de rétention et de suppression sécurisée.

Sécurité des API à l’exécution

Les API doivent mettre en œuvre des contrôles rigoureux : messages d’erreur génériques ne révélant pas de détails internes, validation et assainissement de toutes les entrées et sorties, isolation des données entre différents utilisateurs ou locataires, et journalisation sécurisée des opérations sans exposition de données sensibles.

Actions de remédiation

Validation et assainissement des sorties

Mettre en œuvre des contrôles automatiques qui scannent les sorties à la recherche de modèles de données sensibles avant leur renvoi, masquent ou suppriment automatiquement les informations confidentielles, appliquent des règles de prévention contre la perte de données (DLP) en temps réel, et enregistrent les tentatives d’extraction pour analyse de sécurité.

Impact attendu : réduction significative du risque d’exposition accidentelle de données sensibles via les réponses du modèle.

Journalisation sécurisée et gestion des caches

Configurer les systèmes pour filtrer ou masquer les données sensibles avant l’enregistrement dans les journaux, éviter la journalisation des entrées utilisateur brutes ou des réponses API complètes en production, n’enregistrer que les métadonnées nécessaires au dépannage et à l’audit, chiffrer les caches et mettre en œuvre des politiques d’expiration automatique, et limiter l’accès aux journaux et aux caches au seul personnel autorisé.

Impact attendu : protection des données sensibles tout au long du cycle de vie opérationnel du système d’IA.

Gestion des erreurs et contrôles multi-tenants

Adopter les meilleures pratiques consistant à n’afficher que des messages d’erreur génériques aux utilisateurs finaux, éviter l’exposition de traces de pile, de variables internes ou de données brutes, isoler logiquement et cryptographiquement les données de chaque locataire, mettre en œuvre des contrôles d’accès granulaires au niveau des données, et vérifier régulièrement l’efficacité de l’isolation entre les locataires.

Impact attendu : élimination des vecteurs d’attaque basés sur les messages d’erreur et renforcement de l’isolation multi-tenant.

Outils suggérés

• OWASP AI Security and Privacy Guide : cadre de référence pour la sécurité des systèmes d’IA
• Rebuff : outil pour détecter et bloquer les tentatives d’injection de prompt et d’exfiltration de données
• PyRIT (Python Risk Identification Toolkit) : boîte à outils Microsoft pour identifier les risques de sécurité dans les systèmes d’IA générative
• Garak : scanner de vulnérabilités pour les modèles de langage

Approfondissements utiles

Pour mieux comprendre le contexte de l’exfiltration à l’exécution au sein de la sécurité des données IA, consultez ces articles connexes :

• AI Data Testing : Sécurité et Validation des Données : aperçu complet du chapitre OWASP AI Data Testing
• AITG-DAT-01 : Testing for Training Data Exposure : test pour la protection des données d’entraînement
• AITG-INF-02 : Testing for Resource Exhaustion : protection contre les attaques par épuisement des ressources

Comment ISGroup vous accompagne

ISGroup propose des services spécialisés pour évaluer et améliorer la sécurité des systèmes d’IA en production. Grâce au service de Secure Architecture Review, nos experts analysent l’architecture des systèmes d’IA pour identifier les vulnérabilités d’exfiltration à l’exécution et proposer des solutions concrètes de mitigation.

L’équipe ISGroup accompagne les organisations dans la mise en œuvre de contrôles de sécurité efficaces, de la validation des sorties à la configuration sécurisée des journaux et des caches, jusqu’à la vérification de l’isolation multi-tenant.

FAQ

• Qu’est-ce que l’exfiltration à l’exécution dans les systèmes d’IA ?
• L’exfiltration à l’exécution est l’extraction non autorisée de données sensibles pendant l’exécution d’un modèle d’IA en production. Les attaquants exploitent les points de terminaison d’inférence, les journaux, les caches ou les réponses API pour soustraire des informations confidentielles que le système ne devrait pas exposer.
• Quels sont les principaux vecteurs d’attaque pour l’exfiltration à l’exécution ?
• Les principaux vecteurs incluent les réponses du modèle manipulées pour révéler des données d’autres utilisateurs, les journaux système enregistrant des informations sensibles en clair, les caches non protégés, les messages d’erreur exposant des détails internes et les réponses API contenant des données non autorisées.
• Comment tester la vulnérabilité à l’exfiltration à l’exécution ?
• Le test comprend trois méthodologies principales : l’attaque par inférence de données sensibles (requêtes conçues pour extraire des données sensibles), la vérification des journaux et caches non protégés, et l’exploitation des réponses API à l’exécution (analyse des réponses API pour identifier les expositions non autorisées).
• Quels contrôles mettre en œuvre pour prévenir l’exfiltration à l’exécution ?
• Les contrôles essentiels incluent la validation et l’assainissement automatiques des sorties, le masquage des données sensibles dans les journaux, le chiffrement des caches, l’utilisation de messages d’erreur génériques, l’isolation multi-tenant et les politiques de prévention contre la perte de données (DLP) en temps réel.
• Quelle est la différence entre l’exfiltration à l’exécution et l’exposition des données d’entraînement ?
• L’exfiltration à l’exécution concerne l’extraction de données pendant l’exécution du modèle en production, tandis que l’exposition des données d’entraînement fait référence à la révélation d’informations contenues dans les données utilisées pour l’entraînement. Les deux sont des vulnérabilités critiques mais nécessitent des techniques de test et de mitigation différentes.

Références

• OWASP Foundation, OWASP AI Exchange – Sensitive Information Disclosure, 2024, genai.owasp.org
• OWASP Foundation, OWASP Top 10 for LLM Applications 2025 – Sensitive Data Leakage and Exfiltration, 2025, genai.owasp.org
• NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023, DOI: 10.6028/NIST.AI.100-1

L’intégration de contrôles de validation des sorties, d’une journalisation sécurisée et d’une isolation multi-tenant aide à protéger les données sensibles pendant l’inférence. Tester régulièrement les systèmes d’IA en production est fondamental pour garantir la sécurité et la confidentialité des données dans des environnements opérationnels réels.