La modélisation des menaces (threat modeling) pour les systèmes d’IA générative et les grands modèles de langage (LLM) identifie de manière systématique les vulnérabilités et les modes de compromission des modèles, en analysant non seulement les aspects techniques, mais aussi les contextes socioculturels, réglementaires et éthiques dans lesquels ils opèrent.

Pour une vue d’ensemble des pratiques de red teaming pour les systèmes GenAI, consultez le guide complet sur le GenAI Red Teaming.

Cadres de référence pour la modélisation des menaces liées à l’IA

Le NIST AI Risk Management Framework (AI RMF) fournit une base solide pour définir les risques, les sources de menaces et les objectifs d’attaque spécifiques aux systèmes d’IA. MITRE ATLAS cartographie des scénarios réels d’attaques adverses contre les modèles de machine learning, tandis que le guide de sécurité et de confidentialité de l’IA de l’OWASP propose des lignes directrices pratiques pour identifier et atténuer les menaces dans les systèmes d’IA.

Contrairement aux cadres traditionnels axés sur le logiciel, ces outils abordent des défis spécifiques à l’IA tels que les biais algorithmiques, les risques CBRN (chimiques, biologiques, radiologiques, nucléaires), le CSAM (matériel pédopornographique) et les NCII (images intimes non consensuelles), qui nécessitent des approches d’évaluation dédiées.

Processus opérationnel de modélisation des menaces pour les systèmes d’IA

Le processus de modélisation des menaces pour les systèmes d’IA se décline en quatre phases :

1. Modélisation de l’architecture : cartographier les composants du système, les flux de données, les interfaces et les dépendances de la chaîne d’approvisionnement.
2. Identification des menaces : lister les menaces techniques et contextuelles en utilisant des cadres tels que MITRE ATLAS et l’OWASP AI Top 10.
3. Définition des mesures d’atténuation : établir des contrôles de sécurité proportionnels au risque identifié.
4. Validation itérative : tester et mettre à jour le modèle en fonction des nouvelles menaces et des changements architecturaux.

Cartographie des menaces sur les composants architecturaux

Chaque composant du système d’IA présente des surfaces d’attaque spécifiques. La phase de collecte de données peut être compromise par un empoisonnement des données (data poisoning) ; l’entraînement peut subir des attaques par porte dérobée (backdoor) ; les API d’inférence sont exposées aux injections de prompts et à l’extraction de modèles. Cartographier les menaces OWASP sur les composants architecturaux permet d’identifier quels contrôles appliquer à chaque étape du cycle de vie du modèle, de la collecte des données au déploiement en production.

Menaces liées à l’IA responsable et à l’IA de confiance

Au-delà des vulnérabilités techniques, les systèmes d’IA doivent faire face à des risques liés à l’équité, à la responsabilité et à la transparence. Un modèle peut produire des résultats discriminatoires même sans intention malveillante, ou générer des contenus nuisibles violant des politiques éthiques ou réglementaires. La modélisation des menaces doit donc inclure des scénarios de biais systémique, de manque d’explicabilité et d’utilisation abusive potentielle du modèle, en évaluant l’impact sur des communautés spécifiques et dans différents contextes réglementaires.

Différences par rapport au logiciel traditionnel

Les modèles d’IA se distinguent par l’imprévisibilité de leur comportement, surtout dans des conditions limites ou sous attaque adverse. Contrairement au logiciel déterministe, un LLM peut produire des résultats imprévus même avec des entrées apparemment inoffensives. La modélisation des menaces doit donc prendre en compte l’ensemble de la chaîne d’approvisionnement : collecte et stockage des données, entraînement, tests, déploiement, surveillance et mise à jour continue du modèle.

Scénarios d’attaque et mesures d’atténuation opérationnelles

Injection de prompts (Prompt injection)

Un attaquant construit des entrées malveillantes pour contourner les garde-fous du LLM et forcer l’exécution de commandes non prévues. Mesures d’atténuation efficaces : validation rigoureuse des entrées, filtres contextuels, sandboxing des réponses et séparation entre les instructions système et le contenu utilisateur.

Manipulations par deepfake

L’utilisation de GAN, de modèles de diffusion et de LLM permet de créer des audios ou des vidéos fictifs pour usurper l’identité de dirigeants d’entreprise et induire des transferts de fonds ou la divulgation de données sensibles. Contre-mesures : protocoles de vérification multifactorielle pour les communications critiques, formation du personnel à la reconnaissance des deepfakes et systèmes de détection automatisés.

Vulnérabilités RAG (Retrieval-Augmented Generation)

Un acteur malveillant insère des contenus contenant des liens de phishing ou des malwares dans des sources externes que le système RAG intègre dans ses réponses. Si le LLM renvoie ces contenus sans validation, les utilisateurs peuvent être incités à visiter des sites malveillants. Une validation des contenus récupérés est nécessaire, ainsi qu’une modération attentive et une désinfection des sorties avant leur présentation à l’utilisateur.

Génération de code malveillant

Le LLM peut suggérer du code contenant des portes dérobées ou des vulnérabilités intentionnelles. La vérification continue du code généré, l’utilisation d’outils d’analyse statique et la sensibilisation aux limites du LLM sont fondamentales pour prévenir l’introduction de risques dans le cycle de développement.

Composants et surfaces d’attaque à analyser

Une modélisation des menaces complète doit couvrir tous les vecteurs de menace pertinents pour le système d’IA :

• Architecture du modèle et flux de données entre les composants
• Pipelines de collecte, de stockage, d’entraînement et de test des données
• Canaux de déploiement, API d’inférence et systèmes de surveillance
• Interfaces entre les modèles, les sources de données externes et les utilisateurs finaux
• Chaîne d’approvisionnement des modèles pré-entraînés et dépendances tierces

Approche multiniveau et avantages opérationnels

Chaque application d’IA fonctionne avec des actifs, une architecture et une base d’utilisateurs spécifiques. Intégrer la modélisation des menaces à des activités de red teaming technique et social permet d’équilibrer la supervision humaine, l’atténuation des biais et l’évaluation des risques systémiques. Les mesures de sécurité sont ainsi mieux adaptées aux besoins réels de l’organisation et aux contextes d’utilisation prévus.

Un élément souvent sous-estimé est la surveillance continue des menaces externes : savoir quels acteurs développent des techniques d’attaque contre les systèmes d’IA, quelles vulnérabilités sont discutées sur les forums underground et quels indicateurs de compromission émergent au fil du temps fait partie intégrante d’une posture défensive mature. Un service structuré de threat intelligence et de protection contre les risques numériques permet d’alimenter le processus de modélisation des menaces avec des données actualisées sur les menaces réelles, rendant les mesures d’atténuation plus précises et opportunes.

L’adoption d’une approche structurée de la modélisation des menaces pour les systèmes d’IA permet d’identifier les vulnérabilités avant le déploiement, de réduire l’exposition aux risques réglementaires et réputationnels, et de renforcer la confiance des parties prenantes grâce à des pratiques de sécurité transparentes et vérifiables.

• Quels sont les principaux cadres pour la modélisation des menaces liées à l’IA ?
• Les cadres les plus utilisés sont le NIST AI RMF pour la gestion des risques, MITRE ATLAS pour la cartographie des attaques adverses et l’OWASP AI Security Guide pour les lignes directrices pratiques de sécurité.
• En quoi la modélisation des menaces liées à l’IA diffère-t-elle de la modélisation traditionnelle ?
• La modélisation des menaces liées à l’IA doit prendre en compte l’imprévisibilité du comportement des modèles, les risques liés aux biais et à l’équité, ainsi que l’ensemble de la chaîne d’approvisionnement des données et des modèles pré-entraînés, en plus des vulnérabilités techniques classiques.
• Que sont les menaces liées à l’IA responsable ?
• Ce sont des risques liés à l’équité, à la responsabilité, à la transparence et à l’utilisation éthique des modèles d’IA, qui peuvent produire des discriminations ou des contenus nuisibles même sans intention malveillante de la part des développeurs.
• Quelles sont les attaques les plus courantes contre les systèmes LLM ?
• Les attaques les plus fréquentes incluent l’injection de prompts pour contourner les garde-fous, les manipulations par deepfake pour usurper l’identité d’utilisateurs, les vulnérabilités RAG introduisant des contenus malveillants et la génération de code avec des portes dérobées.
• Comment atténuer les vulnérabilités dans les systèmes RAG ?
• Les mesures d’atténuation efficaces incluent une validation rigoureuse des contenus récupérés auprès de sources externes, la modération des sorties, la désinfection des liens et la vérification de la fiabilité des sources intégrées dans le système.

Approfondissements utiles

Pour approfondir les pratiques de red teaming et les stratégies d’atténuation pour les systèmes d’IA générative, consultez ces articles :

• GenAI Red Teaming : cadre général des pratiques de red teaming pour les systèmes d’IA générative
• Risques et menaces dans le GenAI Red Teaming : analyse détaillée des risques spécifiques aux systèmes d’IA générative
• Stratégie de Red Teaming pour LLM : approche stratégique et feuille de route pour le red teaming des grands modèles de langage
• Techniques opérationnelles de GenAI Red Teaming : techniques pratiques pour tester la sécurité des systèmes d’IA
• Métriques pour le GenAI Red Teaming : cadre de mesure pour évaluer l’efficacité des activités de red teaming
• Red Teaming pour l’IA agentique : approche spécifique pour les systèmes d’IA autonomes et agentiques

[Callforaction-THREAT-Footer]