Gestion des incidents de sécurité liés à la GenAI dans les organisations

L’utilisation croissante de systèmes basés sur l’intelligence artificielle générative entraîne de nouveaux risques et défis pour la sécurité des organisations. La gestion des incidents impliquant la GenAI nécessite des lignes directrices et des outils opérationnels dédiés, qui tiennent compte des particularités des mécanismes génératifs, de la centralité des prompts et de la possibilité de dommages réputationnels, opérationnels ou réglementaires, même en l’absence d’attaques classiques.

Définir l’incident lié à l’IA

Un incident lié à l’IA est tout événement, circonstance ou succession d’événements où le développement, l’utilisation ou le dysfonctionnement d’un ou plusieurs systèmes d’IA conduit directement ou indirectement à des dommages spécifiques. Le guide souligne que la définition ne se limite pas à la violation des politiques de cybersécurité traditionnelles, mais inclut également les dommages causés par l’autonomie du système, les biais, les comportements non intentionnels ou les erreurs génératives.

Prompt injection : instructions malveillantes insérées dans les prompts qui amènent le modèle à effectuer des actions non souhaitées.
Données excessivement sensibles ou erronées fournies par des chatbots ou des assistants virtuels.
Désinformation ou envoi de résultats incorrects, comme dans le cas de chatbots fournissant des politiques d’entreprise inventées.
Comportement imprévu dû à l’autonomie opérationnelle du système.

Distinction par rapport aux incidents informatiques traditionnels

Les différences sont liées à l’imprévisibilité du résultat génératif, au rôle central des prompts, à la possibilité de dommages même en l’absence d’attaquants externes et à la complexité de l’analyse des causes (« boîte noire »).

Préparation

Évaluation et gestion des risques

Identifier les risques spécifiques à l’IA concernant la confidentialité, l’intégrité, la disponibilité et l’autonomie du système.
Évaluer l’impact sur les actifs, les utilisateurs, l’exploitation et la réputation.
Développer un cadre de gestion des risques incluant des politiques, des procédures d’évaluation et des stratégies de réponse telles que l’atténuation, le transfert ou l’acceptation du risque.
Intégrer les risques liés à la GenAI dans le registre des risques de l’entreprise en tant que catégorie spécifique, en définissant les responsables et des critères homogènes.

Inventaire et classification des actifs IA

Construire et mettre à jour dynamiquement l’inventaire de tous les actifs IA et composants associés, incluant les modèles, les données, les infrastructures, les API, les logiciels, les utilisateurs et les plugins.
Classer les actifs par fonctionnalité (ex. NLP, recommandation), criticité, sensibilité des données et mode de déploiement (cloud, embarqué, hybride).
Maintenir une documentation précise de la provenance des jeux de données, des architectures de modèles, des métriques de performance et des évaluations de sécurité (y compris les résultats de red teaming et d’audit).

Cartographie des parties prenantes et responsabilités

Cartographier les parties prenantes internes (IT, science des données, juridique, relations publiques, product owner) et externes (fournisseurs de modèles, cloud, autorités, clients).
Définir les responsabilités via une matrice RACI et maintenir à jour une liste de contacts clés pour chaque actif ou processus.

Détection

Techniques de détection

Surveillance avancée des entrées/sorties du modèle et des prompts, y compris les modèles de prompt injection, les tentatives de fuite de données et l’analyse comportementale.
Analyse par lots et détection en temps réel des anomalies dans les journaux système, les interactions des utilisateurs, les pipelines de données et les ressources informatiques.
Dérive de la performance du modèle (drift) par l’analyse des changements dans les métriques.
Intégration avec SIEM/SOAR, cartographie des règles de détection par rapport aux principales vulnérabilités OWASP LLM.

Tableaux de bord et alertes

Créer des tableaux de bord pour l’état de santé du modèle, les pipelines de données, les modèles d’abus et les événements de sécurité.
Définir des seuils d’alerte simples et composites, associés à des runbooks de réponse rapide et de triage.

Reporting

Protocoles de communication et de notification

Définir des canaux sécurisés (y compris des alternatives hors bande) pour le signalement des incidents.
Établir des déclencheurs pour la notification des différentes parties prenantes ainsi que les méthodes et délais d’escalade.
Maintenir des modèles de rapports internes avec des champs essentiels tels que l’impact, le système concerné, les actions immédiates, les responsables assignés.
Planifier la gestion de la communication publique et de crise.

Matrices de sévérité

Appliquer des matrices définies pour évaluer la sévérité et l’urgence en fonction des impacts sur les fonctionnalités, les données, la conformité et la réputation.
Attribuer des priorités opérationnelles, des équipes interfonctionnelles et des niveaux de communication spécifiques selon la criticité.

Plan de réponse

Rayon d’action (blast radius) et délais de réponse

Cartographier le rayon d’action de l’incident sur les modèles, les jeux de données, les services en aval, les décisions et les pertes financières/réputationnelles.
Établir des SLA de réponse (ex. confinement sous 15 minutes pour les incidents critiques), de rétablissement et de mise à jour des parties prenantes.

Composition et formation de l’équipe

Constituer une équipe de réponse aux incidents IA (AI Incident Response Team) composée d’experts en sécurité IA, d’ingénieurs ML, d’analystes en abus de prompts, de data scientists, de responsables de la gouvernance et de conseillers en risques.
Établir des runbooks spécifiques et des programmes de formation dédiés aux différents rôles de l’équipe et aux utilisateurs finaux sur les menaces, les erreurs et les processus de signalement.

Gestion d’événements spécifiques

Attaques contre les systèmes IA

Prompt injection, attaques par évasion, empoisonnement de données/modèles, exfiltration de données, empoisonnement RAG, exploitation d’agents.
Analyse des sources de preuves : journaux IA, journaux utilisateurs, journaux d’infrastructure.
Actions : confinement (isolement, limitation des accès), éradication (suppression des artefacts compromis, assainissement des données), rétablissement (audit fonctionnel, watermarking, red-teaming post-rétablissement).

Attaques contre la chaîne d’approvisionnement

Empoisonnement de jeux de données/modèles, portes dérobées (backdoors), altérations dans les bibliothèques tierces.
Mesures statiques (AI-BOM), contrôles au moment de l’exécution (runtime), base de référence comportementale et cartographie des dépendances.
Procédures de confinement, analyse forensique, relation avec les fournisseurs et mise à jour de l’inventaire des actifs.

Attaques contre les fournisseurs de modèles tiers

Surveillance des anomalies de sortie, dérive, journaux de modélisation et de pipeline.
Rétablissement de la confiance via la révocation de clés/jetons, tests de validation, responsabilisation du fournisseur et processus de gouvernance des tiers.

Rôles, IA physique, ressources

Rôles typiques : gestionnaire d’incidents, analyste, ingénieur IR, juridique, responsable communication, spécialiste sécurité IA, ingénieur ML, analyste de prompts, gouvernance, éthique. Pour l’IA physique : technicien de terrain, expert en forensique matérielle, intervenant médical/d’urgence. La connaissance des domaines d’application (robotique, transports, logistique), des types de risques et des conséquences potentielles (sécurité, vie privée, réputation, dommages environnementaux) contribue également à une réponse efficace.

Ressources et approfondissements

Cette approche ciblée permet la gestion opérationnelle, la transparence et l’adaptabilité continue des stratégies de réponse aux risques émergents liés à l’utilisation des systèmes de GenAI.

ISGroup Conseil en Cybersécurité