1 – Introduction à la sécurité de l’IA : enjeux, risques et défis

• Définition de l’IA et concepts clés : IA générative, API, machine learning, deep learning
• Enjeux stratégiques de l’IA pour les entreprises
• Importance de la sécurité dans l’écosystème IA
• Vue d’ensemble des risques (cyberattaques, biais, vulnérabilités,…)
• Approche holistique de la sécurité de l’IA : aspects techniques, juridiques, organisationnels et éthiques

2 – Vulnérabilités et attaques spécifiques sur l’IA

• Principales vulnérabilités selon l’OWASP : Top 10 for LLM Applications
• Attaques via les interactions : prompt injection, AI output manipulation attacks
• Altération des données : data poisoning attacks, training data tampering, training Data corruption
• Atteinte à la confidentialité et à la propriété intellectuelle : model extraction attacks, model inversion attacks, sensitive data inference attacks, membership inference attacks, training data privacy violation, generative AI data leakage, intellectual property theft
• Manipulation des processus d’apprentissage et de prise de décision : adversarial attacks, evasion attacks, input/output manipulation, noise injection, reinforcement learning attacks, hyperparameter manipulation, embedding manipulation, transfer attacks
• Menaces sur les modèles : model inversion, model substitution, model Hijacking, bias exploitation, algorithm hijacking
• Attaques sur les infrastructures : AI framework vulnerabilities exploitation, API vulnerabilities exploitation

3 – L’IA au service des cybercriminels : menaces et attaques avancées

• Ingénierie sociale et fraude assistée par IA : deepfake phishing, voice cloning, AI-Powered social engineering, automated spear phishing, AI-Generated Scam websites
• Logiciels malveillants : generative malware, polymorphic malware, smart obfuscation, AI-Enhanced keylogging, stealth AI-Powered spyware, Self-Evolving ransomware
• Attaques sur les systèmes d’authentification : Biometric System bypass, AI-Powered CAPTCHA Solvers, AI-Augmented Password Cracking
• Exploitation de vulnérabilités et attaques sur les systèmes : automated vulnerability discovery, AI-Powered Zero-Day exploits, neural fuzzing, AI-Driven Evasion Techniques, AI-Driven Supply Chain Attacks

4 – Gestion des risques dans les projets d’intelligence artificielle

• Développer la confiance dans l’IA via une approche par les risques
• Cartographie des risques spécifiques à l’IA : AI Risk Repository (MIT)
• Taxonomie des menaces sur l’IA : MITRE ATLAS, OWASP AI Exchange et NIST Adversarial ML
• Gestion des risques : NIST AI Risk Management Framework (RMF) , méthodologie EBIOS RM
• Intégration des exigences de l’ISO 42001 pour la gestion des risques dans la mise en œuvre d’un système de management de l’IA (SMIA).
• Protection des données personnelles et évaluation d’impact sur la vie privée (PIA/AIPD)
• Stratégie de mitigation des risques : mesures techniques et organisationnelles

5 – Sécurité des applications IA (modèles, agents, API et infrastructures)

Principes généraux de la sécurité des applications d’IA

• Rôle et missions du responsable de la sécurité IA (Chief AI Security Officer – CAISO)
• Approche Secure AI by design
• Identification de la surface d’attaque et des menaces spécifiques aux modèles IA
• Contrôle d’accès et chiffrement des données

Sécurité des modèles et des algorithmes

• Sécurité des datasets : protection des données d’entrainement, prévention du data poisoning et des fuites de données
• Hardening des modèles d’IA : adversarial training, model watermarking
• Privacy-preserving AI : entraînement des modèles avec préservation de la confidentialité des données (confidential computing, homomorphic encryption)
• Techniques de détection des biais et dérives des modèles IA
• Protection contre le prompt injection et les attaques adversariales sur les LLMs

Sécurité des infrastructures et des APIs

• Sécurisation des API (authentification, contrôle des accès, validation des entrées/sorties)
• Gestion des clés API et des permissions
• Monitoring des requêtes API pour détecter les abus (rate limiting, anomalous pattern detection)
• Sécurisation des pipelines MLOps et LLMOps : gestion des accès, intégrité des modèles
• Validation et surveillance des modèles en production, détection d’anomalies

6 – Maîtriser les risques liés à l’usage de l’IA générative en entreprise

Identifier et comprendre les risques liés à l’usage de l’IA générative

• Fuites involontaires d’informations sensibles (données internes, secrets industriels, PII)
• Hallucinations et inexactitudes : génération de contenus erronés ou trompeurs
• Biais et discriminations des modèles
• Risques liés au Shadow AI
• Non-conformité réglementaire et violation du RGPD
• Propriété intellectuelle et responsabilité sur les contenus générés
• Risques liés aux échanges de données avec des LLM externes (API tierces, SaaS, Cloud)
• Sur-dépendance à l’IA et perte d’expertise humaine

Mise en place d’une politique interne pour l’IA générative

• Rédaction d’une charte d’utilisation interne des solutions d’IAGen
• Délimitation des cas d’usage autorisés et interdits
• Gestion des accès et des permissions aux outils IA
• Sensibilisation et formation des collaborateurs aux bonnes pratiques

Sensibilisation, gouvernance et supervision

• Formation continue des employés sur les risques et bonnes pratiques
• Désignation d’un responsable IA (Chief AI Officer – CAIO) ou d’un comité de gouvernance IA
• Mise en place d’un suivi et d’un reporting sur l’utilisation de l’IA dans l’entreprise

Bonnes pratiques pour une utilisation sécurisée et maîtrisée

• Validation des contenus générés : relecture et validation humaine avant diffusion, workflow d’approbation, détection des biais, gestion des hallucinations
• Limitation des prises de décision basées uniquement sur des recommandations générées
• Transparence des contenus générés par l’IA
• Promotion des modèles IA explicables et auditables (Explainable AI – XAI)

7 – Audit, transparence et évaluation de la sécurité des systèmes IA

Conformité et audits des systèmes IA

• Évaluation des risques IA avec COMPL-AI, AI Risk Repository (MIT)
• Alignement avec la norme ISO 42001 : conformité aux exigences de mise en œuvre d’un système de management de l’IA (SMIA)
• Politiques de transparence et documentation des décisions IA
• Gestion des risques IA dans les chaînes d’approvisionnement (supply chain IA)

Transparence et explicabilité des modèles IA

• Importance de la transparence et de l’auditabilité des modèles IA (XAI – Explainable AI)
• Outils et méthodologies pour auditer un modèle IA (explicabilité, robustesse, dérives)
• Outils et méthodologies pour auditer et consigner les décisions IA
• Détection des biais et analyse des discriminations algorithmiques
• Validation de l’équité des modèles IA et gestion des dérives dans le temps

Évaluation de la sécurité des modèles IA

• Outils et standards pour l’évaluation de la sécurité des IA (COMPL-AI, OWASP AI Exchange, MITRE ATLAS, NIST Adversarial ML)
• AI red teaming : test de prompt injection, attaques par évasion, par extraction, évaluation des biais,…
• Outils de scanning de vulnérabilités des modèles et des API
• Vérification du respect des bonnes pratiques (ANSSI, ENISA, NIST, OWASP)

8 – L’IA générative au service de la cybersécurité

• GRC : rédaction de PSSI, priorisation des risques, veille stratégique, synthèse des réglementations
• Développement : analyse et correction de code, automatisation des tests, documentation
• Test de sécurité : génération de scénarios d’attaque, payload polymorphiques
• Détection d’incident : analyse et corrélation de logs, reconstruction des scénarios d’attaque
• Réponse à incident : génération de playbooks de réponse aux incidents personnalisés
• Renseignement cyber (Threat Intelligence) : analyse automatique des menaces émergentes, traduction et contextualisation des menaces, automatisation de la veille
• Conformité règlementaire : rédaction et analyse de contrats, analyse d’écarts (RPGP, DORA, NIS2)
• L’apport de l’IA (ML/DL/IAGen) dans les produits de cybersécurité : FW-NG, XDR, SOAR, MS Security Copilot, IBM Watson GenAI, Darkrace Prevent/Antigena, Zynamp, Cymulate,…

9 – Cadre juridique et perspectives futures

Cadre réglementaire et législatif de l’IA

• AI Act : classification des systèmes IA, obligations des fournisseurs et utilisateurs
• RGPD et protection des données personnelles : impact de l’IA sur la vie privée et minimisation des données
• DSA (Digital Services Act) et DMA (Digital Markets Act) : obligations pour les plateformes utilisant l’IA
• Directive NIS2 et cybersécurité des systèmes IA
• Responsabilité juridique en cas de dommages causés par une IA

Perspectives futures

• Apport de l’IA à la cybersécurité dans le futur
• Impact de l’IA sur les métiers de la cybersécurité et nouvelles compétences à acquérir
• Utilisation avancée de l’IA par les cybercriminels et impacts potentiels

Ce programme a été mis à jour le 10 mars 2025.