Atténuer les risques de l'IA générative

Blog

Atténuer les risques de l'IA générative

  • Atténuer les risques de l'IA générative
3 minute de lecture

L'intelligence artificielle générative (IA) est extrêmement prometteuse dans de nombreux secteurs et disciplines. Cependant, comme toute nouvelle technologie puissante, elle apporte également de nouveaux risques en matière de sécurité. Prenons quelques instants pour nous plonger dans le paysage émergent des menaces liées à l'IA générative, en nous concentrant spécifiquement sur les domaines de la sécurité des données et des systèmes. Cet article de blog souligne également la manière dont les organisations peuvent adopter ces outils en toute sécurité, même en tenant compte de ces risques.

En quoi l'IA générative est-elle différente ?

Pour comprendre comment l'IA générative modifie le paysage des menaces, nous devons d'abord examiner en quoi ces nouveaux systèmes diffèrent des systèmes traditionnels qui ont constitué l'épine dorsale des systèmes de la chaîne d'approvisionnement au cours des 50 dernières années. Les cinq principales différences sont les suivantes :

  • Les outils et pratiques de sécurité pour l'IA générative sont encore en cours de maturation, par rapport aux technologies déjà disponibles pour les bases de données. Les vulnérabilités en matière de sécurité des bases de données, telles que l'injection SQL, sont bien comprises, après des décennies d'attention. Les développeurs sont largement formés à ces menaces et des outils d'audit robustes sont intégrés dans les pipelines CI/CD. Cependant, l'aventure de l'IA générative ne fait que commencer, avec une modélisation des menaces et des outils encore émergents.
  • L'IA générative permet d'obtenir des informations inédites, plutôt que de se contenter d'extraire des documents. Alors que les bases de données renvoient des données qu'elles ont précédemment stockées, éventuellement avec des transformations ou des calculs, l'IA générative synthétise de nouvelles données sur la base de son apprentissage. C'est un peu comme si un analyste générait des idées plutôt qu'un employé de bureau qui récupère des documents.
  • Les langages de programmation formels sont prévisibles et sans ambiguïté, contrairement aux nuances et à l'ambiguïté présentes dans le langage naturel utilisé par l'IA générative. Les bases de données utilisent des langages formels, tels que SQL, qui s'appuient sur une syntaxe formelle et comprise pour accéder aux données. Une instruction SQL donnée, dans le contexte des données déjà stockées, produira toujours le même résultat. Cependant, l'IA générative utilise le langage naturel "de tous les jours" - avec toutes ses nuances et ses ambiguïtés - pour toutes les entrées et sorties. Comme deux personnes qui négocient un contrat, des malentendus peuvent survenir entre les humains et les applications d'IA. En outre, les résultats de l'IA générative ne sont pas déterministes, ce qui signifie que des entrées identiques peuvent produire des résultats différents en termes de formulation, d'énoncé ou de signification.
  • L'IA générative peut manquer de traçabilité et de capacités d'audit, alors que les bases de données sont soumises à des contrôles plus stricts. Grâce aux bases de données, les utilisateurs autorisés peuvent facilement vérifier les données stockées et en retracer l'origine. En revanche, les modèles d'IA générative stockent les connaissances dans un réseau neuronal, sous une forme incompréhensible pour la plupart des gens. En outre, il n'existe actuellement aucune technique robuste permettant de vérifier les "connaissances" acquises par les modèles génératifs d'IA ou les biais potentiels de leurs données d'apprentissage.
  • L'IA générative dispose actuellement de moins de contrôles d'accès aux données que les bases de données. Les bases de données sont dotées de solides contrôles d'autorisation qui régissent l'accès aux données. Toutefois, l'IA générative ne dispose pas actuellement de tels contrôles intégrés. Les utilisateurs authentifiés peuvent accéder à toutes les données.

 

L'examen des différences entre les systèmes traditionnels et l'IA générative révèle de nouvelles vulnérabilités en matière de sécurité et des mesures d'atténuation nécessaires, qui peuvent être classées dans trois domaines clés : La protection des données sensibles, la sécurisation des systèmes et des données contre les utilisations malveillantes, et la gestion adéquate des agents d'IA et des plug-ins.
 

ChatGPT peut-il passer le test de la chaîne d'approvisionnement ?

Blue Yonder révèle une étude de référence pour les modèles d'apprentissage linguistique (LLM), en testant leur capacité initiale et en déterminant s'ils peuvent être appliqués efficacement à l'analyse de la chaîne d'approvisionnement pour répondre aux problèmes réels rencontrés dans la gestion de la chaîne d'approvisionnement. 

Voir les résultats

Comprendre les facteurs de risque et comment les gérer

Lorsqu'une entreprise confie des données sensibles à son système logiciel, elle s'attend à ce que toutes les informations soient entièrement protégées contre les accès non autorisés, les modifications ou les exfiltrations. Si les vulnérabilités traditionnelles restent préoccupantes, la nature unique de l'IA générative introduit des risques supplémentaires contre lesquels il faut se prémunir.

Outre la protection des données sensibles, il est également important que l'IA générative respecte ses accords de niveau de service (SLA), notamment en matière de disponibilité, d'évolutivité, de performance, de fiabilité et de reprise après sinistre. Il doit également être prouvé que l'IA générative n'a pas d'incidence négative sur les accords de niveau de service des systèmes en aval. Comprendre ces vulnérabilités et les empêcher de créer des risques pour la sécurité ouvre la voie à la réalisation de l'immense promesse de l'IA générative.

Les principales vulnérabilités à surveiller sont les suivantes :

  • Injection rapide. Des entrées bien conçues peuvent inciter les applications d'IA générative à révéler des données confidentielles ou à exécuter des actions nuisibles.
  • Manipulation incorrecte des sorties. L'utilisation aveugle des résultats de l'IA sans examen approfondi ouvre la porte à des exploits du système tels que l'accès non autorisé aux données.
  • Empoisonnement des données de formation. Des données d'entraînement manipulées peuvent corrompre les composants de l'IA, en introduisant des biais dangereux ou des portes dérobées.
  • Modèle de déni de service. Les attaquants peuvent submerger les applications d'IA générative avec des demandes complexes, dégradant ou désactivant le service.
  • L'excès d'agence. Donner aux composants de l'IA une autonomie incontrôlée peut leur permettre de prendre des décisions préjudiciables fondées sur un raisonnement erroné.
  • Conception non sécurisée du plug-in. Les composants d'IA tiers peuvent introduire de graves vulnérabilités en raison d'une manipulation dangereuse des données.
  • Compromis de la chaîne d'approvisionnement. Si des outils tiers ou des sources de données sont piratés, ces événements créent un risque au sein de l'application d'IA générative.
  • Fuite de données sensibles. L'IA générative peut révéler des données sensibles sur les clients ou les entreprises auxquelles elle a été exposée pendant sa formation.

 

Heureusement, des mesures préventives peuvent atténuer plusieurs types de vulnérabilités de l'IA. Par exemple, la protection contre l'injection rapide et l'empoisonnement des données de formation contribue également à réduire le risque de divulgation d'informations sensibles. Un cadre d'identité et d'accès solide, avec une mise en œuvre bien pensée du contrôle d'accès, est une condition préalable à la protection contre les attaques excessives des agences. Les mesures de sécurité traditionnelles que nous pratiquons depuis l'aube de l'informatique constituent la base sur laquelle les protections de l'IA générative sont construites.

Avec une posture de sécurité vigilante et des mesures de défense approfondies en place, les entreprises peuvent réaliser l'énorme potentiel de l'IA générative tout en protégeant les systèmes et les informations sensibles. La sécurisation de l'IA générative nécessite une approche à plusieurs niveaux englobant les données, l'entraînement et le réglage fin des modèles, l'infrastructure, les identités, le contrôle d'accès et, surtout, la diligence lors de l'évaluation des fournisseurs. Les entreprises doivent également mettre en place une gouvernance complète, un contrôle d'accès rigoureux, des contrôles d'entrée et de sortie, une surveillance, un bac à sable et des protocoles de développement et d'exploitation bien définis.


Évaluez votre position en matière de sécurité de l'IA générative avant de vous lancer

Que les entreprises intègrent l'IA générative directement dans des solutions construites en interne ou qu'elles acquièrent ces capacités auprès de fournisseurs, il est essentiel de poser les bonnes questions pour garantir une sécurité rigoureuse. Les bonnes questions peuvent aider à orienter les conversations afin de déterminer si des protections adéquates ont été mises en œuvre. Envisagez de couvrir les domaines suivants :

  • Sécurité de la chaîne d'approvisionnement. Les entreprises doivent demander des audits, des tests de pénétration et des examens de code à des tiers pour garantir la sécurité de la chaîne d'approvisionnement. Ils doivent comprendre comment les fournisseurs tiers sont évalués, à la fois initialement et sur une base continue.
  • Sécurité des données. Les organisations doivent comprendre comment les données sont classées et protégées en fonction de leur sensibilité, y compris les données personnelles et les données commerciales exclusives. Comment les autorisations des utilisateurs sont-elles gérées et quelles sont les garanties en place ?
  • Contrôle d'accès. Avec une posture de sécurité vigilante - comprenant des contrôles d'accès basés sur les privilèges et des mesures de défense approfondies - les entreprises peuvent réaliser l'énorme potentiel de l'IA générative tout en protégeant les systèmes et les informations sensibles.
  • Sécurité des pipelines de formation. Un contrôle rigoureux de la gouvernance des données de formation, des pipelines, des modèles et des algorithmes est essentiel. Quelles sont les mesures de protection mises en place contre l'empoisonnement des données ?
  • Sécurité des entrées et des sorties. Avant de mettre en œuvre l'IA générative, les organisations doivent évaluer les méthodes de validation des entrées, ainsi que la manière dont les sorties sont filtrées, nettoyées et approuvées.
  • Sécurité des infrastructures. À quelle fréquence le fournisseur effectue-t-il des tests de résilience ? Quels sont leurs accords de niveau de service en termes de disponibilité, d'évolutivité et de performance ? Ceci est essentiel pour évaluer la sécurité et la stabilité des infrastructures.
  • Suivi et réponse. Les entreprises doivent comprendre parfaitement comment les flux de travail, la surveillance et les réponses sont automatisés, enregistrés et contrôlés. Tous les documents d'audit doivent être sécurisés, en particulier s'ils sont susceptibles de contenir des informations confidentielles ou personnelles.  
  • Conformité. Les entreprises doivent confirmer que le fournisseur respecte des réglementations telles que le GDPR et le CCPA, et que des certifications telles que SOC2 et ISO 27001 ont été obtenues. Ils doivent comprendre où les données seront collectées, stockées et utilisées afin de s'assurer que les exigences spécifiques au pays ou à l'État sont respectées.

 

Réaliser la promesse de l'IA générative, en toute sécurité

L'IA générative a un potentiel immense et de nouvelles applications sont découvertes presque quotidiennement. Si les capacités actuelles sont déjà considérables, un potentiel encore plus grand se profile à l'horizon.

Toutefois, cette promesse s'accompagne de risques qui nécessitent une gouvernance prudente et permanente. 

La sécurité établit la confiance et permet de progresser - et les conseils contenus dans ce billet de blog fournissent un point de départ aux organisations pour évaluer et traiter ces risques. En faisant preuve de diligence, les entreprises peuvent adopter l'IA générative rapidement et en toute sécurité, afin de prendre une longueur d'avance sur la réalisation des avantages de l'IA générative aujourd'hui et à l'avenir. La clé est d'équilibrer l'innovation et la gouvernance par une collaboration continue entre les équipes de sécurité et d'IA.

Blue Yonder applique la norme de référence de l'industrie pour la sécurité de l'IA générative, OWASP Top 10 pour les grands modèles de langage, afin de protéger nos solutions. Cela signifie que nos clients peuvent en toute confiance profiter pleinement des dernières innovations technologiques qui permettent à leurs entreprises de fonctionner plus rapidement et plus intelligemment. Contactez-nous pour discuter du potentiel de l'IA générative sécurisée dans votre chaîne d'approvisionnement. 

Atteignez les meilleures performances de votre chaîne d'approvisionnement grâce à l'IA prédictive et générative

Concentrez-vous sur les décisions et laissez l'IA gérer les données avec des décennies d'expérience spécialisée et d'innovation éprouvée qui apportent des résultats transformateurs à votre entreprise.

En savoir plus