Cybersécurité: la surenchère à l’IA s’apparente à une course sans fin. Et personne ne veut la perdre!

L’IA est devenue un enjeu sensible de la cybersécurité, autant pour les défenseurs que pour les cybercriminels. Si elle permet de contrer les attaques plus efficacement, elle ouvre également la porte à de nouvelles menaces, comme les « inference attacks », le « data poisoning » ou le « prompt injection ». Véronique Van Vlasselaer, Head of AI & Data Science chez SAS Europe, explique comment la cybersécurité est entrée dans une course à l’armement où aucune solution ne peut garantir une protection absolue. 

 La technologie s’améliore sans cesse et explore de nouvelles limites. Pour limiter les risques, les organisations doivent désormais combiner les capacités de l’IA avec une gouvernance rigoureuse, une surveillance continue des données et des usages, et un contrôle humain.

Véronique Van Vlasselaer, Head of AI & Data Science chez SAS dégaine l’idée qu’il ne s’agit pas de freiner l’adoption de l’IA, mais de l’utiliser de manière prudente et responsable pour garder une longueur d’avance sur les attaquants. La réflexion mérite un que l’on s’y attarde. 

Véronique Van Vlasselaer, Head of AI & Data Science chez SAS : « Il est grand temps de passer à l’action. Rester sur le banc de touche n’est pas une option ».

 Il aura fallu du temps et d’innombrables dégâts cyber pour que les gouvernements et plupart des organisations prennent enfin conscience de l’importance de la cybersécurité pour assurer la continuité de leurs activités. Dans le contexte géopolitique actuel et avec l’entrée en vigueur de la directive NIS2, l’IA joue un rôle central dans la cybersécurité, résume Véronique Van Vlasselaer, Head of AI & Data Science chez SAS. 

Selon l’experte, l’avantage des systèmes d’IA repose sur le fait qu’ils sont en mesure d’intercepter un plus grand nombre d’attaques. Mais l’utilisation de l’IA demeure un couteau à double tranchant. Les cybercriminels s’en servent tout autant, et tentent d’identifier et d’exploiter les failles des systèmes.

Même la « black box » n’est pas sûre 

Véronique Van Vlasselaer rappelle « qu’un modèle d’IA a besoin de données, ce qui en fait une cible attrayante pour les hackers ». En pratique, les systèmes tels que ChatGPT et autres Large Language Models (LLM) sont des boîtes noires. À chaque question, vous recevez une réponse joliment formulée. Mais en général, vous n’avez aucune idée de comment le système est parvenu à cette réponse, puisque tout le raisonnement logique est invisible. C’était déjà le cas avec les systèmes d’IA traditionnels. Pourtant, ces modèles sont susceptibles d’être manipulés.

« Les études montrent que même une boîte noire bien configurée peut alors divulguer toutes les informations confidentielles qui lui sont confiées », explique Véronique Van Vlasselaer. « Dans le jargon, nous parlons d’« inference attacks ». Concrètement, cela signifie que les cybercriminels posent des questions au modèle d’IA dans le but d’extraire du système des données sensibles sur les clients, par exemple. Même si les données ont été anonymisées pour le hacker ».

Prenons l’exemple d’un système d’IA utilisé par une banque afin d’évaluer l’éligibilité à un prêt. « Un hacker peut interroger ce modèle à plusieurs reprises en utilisant des informations spécifiques sur une personne, telles que son âge, l’adresse de son domicile et son métier. Le modèle réalise alors une prédiction (par exemple, la probabilité que le prêt lui soit accordé), qui s’accompagne d’une certaine certitude statistique », analyse Véronique Van Vlasselaer.

Lorsque le modèle affiche une très haute certitude pour une combinaison précise de données, cela peut être le signe qu’il a déjà dû traiter ces mêmes données lors de la phase d’entraînement. Le pirate peut alors en déduire si ces informations proviennent d’une vraie personne.

 Manipuler les réponses de l’IA grâce au « data poisoning » et « prompt injection »

 Les criminels utilisent aussi une autre technique, le « data poisoning ». Cette technique consiste à injecter des données d’entraînement dans le modèle afin d’orienter son jugement. Concrètement, une entreprise met en place un filtre anti-spam et les hackers veulent s’assurer que leurs e-mails frauduleux passent entre les mailles du filet. Si ces e-mails sont massivement marqués comme « légitimes » (par des milliers de faux comptes, par exemple), le modèle finit par en déduire qu’il doit approuver ces messages. Et le filtre anti-spam ne parvient plus à bloquer efficacement les messages frauduleux.

 Le « prompt injection » est une méthode similaire, qui vise à manipuler les résultats des LLM. Pour ce faire, les hackers donnent des instructions ou posent des questions en langage naturel au modèle en vue de l’influencer. Les psychologues ont découvert qu’avec les bonnes compétences, les LLM peuvent être induits en erreur. Comparez cette méthode avec notre propre usage de ChatGPT. Il n’est pas rare d’obtenir des réponses différentes à une question similaire. Cette divergence peut s’expliquer par le fait que nous introduisons beaucoup de biais dans nos prompts.

Un exemple très simple : vous demandez à ChatGPT pourquoi les frites sont meilleures en Belgique. Dans ce cas, vous avez déjà introduit une idée préconçue dans votre question. En effet, vous insinuez que c’est en Belgique qu’on mange les meilleures frites et ChatGPT ne vous contredira probablement pas. Si vous aviez demandé dans quels pays vous pouviez déguster les meilleures frites, alors le modèle vous aurait fourni une tout autre réponse.

Les hackers utilisent de telles techniques à leur avantage. La différence avec les autres formes de cybercrime est qu’ils n’ont pas besoin d’avoir des compétences techniques, mais des compétences humaines. La cybersécurité à l’ère de l’IA devient alors un défi multidimensionnel.

 Le duel IA contre IA 

 Une chose semble certaine : la cybersécurité constitue aujourd’hui un combat d’IA contre l’IA. Exactement comme un policier et un criminel qui cherchent à se devancer. À mesure que le policier déchiffre le mode opératoire du criminel, ses chances de l’arrêter augmentent. Quant à lui, le criminel s’améliore à chaque fois qu’il se fait prendre, car il peut adapter son mode opératoire. De la même manière, les systèmes d’IA s’affrontent en permanence et s’optimisent afin de devenir plus efficaces.

C’est pourquoi il est impossible de prétendre qu’un modèle puisse empêcher toutes les attaques. Un nouvel outil d’IA d’Anthropic fournirait aux criminels une arme invisible pour détecter les failles des systèmes. Mythos prétend être capable d’attaquer le logiciel le plus critique au monde. Heureusement, Anthropic a d’abord rendu l’outil accessible aux entreprises qui disposent d’une infrastructure critique, afin qu’elles puissent se protéger. Néanmoins, c’est un exemple de plus de la course à l’armement en matière d’IA. Ne pas y participer entraînerait des pertes irrémédiables.

 Quelques conseils pour construire un modèle d’IA plus sûr

 En tant qu’utilisateurs de modèles d’IA, nous pouvons faire la différence en adoptant de bonnes pratiques de sécurité et de gouvernance. Par exemple, gardez toujours un humain lorsque vous entraînez un modèle d’IA. L’IA peut se perfectionner en permanence. Il est donc essentiel de vérifier les données utilisées. Dès que le modèle est opérationnel, mettez un « data monitoring » en place et observer les données entrantes pour les comparer à celles utilisées pour entraîner le modèle. De cette manière, vous serez déjà en mesure de contrer de nombreuses attaques.

À moins que l’IA ait besoin d’accéder à toutes les données, ne lui fournissez pas plus d’informations que nécessaire. Ne perdez pas non plus de vue le trafic et l’utilisation de votre modèle d’IA. Si un utilisateur exploite votre système d’une tout autre manière que les autres utilisateurs, cela doit vous mettre la puce à l’oreille. Heureusement, vous ne devez pas tout faire manuellement. Il est tout à fait possible de faire suivre votre modèle par un autre modèle entraîné à cet effet.

 Mais pour Véronique Van Vlasselaer, la prudence reste donc de mise. « En théorie, nous pouvons garantir l’intégrité de nos modèles d’IA, mais nous ne pourrons jamais nous débarrasser complètement de la malhonnêteté humaine. Cela ne doit surtout pas nous empêcher de tirer profit des possibilités que nous offre l’IA. Tant que nous avons conscience des risques et des pièges, nous pourrons toujours avoir une longueur d’avance sur les hackers ».