Les spams et les phishing attacks

Hier, j'ai eu le grand plaisir d'écouter un webinaire C2C (la communauté des utilisateurs de Google Cloud) sur l'état des lieux des menaces de l'IA générative (GenAI). J'ai eu l'occasion de poser des questions et d'écouter les experts. Voici un résumé de ce que j'ai appris pendant cette conférence + quelques recherches supplémentaires.

Une nouvelle menace

Les LLM permettent des interactions plus fluides et complexes avec nos systèmes informatiques. Cela s'accompagne d'un nouvel ensemble de risques de sécurité et de contre-mesures. Explorons le nouveau paysage des menaces et les pratiques introduites par cette révolution technologique. Comme toujours, lorsqu'un nouvel outil est disponible, il peut être utilisé pour des actions néfastes ou positives. L'IA générative n'échappe pas à cette règle.

Contrairement à la programmation traditionnelle, où les entrées et sorties peuvent être testées de manière systématique du fait de leur caractère déterministe, la nature probabiliste de l'I/O des LLM rend leur sécurisation très difficile. C'est un nouveau défi pour la communauté de la sécurité, et il est très difficile. Nous ne sommes plus dans un paradigme où nous pourrions par exemple coder en dur des règles prédéfinies dans un pare-feu... Les menaces sont maintenant beaucoup plus mouvantes et imprévisibles du fait du caractère aléatoire des réponses des LLMs.

Les attaquants, comme toujours, font constamment preuve d'une grande imagination mais tout espoir n'est pas perdu : nous pouvons également utiliser l'IA pour protéger les systèmes IA ! Par exemple, vous pouvez demander à un LLM formé si un texte ou une séquence de textes est suspect, s'il constitue une tentative de phishing, etc.

Les menaces induites par les LLM sont maintenant officiellement répertoriées par l'OWASP dans une liste dédiée. Oui, c'est aussi sérieux que ça.

Les spams et les phishing attacks

Prenons par exemple les e-mails de spam : vous pouvez maintenant rédiger des e-mails de spam très convaincants à grande échelle. Mais puisque les LLM sont très bons pour détecter des patterns, il y a une course aux armements entre les spammeurs et les filtres anti-spam. Les spammeurs vont essayer de faire en sorte que leurs e-mails ressemblent de plus en plus à des e-mails légitimes, et les filtres anti-spam vont essayer de détecter les subtiles différences entre les deux.

Si vous êtes intéressé par la création de votre propre filtre anti-spam, rendez-vous simplement sur Kaggle et éclatez-vous avec les jeux de données open source disponibles sur la plateforme pour entraîner votre propre modèle !

Cette manière convaincante de rédiger des courriers indésirables à grande échelle est également multimodale : avec l'image, et maintenant, les modèles de génération de vidéos, et le texte en parole, vous pouvez maintenant construire des scénarios complexes, avec plusieurs acteurs, tout cela avec seulement un morceau de logiciel élaboré (qui peut aussi être aidé à écrire avec un système IA)...

Yaniv, not