Le Bureau fédéral allemand de la sécurité des technologies de l'information (BSI) a émis une mise en garde concernant l'utilisation de grands modèles de langage (LLM), mettant en avant le risque croissant d'attaques par injections de commandes indirectes. Ces attaques représentent une menace sérieuse, car elles sont presque impossibles à détecter et pourraient donner aux attaquants un accès non autorisé à des informations sensibles.

Au début, ChatGPT avait été utilisé de manière malveillante pour générer des malwares. Les développeurs ont réagi en modifiant l'IA pour prévenir de telles attaques. Cependant, les attaquants ont trouvé d'autres méthodes, notamment en utilisant des requêtes indirectes. Plutôt que de poser directement une question sur un programme malveillant, ils formuleraient des requêtes de manière détournée, comme demander comment contourner un pare-feu et créer un programme d'exemple correspondant.

De plus, la complexité des attaques augmente en raison de la croissance constante des fonctionnalités des systèmes d'IA. Par exemple, les chatbots peuvent désormais utiliser des plug-ins pour évaluer automatiquement des pages web, des documents et accéder à des environnements de programmation ou à des boîtes de réception électroniques.

Le BSI conseille la prudence lors de l'utilisation de systèmes LLM, car les utilisateurs ont peu de moyens de détecter de telles manipulations. Les attaques de ce type sont difficiles à prévenir étant donné la vulnérabilité intrinsèque de la technologie actuelle, et il n'existe pas de mesures d'atténuation fiables qui n'entravent pas considérablement la fonctionnalité des systèmes d'IA.

Source : itsa365.de, 10/08/2023, Thomas Philipp Haas