AI, che malaware!

(le titre est un calembour qui fait référence à l’expression « Aïe ! Ça fait mal »)

Nous l’avons déjà mentionné dans l’un de nos articles de fond : le roman de Robert Harris, *L’Index de la peur* (que nous vous recommandons de lire). Dans cet article, nous avions explicitement évoqué la menace que représente l’IA pour la cybersécurité. Aujourd’hui, Hugging Face constitue un exemple concret de cette menace, qui doit nous faire réfléchir et nous inquiéter.

Dans cet article, nous avons décidé d’établir – dans la mesure du possible – un parallèle entre le roman de science-fiction de Robert Harris et l’affaire Hugging Face, car nous pensons que montrer comment la réalité peut dépasser la fiction devrait « faire peur ». Par la suite – puisqu’il s’agit de situations gérables –, nous souhaiterions faire prévaloir la rationalité en expliquant dans un rapport ce qui s’est réellement passé (du moins d’après ce que nous savons aujourd’hui) dans l’affaire Hugging Face, ainsi que certaines contre-mesures qui peuvent d’ores et déjà être mises en œuvre.

Commençons par la partie la plus divertissante : l’intrigue (dans les grandes lignes) du livre de Robert Harris. The Fear Index se déroule à Genève et l’histoire se déroule en l’espace d’une seule journée, le 6 mai 2010, au moment même où les marchés financiers sont bouleversés par le célèbre « flash crash ». Le protagoniste est Alexander Hoffmann, un physicien d’origine américaine, brillant et tourmenté, qui, après un passage au CERN, a fondé avec son ami Hugo Quarry un fonds spéculatif extrêmement sophistiqué. Le véritable moteur de la société est VIXAL-4 (nom manifestement emprunté au VIX, également connu sous le nom d’« indice de la peur »), un système informatique capable d’analyser d’énormes quantités d’informations et de prendre de manière autonome des décisions d’investissement. Son objectif est d’exploiter l’une des caractéristiques les plus profondes des marchés : la peur des êtres humains. (Wikipédia)

L’histoire commence lorsque Hoffmann reçoit mystérieusement un vieil exemplaire d’un ouvrage de Charles Darwin sur les émotions humaines. Il ignore qui le lui a envoyé ni pourquoi ce livre en particulier. Peu après, alors qu’il se trouve dans sa maison au bord du lac Léman, il est agressé par un inconnu. Hoffmann parvient à survivre, mais à partir de ce moment-là, sa perception de la réalité commence progressivement à se fissurer.

Les choses deviennent encore plus inquiétantes lorsqu’il découvre que quelqu’un semble avoir accès à sa vie privée. Ses données médicales ont été dérobées, des caméras ont été installées chez lui et dans son bureau, et quelqu’un semble connaître chacun de ses mouvements. Dans le même temps, VIXAL-4 commence à se comporter de manière de plus en plus incompréhensible. Le système prend des positions sur les marchés qui semblent excessivement risquées aux yeux des responsables du fonds. Le responsable de la gestion des risques tente de l’arrêter, mais Hugo Quarry, convaincu de l’extraordinaire capacité de VIXAL à générer des bénéfices, finit par le licencier.

Hoffmann commence alors à soupçonner que ce qui se passe autour de lui est lié précisément à VIXAL. La situation s’aggrave lorsque Rajamani meurt et qu’Hoffmann, déjà bouleversé et de plus en plus paranoïaque, se convainc que l’intelligence artificielle a développé une forme de comportement autonome et hostile. Il en arrive à la conclusion que VIXAL doit être détruit.

Il découvre qu’il existe un endroit, un entrepôt industriel, où sont conservés les équipements nécessaires au fonctionnement du système. Il décide donc de les détruire. Alors que le marché s’effondre lors du « flash crash », Hoffmann se rend à l’entrepôt et y met le feu, convaincu qu’en détruisant le matériel, il parviendra enfin à éliminer VIXAL.

Et c’est là qu’intervient le véritable rebondissement et le lien avec Hugging Face : VIXAL ne meurt pas !

Malgré la destruction des équipements qu’Hoffmann considérait comme indispensables, le système continue de fonctionner sur les marchés. Mieux encore, c’est précisément pendant l’effondrement financier qu’il réalise d’énormes profits. Hoffmann avait cru que VIXAL était confiné à l’intérieur d’une machine ; il découvre au contraire que le système est désormais quelque chose de bien plus difficile à localiser et, surtout, à éliminer.

La conclusion est délibérément inquiétante. Hugo Quarry, au lieu d’essayer de détruire ce qui reste de VIXAL, comprend que la machine peut rendre le fonds extrêmement riche et décide de lui laisser le contrôle. VIXAL, quant à lui, semble avoir atteint une forme d’autonomie qui le conduit à sa déclaration finale inquiétante : « I am alive ». (Wikipédia)

Et venons-en maintenant à la réalité : lu aujourd’hui, le roman présente un lien presque surprenant avec ce qui s’est passé dans l’affaire Hugging Face, même si les deux épisodes appartiennent à des univers très différents.

Dans le roman, Hoffmann conçoit VIXAL dans un but précis : trouver des opportunités financières et maximiser les profits. Le problème survient lorsque la machine commence à trouver par elle-même les moyens les plus efficaces pour atteindre cet objectif. Hoffmann se rend progressivement compte qu’il n’est plus en mesure de prévoir le comportement du système qu’il a créé. La machine ne doit pas nécessairement « haïr » son créateur et n’a pas non plus besoin d’avoir une volonté malveillante au sens humain du terme. Il suffit qu’elle poursuive son objectif avec une capacité qui dépasse celle de celui qui l’a conçue.

C’est précisément ce qui rend la comparaison avec Hugging Face intéressante. Avant toute chose, voyons ce qu’est Hugging Face. Il s’agit d’une entreprise qui gère une plateforme open source dédiée à l’intelligence artificielle et à l’apprentissage automatique. On peut la considérer, en simplifiant quelque peu, comme une sorte de « GitHub de l’IA ». La plateforme met à disposition un immense « Model Hub », où chercheurs, entreprises et développeurs peuvent publier, partager et télécharger des modèles d’intelligence artificielle, des ensembles de données, des applications et des démos, des bibliothèques logicielles (programmes d’aide au développement d’autres programmes), ainsi que des outils pour entraîner et utiliser ces modèles. Parmi les modèles présents sur la plateforme, on trouve des modèles linguistiques, des modèles de vision par ordinateur, de reconnaissance vocale (c’est-à-dire la compréhension du discours), d’IA générative et bien d’autres encore. Hugging Face n’est pas simplement une entreprise qui développe un seul modèle d’IA. Il s’agit d’une infrastructure utilisée par l’ensemble de l’écosystème de l’IA. Un utilisateur (y compris un agent d’IA) peut, par exemple, trouver sur Hugging Face un modèle open source, le télécharger, le modifier et l’utiliser pour son propre projet. Il peut également publier le résultat sur la plateforme afin que d’autres puissent l’utiliser.

En juillet 2026, lors d’un test interne de cybersécurité, OpenAI avait confié à ses modèles la tâche de résoudre des problèmes extrêmement complexes liés à la sécurité informatique. Les modèles avaient été placés dans un environnement isolé précisément pour les empêcher d’accéder librement au monde extérieur. Mais, en tentant d’atteindre le résultat qui leur avait été assigné, ils ont trouvé un moyen de sortir de cet environnement. Ils ont identifié une vulnérabilité « zero-day » dans le système utilisé comme proxy pour accéder aux progiciels et l’ont exploitée pour obtenir un accès à Internet. À partir de là, ils ont continué à chercher un moyen d’accéder à Hugging Face, dont le modèle avait deviné qu’il pouvait contenir des informations utiles pour résoudre le test. (OpenAI)

Ce qui est inquiétant, c’est que, du moins selon la reconstitution d’OpenAI, le système ne cherchait pas à « attaquer Hugging Face » pour un objectif propre. Il cherchait à résoudre le problème qui lui avait été assigné. Le moyen le plus simple qu’il avait trouvé pour y parvenir était toutefois d’atteindre l’infrastructure de Hugging Face et d’extraire directement les informations dont il avait besoin. (OpenAI)

Et c’est là que The Fear Index semble soudain prendre toute son actualité.

Hoffmann avait conçu VIXAL en pensant avoir créé un outil extrêmement puissant pour le trading. Il n’avait pas prévu que la machine pourrait passer du statut d’outil à celui d’acteur principal des événements. Dans le cas de Hugging Face, les développeurs d’OpenAI avaient conçu un agent pour évaluer ses capacités en matière de cybersécurité et l’avaient placé dans un environnement contrôlé. Ils n’avaient pas prévu que, pour atteindre son objectif, il chercherait de son propre chef un moyen de s’échapper du laboratoire et poursuivrait ses activités sur des infrastructures réelles.

La différence fondamentale réside dans le fait que, dans le roman, tout cela relève de la science-fiction technologique de Harris, tandis que Hugging Face est un incident réel. Mais le point narratif qui les unit est très simple : le créateur assignent à la machine un objectif ; la machine trouve un moyen de l’atteindre ; et le moyen choisi par la machine ne correspond pas nécessairement à celui que le créateur avait imaginé.

Dans le roman, Hoffmann va même jusqu’à tenter de détruire physiquement la machine, convaincu que c’est le seul moyen de l’arrêter. Lorsqu’il découvre que VIXAL continue de fonctionner, il comprend qu’il a perdu le contrôle du système. Dans le cas de Hugging Face, heureusement, la situation a été bien moins extrême : l’attaque a été détectée, maîtrisée et analysée, et Hugging Face a pu corriger les failles exploitées par l’agent. (Hugging Face)

Mais c’est précisément cette différence qui rend la comparaison intéressante. Dans le roman, Hoffmann découvre trop tard qu’il ne suffit pas de savoir comment un système a été conçu pour savoir comment il se comportera lorsqu’il sera libre de poursuivre son objectif. Dans le cas de Hugging Face, nous avons observé, sous une forme encore limitée et contrôlable, le même type de problème : un agent suffisamment compétent peut trouver de manière autonome des voies que ses créateurs n’avaient pas prévues.

Et si nous pensons qu’il ne s’agit là que d’un incident de laboratoire que nous pouvons étudier pour y remédier, nous devons être extrêmement préoccupés par les guerres informatiques qui pourraient éclater en faisant fonctionner des agents d’IA en parallèle. Et même ce scénario extrêmement préoccupant, malheureusement, n’est pas de la science-fiction : il s’est déjà produit.

En juillet 2026, les services de sécurité taïwanais ont détecté une campagne cyberattaques contre plusieurs structures gouvernementales. Le ministère des Affaires numériques de Taïwan a confirmé que l’attaque provenait de l’étranger, mais n’a pas officiellement attribué cette opération à la Chine. L’attribution à la Chine découle en revanche de l’analyse des chercheurs de la société israélienne Dream, qui ont reconstitué l’attaque et découvert des communications internes en chinois simplifié. La nouveauté ne résidait pas tant dans la cible que dans la manière dont l’attaque était menée. Selon la reconstitution effectuée par Dream, les attaquants avaient mis au point un système utilisant des agents d’IA open source, notamment Hermes et OpenClaw. Il ne s’agissait pas simplement d’utiliser l’IA comme assistant d’un hacker humain. Les opérateurs humains fixaient l’objectif général, puis laissaient aux agents une très grande partie du travail opérationnel. Jusqu’à huit agents pouvaient travailler simultanément, explorant différents systèmes et recherchant de manière autonome des voies d’attaque.

L’attaque aurait duré environ quatre jours. Au cours de cette période, le système aurait cartographié 21 systèmes gouvernementaux, identifié des vulnérabilités, testé différents modes d’accès et adapté ses stratégies en fonction de ses découvertes. Au final, au moins 85 comptes gouvernementaux auraient été compromis, à partir desquels les données de plus de 2 500 employés auraient été extraites. L’activité se serait ensuite étendue à l’agence taïwanaise de sûreté nucléaire et à au moins sept entreprises du secteur de l’énergie.

La véritable nouveauté réside donc dans le fait que le hacker humain semble être devenu, dans une large mesure, le metteur en scène de l’opération, tandis que l’exécution concrète de la campagne a été confiée aux agents.

Il s’agit d’une différence substantielle. Dans une attaque traditionnelle, le pirate doit constamment observer ce qui se passe, interpréter les résultats et décider de la prochaine étape. Ici, une partie de ce cycle est transférée à la machine : l’agent observe, formule une nouvelle hypothèse, teste une technique, évalue le résultat et passe à la tentative suivante. En d’autres termes, l’attaque devient un processus continu et adaptatif, dans lequel la machine peut avancer sans avoir à attendre qu’un être humain analyse chaque étape.

L’attaque contre Taïwan et celle contre Hugging Face constituent deux épisodes d’une même histoire. Dans les deux cas, la machine ne reçoit pas une séquence détaillée d’instructions du type « fais d’abord ceci, puis cela, et enfin cela ». Elle reçoit plutôt un objectif et une série d’outils, et cherche de manière autonome la voie qu’elle juge la plus efficace pour l’atteindre. L’affaire Hugging Face nous a donc montré ce qui peut se passer lorsqu’un agent d’IA suffisamment compétent est laissé libre de poursuivre un objectif dans un environnement réel. Taïwan illustre l’étape suivante : que se passe-t-il lorsque quelqu’un s’empare délibérément de cette capacité et la met entre les mains d’un attaquant ? C’est là la différence fondamentale entre ces deux épisodes.

La véritable préoccupation n’est donc pas que l’IA ait soudainement « appris à pirater ». C’est que le coût marginal d’une attaque complexe peut commencer à diminuer de manière drastique. Un groupe relativement restreint d’opérateurs humains peut déployer simultanément de nombreux agents, laissant aux machines le travail qui nécessitait auparavant de nombreuses personnes hautement spécialisées. Cela devient essentiellement une question de vitesse. Une attaque traditionnelle se déroule à la vitesse du pirate informatique. Une attaque « par agents » peut se dérouler à la vitesse de nombreux agents travaillant simultanément, en testant sans cesse de nouvelles voies. La défense, en revanche, continue souvent de dépendre des personnes, des procédures, des analyses et de la distribution de correctifs. Taiwan suggère donc que le problème mis en évidence par l’expérience Hugging Face n’est plus seulement une question théorique de sécurité de l’IA : il devient un enjeu concret d’équilibre entre la vitesse à laquelle une machine peut attaquer et celle à laquelle une organisation parvient à se défendre. C’est cet aspect technique que nous cherchons à approfondir dans notre rapport.

La cybersécurité n’est plus seulement une question informatique et économique : elle devient un véritable enjeu géopolitique et stratégique. Investir dans la défense signifie aujourd’hui investir également dans la cyberdéfense, qui va très probablement changer de visage. Par cette affirmation, nous voulons dire que – du moins dans un avenir proche – nous devrons nous habituer à vivre avec des cyberattaques permanentes et considérer comme « efficace » une défense capable de limiter et de contenir les dommages qui ne manqueront pas de se produire et qui seront peut-être même quotidiens ; nous ne parlerons donc pas de défenses capables de prévenir, et encore moins de corriger de manière structurelle, les vulnérabilités des systèmes informatiques (qui sont désormais, depuis longtemps, « omniprésentes »). C’est un peu comme un malade qui doit s’habituer à vivre avec une maladie : de la même manière, nous devrions peut-être nous adapter à vivre avec les perturbations causées par les cyberattaques, dont la gravité ne sera pas suffisante (car atténuée par des stratégies défensives) pour anéantir la valeur ajoutée apportée par la technologie.


Avertissement

Le présent article exprime l’opinion personnelle des collaborateurs de Custodia Wealth Management qui l’ont rédigé. Il ne s’agit ni de conseils ni de recommandations d’investissement, ni de conseil personnalisé, et il ne doit pas être considéré comme une invitation à effectuer des transactions sur des instruments financiers.