← Tous les numéros de Who Knows ?

Ces vieilles règles qu'on touche sans savoir ce qu'elles protègent

Who Knows ? #1 · · 7 min de lecture

Comment 45 minutes d'erreur ont coûté 460 millions de dollars à une société de Bourse américaine, puis son indépendance

Le 1er août 2012, à 9h30, la Bourse de New York ouvre.

Knight Capital est une société de Bourse américaine. Son métier : exécuter, toute la journée, les commandes d'achat et de vente d'actions que lui transmettent les courtiers de particuliers. C'est à l'époque le numéro un américain de ce métier.

Ce matin-là, son logiciel se met à acheter et à vendre des actions sans que personne le lui ait demandé. 45 minutes plus tard, la perte se compte en centaines de millions de dollars. Pour comprendre comment, il faut remonter neuf ans en arrière, et regarder comment ce logiciel sait s'arrêter.

Comment le logiciel de Knight sait s'arrêter

Quand un particulier demande par exemple à acheter 1 000 actions, Knight ne les achète pas d'un coup. Son logiciel découpe la commande en petites commandes, qu'il passe sur le marché les unes après les autres.

Un compteur additionne ce qui a déjà été acheté. Quand le total atteint 1 000, le logiciel s'arrête.

Retenez ce compteur : sans lui, le logiciel continuerait à acheter indéfiniment.

Une vieille fonction jamais effacée

Un logiciel est fait de fonctions : chacune est un petit morceau de programme qui fait une seule chose précise, comme une procédure que l'ordinateur suit à la lettre.

Knight en a une qui passe des commandes sur le marché, baptisée Power Peg. En 2003, l'entreprise arrête de s'en servir, mais ne l'efface pas : elle reste dans le logiciel, prête à repartir.

En 2005, les équipes réorganisent le logiciel et déplacent le compteur. Sans que personne s'en rende compte, la vieille fonction perd le sien : elle ne sait plus quand s'arrêter. Personne ne la reteste.

Pendant sept ans, il ne se passe rien, puisqu'on ne s'en sert plus.

Un ordinateur sur huit, oublié

En 2012, Knight installe une nouveauté. Pour la mettre en marche, les équipes réutilisent un vieux réglage, un simple « oui » ou « non » : celui qui mettait autrefois en marche la vieille fonction. La nouveauté doit la remplacer sur les huit ordinateurs qui envoient les commandes sur le marché.

Elle arrive sur sept. Sur le huitième, un technicien ne l'a pas copiée, et personne ne vérifie derrière lui. D'après la SEC, le gendarme de la Bourse américaine, aucune procédure écrite ne l'exigeait.

Des millions de commandes que personne n'a demandées

Le 1er août, le réglage passe sur « oui ». Sur le huitième ordinateur, il ne trouve pas la nouveauté : il remet en marche la vieille fonction.

Ce matin-là, 212 commandes de clients passent par cet ordinateur. Pour chacune, la vieille fonction envoie des petites commandes sur le marché. Et comme elle n'a plus de compteur, elle ne s'arrête jamais : elle continue d'acheter et de vendre, bien au-delà de ce que les clients ont demandé.

En 45 minutes, elle réalise plus de 4 millions d'achats et de ventes sur 154 actions différentes. Quand les équipes réussissent enfin à tout arrêter, Knight se retrouve avec des montagnes d'actions que personne ne voulait :

  • environ 3,5 milliards de dollars d'actions achetées ;
  • et environ 3,15 milliards de dollars d'actions vendues sans les posséder, qu'il doit donc racheter pour les livrer.

Pourquoi il faut tout revendre, et à quel prix

Knight ne peut pas garder ces actions. Il doit revendre tout ce qu'il a acheté et racheter tout ce qu'il a vendu, au prix du marché. Dans l'opération, il perd 460 millions de dollars, d'après la SEC.

Pour mesurer le choc : selon un analyste cité par NBC, c'est environ 30 % de l'argent que Knight possède en propre, celui qui lui permet d'exercer son métier. Pour continuer son activité, Knight doit trouver de l'argent frais, et vite.

Cinq jours plus tard, Knight ne s'appartient plus

Le 6 août, un groupe d'investisseurs apporte 400 millions de dollars, et obtient en échange des titres qui lui donneront un peu plus de 70 % de l'entreprise. En décembre, Knight annonce sa fusion avec un concurrent : elle cesse d'exister seule. La SEC lui inflige ensuite 12 millions de dollars d'amende.

Voilà la leçon. Knight savait que la vieille fonction existait. Mais elle a touché deux fois à du vieux sans vérifier ce que cela faisait encore : en 2005, en modifiant le programme sans retester la vieille fonction ; en 2012, en réutilisant son vieux réglage sans vérifier que l'ancienne fonction avait disparu de chaque ordinateur. Et rien ne coupait l'envoi des commandes quand les montants dépassaient les limites : c'est ce manque de garde-fous que la SEC a sanctionné.

Garder ou supprimer une règle qu'on ne comprend plus : les deux façons de se tromper, et la règle de Chesterton pour les éviter

En 1929, l'écrivain anglais G. K. Chesterton a raconté une petite parabole qu'on cite encore.

Un réformateur trouve une barrière en travers d'un chemin et dit : je ne vois pas à quoi elle sert, enlevons-la. Un réformateur plus avisé lui répond, en substance :

« Si vous ne voyez pas à quoi elle sert, je ne vous laisserai certainement pas l'enlever. Allez réfléchir. »

G. K. Chesterton, The Thing, 1929

Quand vous saurez dire à quoi elle sert, poursuit-il, on pourra peut-être l'enlever.

Votre organisation a ses propres barrières. Par exemple :

  • la double signature exigée sur les devis au-dessus d'un certain montant ;
  • ce client qu'on ne relance jamais avant le 10 du mois ;
  • ce fichier Excel qu'on met à jour à la main tous les lundis ;
  • cette étape de vérification qui a l'air de ne servir à rien.

Chacune a eu une raison : un impayé, un client qui s'était fâché, un contrôle fiscal. On garde la règle, et avec le temps, on perd la raison. Celui qui l'avait posée est parti, a changé de poste, ou ne s'en souvient plus.

Face à une telle règle, il y a deux façons de se tromper.

La garder par prudence, et elle devient un rituel. On perd du temps, on agace les nouveaux, et on finit par entendre « on a toujours fait comme ça », la phrase qui signale qu'un savoir a disparu.

La modifier ou la supprimer pour simplifier, et parfois on remet en marche sa propre vieille fonction : la raison était bonne, et elle revient d'un coup, au pire moment.

Chesterton ne parlait que de supprimer, mais on peut étendre sa règle à toute modification, et elle évite alors les deux erreurs : avant de toucher à une règle, on retrouve pourquoi elle existe. Si personne ne le sait, on ne la supprime pas à l'aveugle. On cherche, et on écrit ce qu'on a trouvé.

Si vous êtes expert-comptable, avocat ou conseil, vous connaissez ce moment : vous demandez à un client pourquoi il procède ainsi, et personne autour de la table ne sait répondre.

Pourquoi une IA branchée sur vos documents ne vous dira jamais pourquoi on fait comme ça

On pourrait espérer que l'IA règle le problème : vous lui donnez vos procédures, et elle vous explique tout.

Elle vous expliquera ce qui est écrit. Or la raison d'une règle est presque toujours ce qui n'est pas écrit : l'impayé d'il y a dix ans, l'exigence d'un gros client, le contrôle fiscal qui s'est mal passé. Une IA branchée sur vos documents vous dira que la double signature existe. Elle ne vous dira pas pourquoi, parce que personne ne l'a jamais noté.

Mon avis, et c'est ce sur quoi nous construisons Engramia : la raison d'une règle se recueille auprès de ceux qui la connaissent encore, pendant qu'ils sont là, et elle se range à côté de la règle, avec sa source et sa date. L'IA devient alors vraiment utile : quand quelqu'un demande « pourquoi on fait comme ça ? », elle retrouve la réponse de la personne qui savait, et elle dit d'où vient cette réponse.

Pour les dirigeants · La chasse aux barrières, à lancer lundi Demandez à chaque responsable d'équipe de lister trois règles ou étapes dont il ne connaît pas la raison. Vingt minutes suffisent.

Pour chacune, cherchez qui la connaît encore, et écrivez la raison en une phrase à côté de la règle : qui l'a posée, quand, pourquoi. S'il ne reste personne pour répondre, vous savez déjà que cette règle est fragile.

Et avant de modifier ou de supprimer quoi que ce soit, suivez le conseil de Chesterton : allez d'abord chercher pourquoi c'est là.

À retenir

  • Knight Capital a perdu 460 millions de dollars, puis son indépendance, après avoir touché deux fois à une vieille fonction sans vérifier ce qu'elle faisait encore.
  • Avant de modifier ou de supprimer une règle, retrouvez pourquoi elle existe. C'est la règle de Chesterton.
  • Une IA ne connaît que ce qui est écrit : la raison d'une règle doit être recueillie auprès de ceux qui la connaissent, et rangée à côté de la règle.

Et chez vous, combien de barrières tiennent encore debout sans que personne sache pourquoi ? Si vous voulez qu'on les cherche ensemble, prenons trois quarts d'heure.

Sources