Pourquoi les backtests mentent : les cinq biais qui embellissent les stratégies

L’essentiel en bref

Définition : un backtest simule une stratégie d’investissement sur des données historiques pour estimer ce qu’elle aurait rapporté. Indispensable en gestion quantitative — et dangereusement facile à embellir, le plus souvent sans intention de tromper.
Le biais du survivant : tester une stratégie sur l’univers d’aujourd’hui, c’est ignorer les titres et les fonds disparus en route — faillites, retraits de cote, fusions. La littérature académique documente depuis les années 1990 que cet oubli gonfle systématiquement les performances simulées.
Le biais d’anticipation : utiliser une donnée avant sa date de publication réelle. Nos propres données l’illustrent : sur les rapports de fonds immobiliers suisses de notre base dont la date de parution est enregistrée, la publication intervient en médiane 73 jours après la clôture de l’exercice — un backtest qui utilise les chiffres « à la date de clôture » négocie donc avec deux mois et demi d’avance sur la réalité.
Le surapprentissage : en essayant suffisamment de variantes, on finit toujours par trouver un backtest spectaculaire — par pur hasard. La recherche académique propose de relever nettement les seuils de significativité des stratégies découvertes par essais multiples, et fournit des outils pour estimer la probabilité qu’un backtest soit surappris.
Les coûts oubliés : frais de transaction, écarts de cours, impact de marché, fiscalité — un backtest brut de coûts surestime d’autant plus la performance que la stratégie tourne vite.
Le régime unique : une stratégie calibrée sur une seule époque — par exemple les années de taux négatifs suisses — apprend les règles d’un monde qui peut cesser d’exister, comme en 2022-2023.
Réflexe clé : face à un backtest, les questions utiles sont toujours les mêmes : univers sans biais du survivant ? données datées à leur publication ? coûts réalistes ? combien de variantes essayées ? validation hors échantillon ? Les réponses distinguent une simulation d’un argument de vente.

Introduction

Toute stratégie d’investissement systématique se présente accompagnée d’une courbe de performance simulée — régulière, ascendante, convaincante. C’est la force du backtest : il transforme une idée en chiffres. C’est aussi son danger : ces chiffres sont fabriqués à partir du passé, par un processus dont chaque étape peut — souvent involontairement — embellir le résultat.

En gestion quantitative, la lutte contre ces biais occupe une part du travail au moins égale à la construction des stratégies elles-mêmes. Cet article décrit les cinq mécanismes qui font mentir les backtests (biais du survivant, biais d’anticipation, surapprentissage, coûts oubliés, régime unique), ce que la recherche académique en dit, et les garde-fous qui permettent de leur résister. Non pour disqualifier l’outil : pour apprendre à le lire.

Qu’est-ce qu’un backtest — et pourquoi il séduit

Un backtest applique des règles d’investissement précises à l’histoire : « chaque mois, acheter les dix titres les moins chers selon tel critère, revendre selon tel autre », puis mesure ce que ce portefeuille fictif aurait rapporté sur dix ou vingt ans. L’exercice est légitime et irremplaçable : il force à formuler des règles explicites, révèle le comportement d’une idée dans les crises passées, et permet de comparer des approches à conditions égales.

Sa séduction vient de sa précision apparente : rendement annualisé, volatilité, pire perte — tout est chiffré à la décimale. Mais cette précision porte sur un passé reconstruit, et la reconstruction est un exercice périlleux. Les cinq biais qui suivent en sont les pièges principaux — du plus simple à détecter au plus insidieux.

Biais n° 1 : le survivant — tester sur les vivants

La façon la plus naturelle de tester une stratégie est de partir de l’univers d’investissement actuel : les titres d’un indice, les fonds d’une catégorie. C’est aussi la plus sûre façon de se tromper : cet univers ne contient, par construction, que les survivants. Les sociétés en faillite, les titres retirés de la cote, les fonds liquidés ou absorbés après de mauvaises années ont disparu des listes — et avec eux, les pertes que la stratégie aurait subies en les détenant.

La littérature académique a documenté ce biais dès les années 1990, notamment sur les fonds de placement américains : mesurer la performance moyenne d’une catégorie en ignorant les fonds morts revient à surestimer systématiquement le résultat. L’ampleur varie selon les univers et les périodes ; le sens de l’erreur, jamais.

Le remède est connu mais exigeant : des bases de données incluant les titres disparus (« survivorship-bias free »), reconstituant l’univers tel qu’il existait à chaque date. Notre propre terrain d’étude en donne une illustration concrète : l’univers des fonds immobiliers suisses cotés que nous suivons compte 46 véhicules aujourd’hui — mais les fusions et absorptions du secteur, encore récentes, rappellent que cette liste n’a pas toujours porté les mêmes noms, et qu’un backtest mené sur la liste actuelle hériterait mécaniquement du biais.

Biais n° 2 : l’anticipation — savoir avant tout le monde

Un backtest honnête ne peut utiliser, à chaque date simulée, que l’information réellement disponible à cette date. La règle paraît évidente ; elle est violée en permanence, pour une raison simple : les bases de données rangent les chiffres à leur date comptable, pas à leur date de publication.

Nos données offrent une mesure directe du problème. Sur les rapports de fonds immobiliers suisses de notre base dont la date de parution est enregistrée (un peu plus d’un quart de la base à ce jour), l’écart entre la clôture de l’exercice et la publication du rapport atteint 73 jours en médiane ; un quart d’entre eux paraissent plus de trois mois après la clôture, certains jusqu’à neuf mois. Un backtest qui utilise la VNI ou le résultat « au 31 décembre » dès le 1er janvier négocie donc avec deux mois et demi d’avance sur les investisseurs réels — un avantage informationnel fictif, invisible dans la courbe, impossible à répliquer en vrai.

Le même mécanisme opère partout : bénéfices d’entreprises révisés après coup, indices économiques corrigés, compositions d’indices connues rétroactivement. Le remède porte un nom : les données « point-in-time », datées à l’instant où le marché les a connues — c’est précisément pour cela que notre pipeline d’extraction enregistre, pour chaque rapport, sa date de publication et non seulement sa date comptable.

Biais n° 3 : le surapprentissage — chercher jusqu’à trouver

Le biais le plus insidieux ne falsifie aucune donnée : il naît de la répétition. Essayez une stratégie ; si le backtest déçoit, ajustez un paramètre, changez un seuil, testez une variante — et recommencez. Avec assez d’essais, un résultat spectaculaire finira par apparaître. Le problème est qu’il ne mesure plus une régularité du marché : il mesure votre persévérance à interroger le hasard.

La recherche académique a formalisé ce mécanisme. Des travaux publiés dans les Notices de l’American Mathematical Society montrent que la meilleure performance simulée parmi un grand nombre d’essais croît mécaniquement avec le nombre d’essais — même si toutes les stratégies testées sont sans aucune valeur ; leurs auteurs qualifient la présentation d’un backtest sans mention du nombre d’essais de pratique proche du « charlatanisme financier ». Dans le même esprit, une étude de référence sur les centaines de facteurs boursiers publiés recommande d’exiger des stratégies découvertes par essais multiples un seuil de significativité statistique nettement relevé (un t de Student d’environ 3 plutôt que 2), et des méthodes existent désormais pour estimer la probabilité qu’un backtest donné soit surappris.

Les remèdes relèvent de la discipline plus que de la technique : réserver une période de validation jamais utilisée pendant la recherche (« out-of-sample »), avancer par fenêtres glissantes (« walk-forward »), compter honnêtement les variantes essayées — toutes, y compris les abandonnées — et se méfier d’autant plus d’un résultat qu’il a été long à trouver. Et surtout : partir d’une hypothèse économique — pourquoi cette prime existerait-elle, qui la paie, pourquoi persisterait-elle ? — plutôt que de laisser l’optimiseur fouiller les données à l’aveugle.

Biais n° 4 : les coûts oubliés

Un backtest brut simule des transactions gratuites et instantanées. La réalité facture chaque ligne : commissions de courtage, écarts entre prix acheteur et vendeur, impact de marché (déplacer un cours en achetant), droit de timbre fédéral sur les transactions pour les titres suisses, et selon les stratégies, coûts d’emprunt de titres. Chacun de ces postes est petit ; leur somme, multipliée par la rotation du portefeuille, ne l’est pas.

La règle de lecture est simple : plus une stratégie tourne vite, plus l’écart entre sa courbe brute et sa réalité nette est grand — et plus le backtest doit détailler ses hypothèses de coûts pour être pris au sérieux. Une stratégie dont l’avantage simulé disparaît à 20 points de base de coûts par transaction n’a pas d’avantage : elle a une hypothèse de coûts.

S’y ajoute la question de la capacité : une stratégie testée sur des petites capitalisations ou des titres peu liquides — les fonds immobiliers suisses en savent quelque chose — peut être réelle à 10 millions et illusoire à 500 millions : les backtests ignorent que l’acheteur finit par devenir le marché.

Biais n° 5 : le régime unique

Le dernier biais ne tient ni aux données ni à la méthode, mais à l’histoire elle-même. Une stratégie calibrée sur une période donnée apprend les règles du monde de cette période — et ces règles changent. L’exemple suisse est parlant : entre 2015 et 2022, le taux directeur de la BNS est resté à −0,75 % ; il est remonté jusqu’à 1,75 % en 2023, avant de revenir à 0 % depuis juin 2025. Une stratégie de rendement construite et testée uniquement sur l’ère des taux négatifs — où toute source de revenu se payait au prix fort — a rencontré en 2022-2023 un monde qu’elle n’avait jamais vu ; la correction des fonds immobiliers cotés l’a illustré à sa manière.

Le remède n’est pas de tester plus loin dans le passé — les données s’appauvrissent vite — mais de tester à travers les régimes : vérifier le comportement de la stratégie dans des environnements de taux, d’inflation et de liquidité différents, et surtout identifier explicitement de quel régime dépend son moteur économique. Une stratégie honnête sait dire dans quel monde elle cesse de fonctionner.

Les garde-fous : ce qu’un backtest sérieux documente

Résumons en une liste ce que les cinq biais imposent. Un backtest présenté sérieusement documente :

son univers — reconstitué à chaque date, titres disparus inclus ;
ses dates — chaque donnée utilisée à sa date de publication réelle (« point-in-time »), pas à sa date comptable ;
ses coûts — commissions, écarts, impact, fiscalité, avec les hypothèses chiffrées ;
son processus de recherche — nombre de variantes essayées, existence d’une période de validation intacte, méthode de sélection des paramètres ;
ses régimes — comportement à travers des environnements différents, et conditions économiques dont dépend le signal ;
sa capacité — jusqu’à quel volume les hypothèses d’exécution restent réalistes.

Aucun backtest ne satisfait parfaitement les six critères — le nôtre y compris. Mais l’écart entre ce qu’une simulation documente et ce qu’elle tait est, en pratique, le meilleur indicateur de la confiance qu’elle mérite.

Les limites de la critique

Trois nuances pour finir. D’abord, le backtest reste irremplaçable : l’alternative — investir sur des convictions jamais confrontées à l’histoire — est pire que tous les biais réunis. La critique porte sur les backtests mal faits ou mal présentés, pas sur l’outil.

Ensuite, un backtest honnête reste une estimation : même débarrassée de tous les biais, une performance simulée décrit des marchés passés. Elle borne l’espérance ; elle ne promet rien — et c’est précisément pour cela qu’une simulation, aussi soignée soit-elle, ne constitue jamais une prévision.

Enfin, la sophistication ne protège pas du biais — elle le déguise. Plus une méthode est complexe, plus elle offre de paramètres à ajuster, et plus le surapprentissage devient probable à ampleur de recherche égale. En matière de backtest, la simplicité documentée vaut mieux que la complexité silencieuse.

Conclusion

Les backtests mentent rarement par fraude ; ils mentent par construction, chaque fois qu’un univers oublie ses morts, qu’une donnée voyage dans le temps, qu’un chercheur oublie de compter ses essais, qu’une courbe ignore ses coûts ou qu’une époque se prend pour une loi. Ces biais poussent tous dans le même sens — l’embellissement — et c’est bien pourquoi les courbes simulées sont si régulièrement plus belles que les performances réelles qui les suivent.

La bonne nouvelle est que chacun de ces biais a un remède connu, et que la liste des questions à poser tient sur une page. C’est le regard que nous appliquons à nos propres travaux — de la base de données construite rapport par rapport, dates de publication comprises, aux stratégies que nous étudions — et celui que cette série d’articles continuera d’appliquer, chiffres à l’appui, aux marchés qu’elle couvre.