Critères de validation d'un backtest

[spy]

Bonjour,

Tout est dans le titre...
Je suis curieux de connaître vos critères pour valider un backtest et donc une stratégie boursière.

Je vais commencer par présenter les miens:
2 critères le risque et la performance.

Le risque suivant le max drawdown observé, il doit être inférieur à 30% (c'est ce qui reste acceptable pour ma femme...je pense )

La performance que je calcul suivant les gains et pertes moyennes pondérés par le pourcentage de trade gagnant et perdant.
Performance = (Gain Moy * % Trade Gagnant)/(Perte Moy * % Trade Perdant)
La performance doit être supérieur à 2.

Ce que je trouve regrettable, c'est que je n'arrive pas à justifier, argumenter ces critères même si j'observe que l'equity curve est satisfaisante suivant ces contraintes.

Risque < -30% (Pourquoi pas -20% ou au contraire -40% ??)
Performance > 2 (Pourquoi pas > 1.5 ou au contraire 3 ??)

Je suis très curieux de connaître vos niveaux de critères et vos arguments.

Cordialement,

Jerome

[Pierre8r]

Bonjour,

Quel logiciel utilisez-vous pour calculer le max drawdown et la performance ?

Cordialement,

Pierre8r

[FGATS]

salut,

Je me suis intéressé un temps aux systèmes de trading et je crois pouvoir dire sans risque de me tromper que si un backtest est une étape nécessaire à la validation d'une stratégie boursière c'est complétement insuffisant pour valider la dite stratégie. La sur-optimisation d'un système peut, par exemple, donner d'excellents résultats en backtest et des catastrophes en live.

Le backtest doit être absolument suivi d'un walk-forward test lequel doit confirmer le backtest avant de parler d'une quelconque validation du système de trading.

A toutes fins utiles, je me permets de signaler un ouvrage simple sur le sujet (à lire, relire et méditer) :

Design, testing and optimization of trading systems

de Robert Pardo

chez Wiley


Cet ouvrage date de 1992 mais ce qu'il raconte est toujours d'actualité et aussi intéressant à connaitre avant d'essayer de définir son système de trading.

à+

[Strelok]

Est-ce que quelqu'un a déjà essayer de volontairement suroptimiser un système, pour ensuite jouer son contraire?

[FGATS]

Est-ce que quelqu'un a déjà essayer de volontairement suroptimiser un système, pour ensuite jouer son contraire?

Un système sur-optimisé c'est en fait tout et n'importe quoi et dans ces conditions, je doute qu'on sache exactement définir "un contraire".

juste mon avis ...

à+

[HerveM]

Citation de : ggo (au 20-11-2009 12:04:35)

Est-ce que quelqu'un a déjà essayer de volontairement suroptimiser un système, pour ensuite jouer son contraire?

Un système sur-optimisé c'est en fait tout et n'importe quoi et dans ces conditions, je doute qu'on sache exactement définir "un contraire".

juste mon avis ...

à+

---

Strelok veut certainement dire faire passer l'ordre inverse à celui déclenché

[Strelok]

Oui, c'est ce que je voulais dire : suroptimiser un système, puis vendre quand il dit d'acheter, et vice-versa.

C'est juste une idée (surement idiote ).

[HerveM]

Citation de : spy (au 19-11-2009 13:08:26)

Bonjour,

Tout est dans le titre...
Je suis curieux de connaître vos critères pour valider un backtest et donc une stratégie boursière.

Cordialement,

Jerome

---

Perso, il ne s'agit pas de critères de validation mais le minimum requis pour savoir si je vais consacrer du temps au système en question ou passer à l'affaire suivante :

le profil de l'équity curve
le ratio Net profit(*)/ Max DD
le pourcentage de réussite (qui n'est théoriquement pas un critère essentiel mais une donnée de confort psychologique)

* en incluant bien évidemment commissions et slippages

Hervé

[FGATS]

Oui, c'est ce que je voulais dire : suroptimiser un système, puis vendre quand il dit d'acheter, et vice-versa.

Cela ne marchera pas.

Quand tu sur-optimises un système tu as en fait un truc qui passes bien par les points historiques connus et c'est tout.

En quelque sorte, ton système "contraire" devrait donner un backtest affreux pour qu'ensuite, en live, il donne de bons résultats ? Aucune chance ...

Ce que tu fais à ce moment-là, c'est juste inverser les ordres d'achat/vente mais si ton système était sur-paramétré avant, ton système "contraire" l'est toujours autant après.

Un bon système doit donner de bons résultats en backtest et des résultats comparables en W-F test. Hors de cela, point de salut, à mon avis.

à+

[FGATS]

le profil de l'équity curve
le ratio Net profit(*)/ Max DD
le pourcentage de réussite (qui n'est théoriquement pas un critère essentiel mais une donnée de confort psychologique)

Tout ce qui est fait sur un historique est tout à fait nécessaire mais complètement insuffisant
Lis le bouquin indiqué plus haut ou définis quelques systèmes et tu en seras convaincu. J'ajouterai que mathématiquement on peut démontrer qu'il est toujours possible de définir un modèle qui passe exactement par un nuage de points désirés (historique par exemple) mais que cela n'en fait absolument pas un système qui passera aussi par d'autres points supplémentaires qu'on définirait (points à venir par exemple.

Je me permets d'insister lourdement mais c'est que le risque de faillite est grand : W-F Test indispensable pour tout système que l'on veut utiliser en live.

à+

[businessman79]

Citation de : Strelok (au 20-11-2009 11:56:30)

Est-ce que quelqu'un a déjà essayer de volontairement suroptimiser un système, pour ensuite jouer son contraire?

---

Yes, ca ne fonctionne pas. On arrive toujours, à terme, à des résultats aléatoires.

[altair_606]

Tout à fait d'accord avec ggo. Le backtest est une confition nécessaire mais non suffisante. Prévoir aussi toujours une partie des données pour le backtest et optimisation éventuelle, et une autre partie des données pour vérifier qu'un optimisation soit valable.

[spy]

Citation de : HerveM (au 20-11-2009 12:19:13)

Perso, il ne s'agit pas de critères de validation mais le minimum requis pour savoir si je vais consacrer du temps au système en question ou passer à l'affaire suivante :

le profil de l'équity curve
le ratio Net profit(*)/ Max DD
le pourcentage de réussite (qui n'est théoriquement pas un critère essentiel mais une donnée de confort psychologique)

* en incluant bien évidemment commissions et slippages

Hervé

---

Ok pour les minimums requis mais pouvez vous les chiffrer ??

Partout je lis qu'il faut une equity curve exponentielle, une esperance de gain positive, un couple rendement risque le plus élevé
MAIS RIEN DE CHIFFRER

Voilà ce qui m'interesse, les résultats chiffrés du backtest (même si ils ne sont pas suffisant) qui feront que la système de trading passera en mode test puis réel...
C'est la question que je me pose et à laquelle je n'arrive pas à répondre.
A vos argumentations

[mac]

le meilleur backtest live: 90% perdent de l'argent, il suffirait d'inverser les cerveaux pour 90% gagnent

[FGATS]

Ok, voici quelques chiffres (backtest) concernant un système perso que j’ai fait tourner avec des paramètres constants sur les valeurs du SRD entre janvier 1998 et 20/11/2009 (ce système ne prend pas de positions short) réalisé avec le logiciel Wealth-lab :

Performances réalisées par le système :



Sur cette première page, on imagine sans peine qu’il faille avoir un gain annuel et un profit net les plus élevés possibles. Personnellement, ce ne sont pas les variables que j’ai retenues lors de mes essais d’optimisation. Bien sûr, je ne perdais pas de vue ces deux variables malgré tout.

Mes variables préférées lors de l’optimisation sont :

- Exposure : ici, dans mon exemple, je ne reste investi que 6.38 % du temps et je génère 25.1 % de gain moyen par an ; c’est beaucoup mieux que gagner 6.68 % avec une exposition du capital pendant 98.8 % du temps (stratégie Buy and Hold, colonne de droite) ;
Perso, je vise une faible exposition du capital.

Bien sûr, une faible exposition ne favorise pas les gains ; mais ici, cette exposition (6.38 %) a été obtenue sur les 150 valeurs du SRD. Je peux très bien rester avec le même réglage pour mon système (donc même risque) augmenter l’exposition – et donc les gains – en prenant des listes comportant 300 ou 500 valeurs, par exemple.

- Avg Bars Held : je n’aime pas rester longtemps dans le marché, après 2 barres, je sors (pour avoir une exposition faible, bien sûr)

- Avg Profit/loss = gain ou perte moyenne par trade ; pour moi > à + 2 % ; (il s’agit en fait de l’espérance mathématique moyenne) ; si cette valeur est trop faible alors les frais de courtage mangent tous les gains.

- Winning % : pourcentage de trades gagnants ; il n’y a pas de valeur optimale pour cette variable ; des systèmes peuvent être gagnants avec 30 % de trades gagnants et d’autres perdants avec 90 % de trades gagnants.

En fait, on s’aperçoit que si l’on optimise pour avoir une très grande valeur pour le % de trades gagnants alors dans le même temps, on voit baisser le gain moyen par trade. A chacun donc de choisir la valeur avec laquelle il se sent confortable. Personnellement, une valeur inférieure à 50 % m’angoisse un peu. Je souhaite plutôt 80 % mais pour avoir de bonnes valeurs sur Avg Profit/loss, je me contente de 60-65 %

- Max Drawdown :



Variable très importante, ici dans mon exemple, il atteint près de 20 % en novembre 2001 : c’est trop !
En fait, comme je l’indiquais plus haut, cette page de résultats est obtenue avec des paramètres constants sur une période de 12 années. On n’utilise jamais un système comme cela à mon avis, il faut à intervalles réguliers ré-optimiser les paramètres.
On voit ici, malgré tout, que le plus souvent le max DD est inférieur à 10 %. Personnellement, j’essaie d’avoir des valeurs inférieures à 12 %.

- Sharpe Ratio

Pour un système donné, une façon d’apprécier le risque associé à son investissement.
Si SR > 1, le système est correct ; si SR > 2 alors le système est très bon.
Si un système a une faible valeur de Sharpe ratio, les gains/pertes sont en fait dus au hasard.

- Profit factor : sur la période considérée, c’est l’ensemble des gains divisé par l’ensemble des pertes ; facile de comprendre qu’il vaut mieux être, ici, supérieur à 1
- Recovery factor : apprécie la facilité à surmonter une forte valeur de DD ; RF = Net profit / max DD ; mieux vaut donc de fortes valeurs de RF
- Pay Off ratio : gain moyen par trade / perte moyenne par trade ; donc > 1 attendu ; factor quelque peu redondant avec Avg Profit/loss % vu plus haut

Voici donc les principales variables qui me servent à optimiser un système. Bien évidemment, on peut encore en ajouter. Par exemple, j’aime bien avoir une forte valeur pour Nb de trades gagnants consécutifs et, bien sûr, une faible valeur pour Nb de trades perdants consécutifs …

Les courbes maintenant :

L’equity curve :

c’est simple, il faut qu’elle grimpe et plus vite qu’une stratégie B&H




Cette courbe sert aussi à apprécier le système ; par exemple, on voit ici (verticales vert clair) que mon système, avec les paramètres retenus, achète dans les périodes Bear et se tient coi dans les périodes Bull.

Distribution des profits :



On voit tout de suite sur cette courbe que gains et pertes ne sont pas symétriques et que le biais est favorable aux gains

Distribution des gains dans le temps :

Une distribution régulière est souhaitable, ici, on a un pic en 2000 et aussi des années plates 2005/2007. Cela n’est pas souhaitable et c’est là que l’optimisation régulière du système dans le temps doit favoriser un gain moyen plus régulier ainsi qu’un DD max pas trop élevé






Conclusions :

Je pense que tu as compris qu’il n’y a pas une série de valeurs absolues sur lesquelles tout le monde va tomber d’accord : certains veulent 80 % de trades gagnants, d’autres se contenteront de 30 %, moi j'aime plus de 60 %. Certains supportent un DD de 30 %, moi, je dis que c’est de la folie, etc ...

Cela dit, s’il faut réduire tout cela à quelques chiffres importants, je dirais

Avg Profit/Loss % par trade > 2 %
(pour une position courte (2 ou 3 jours) ; pour une position beaucoup plus longue se comptant en mois, il est clair qu'on souhaite un chiffre bien plus élevé que 2 %)

Max DD < 15 %
Sharpe ratio > 1.5

Tout cela pour une exposition la plus faible possible…..

Remarque : les résultats de ce système ne sont pas trop mauvais. Malgré tout, il convient de les améliorer encore en backtest puis, ensuite, on passe à l'étape Walk-Forward Test. Les résultats obtenus en WF-test doivent alors corroborés ceux obtenus en B-test avant d'essayer le système en live.

A toi de jouer !


NB : j'ai oublié de préciser que le style de money-management utilisé va aussi influencer grandement les résultats du système ....
C'est pas simple !