analyse backtest

[ferrober]

j'aligne 20 millions de backtest, maintenant je cherche la top formule qui me trouvera le best of the best backtest.

il y a un utilisateur... si le type veut s'engager financierement de facon lourde ou non. ensuite quels sont les delais acceptables.

le processus de vérification a priori et a posteriori du systeme n'est qu'une verification. c'est a dire une validation. c'est dabord la performance qui doit etre l'objet de toutes les attentions. en somme, valider un backtest mauvais n'a aucun interet. donc, a 99%, verifier un backtest repose dabord sur la qualité de son algo. la validation du dit backest est une etape secondaire, voir facultative.

ce que je veux dire c'est que lorsqu'un objet va en ligne droite, il n'est pas vital de verifier si il continuera a y aller (en ligne droite) dans l'instant suivant. ca serait plutot de verifier si la route n'est pas plutot entrain de faire un virage.....

[jmf]

Merci Marc,
Mon message était déjà faux sur le terme période de test.
Période d'apprentissage=on crée les règles=données vues
Période de test=on vérifie la pertinence de ces règles sur données non vues
Règles humaines ou logique floue c'est idem là-dessus.Trading Solutions,divise la période d'apprentissage en 2 mais c'est de la cuisine interne,le principe est le mème.
L'idée de prendre 2 périodes de tests=vérif en amont et en aval est séduisante,mais le plus important est d'avoir diverses conditions de marché.On pourrait tout autant découper en 10 ou 20 morceaux les données vues et non vues.Ce que permet facilement Safir qui peut mème prendre des bouts issus de supports différents.

Sur le nombre de trades pour valider,il doit ètre fonction également du nombre de règles du système de trading,il me semble.

Bref,c'est pas si facile de tout assimiler,et réunir les expériences des uns et des autres serait profitable.Je ne relance pas ici qui est responsable,simple regret.

[ferrober]

le rapport entre les maths et l'aléatoire de la bourse

Si je prend 50 feuilles blanches. Au stylo, sur chacune, je fais un gribouilli aléatoire qui ressemble plus ou moins à une courbe de bourse.

Je backtest mes gribouillis. Un backtest est sensé donner un résultat quoiqu'il se passe. Donc, il me donnera systématiquement les meilleures rapport pour chaque gribouilli. Est ce que ces rapport seront réellement prédictifs si je continue la suite de gribouillis une fois les backtest terminés?

A vrai dire, théoriquement, oui. Mais il y a forcement une marge d'erreur. Si un backtest est capable de donner le meilleur de l'analyse, à quoi bon le forward-tester finalement.

De plus, cela dépend surtout du volume de données qu'il aura eu en entrée ainsi que de la complexité du gribouilli.

Sur ce dernier point il vaudra toujours mieux faire un backtest sur un gribouilli simple. Donc, Non pas découper le gribouilli en tiers mais plutôt en trends. Le volume de donnée devant correspondre non pas à m'ensemble du gribouilli mais à un trend. Il est possible de diviser le trend en tiers dans ce cas.

Si un nouveau trend commence, on sort de la position en urgence (au cas ou l'on s'est engagé) sinon on ne backteste pas.

Donc, pour forward-tester, il vaut mieux que le volume de data en entrée corresponde à un trend complet (c'est à dire une période ou les cycles sont dans des limites à peu prêt identiques et identifiables). A mon sens, par exemple, faire un backtest sur les dix dernières années de FT me semble dangereux dans la mesure ou les trends ont étés très différents : Plusieurs types de cycles (grandes hausses + stagnations). Ca doit pas rapporter grand chose.

Encore plus dangeureux : faire un backtest sur le DJ depuis 1929.
J'avais vu une bonne analyse de Crock sur cette longue période et il semblait impossible de faire un support ou une résistance unique car les trends n'avait plus de rapports entre eux. Néanmoins, grace à ce genre d'analyse basé sur le S/R, certains avaient prédit la fin des technos. Dans ce cas, le backtest s'avère moins efficient qu'un système de support/résistance. A mon avis, c'est surtout du au fait que le backtest, c'est long, difficile et que ça repose sur des algos qui ont quand même des limites.

[MDefosse]

Désolé pour le délai de réponse mais ces files se développent tellement vite qu'on a du mal à suivre

Pour JMF, les systèmes de logique flou ont effectivement 2 périodes de test. Cependant, la première est relativement courte (6 mois ?) et permet de créer l'arbre de décisions et le modèle. A partir de là, le modèle est capable de prendre les "bonnes" (du moins on l’espère) décisions sur les données suivantes et de mettre a jour son modèle. Ainsi, un système de logique flou ne fait pas de forward-testing au sens propre du terme car sa vraie nature ne le nécessite pas.
Par contre, pour nous simples mortels il est utile de bâtir un système sur une période de marche assez longue et représentative des conditions actuelles du marché, en terme de volatilité, périodes de hausse/baisse (pour les systèmes de swing). Une fois le système créé le mieux est de pouvoir le tester sur les données à venir. Cela n'est malheureusement pas possible (a moins d'attendre 6 mois pour vérifier son système sans trader) ... d'où l'utilisation d'une ruse. On crée et optimise le système sur la période d'analyse (In sample en anglais) puis on le teste sur des données non encore vues (out of sample). Ainsi, on se prémunit du risque de Curve-Fitting qui, d'un point de vue statistique, est l'optimisation des paramètres qui collera de façon parfaite au nombre de trades de l'échantillon. De ce fait tu as effectivement raison, le nombre de trades représentatif pour un modèle est dépendant du nombre de paramètres du système (se rappeler de ses cours sur les degrés de liberté).

Pour Ferrober, en faisant du forward-testing on vérifie également que les trades réalisés sur la période non vue sont, toujours d'un point de vue statistique, cohérents avec les résultats de la période de création du modèle. Il existe de nombreux outils statistiques qui permettent de vérifier cette cohérence. Je vous recommande a ce sujet les livres de Kaufman, Katz, etc (en anglais malheureusement) ou de ressortir vos livres de mathématique.

Une autre variante du forward-testing est ce que les anglais appellent le walk-through. En fait c'est le même concept sauf que la période non vue est elle-même divisée en sous-parties. Cette méthode permet de s'approcher autant que faire ce peu du trading réel. On bâtit et optimise le système sur la période d'analyse puis on le simule sur un an (par exemple). On vérifie alors sa performance et sa cohérence par rapport au modèle initial. A la fin de cette période on le réoptimise en prenant en compte la période juste passée (1 an dans notre cas) + la période de données initiale - 1 an. On revérifie alors la performance du système sur l'année suivante et ainsi de suite jusqu'a la fin des données non vues. Sur chaque nouvelle période de trade on vérifie la cohérence par rapport à la période d'optimisation.

Par exemple, sur le eMini S&P 500, on peut découper la période comme suit:
- Création et optimisation initiale: 1998-2001
- Trading "virtuel" No1 : 2001-2002
- 2nde optimisation: en 2002 sur données 1999 - 2002
- Trading "virtuel" No2 : 2002-2003
- 3ème optimisation: en 2003 sur données 2000- 2003
- Trading "virtuel" No3 : 2003-2004
- 4ème optimisation: en 2004 sur données 2001- 2004

Ainsi le jeu de données d'optimisation est constant (3 ans ici) et on détermine à chaque nouvelle étape la cohérence des trades par rapport à la période d’optimisation. Je poste de ce pas les EC d'un système que nous détaillons (d'un point de vue didactique uniquement) lors de mes séminaires. C’est le même système mais optimisé de 3 manières différentes.

[MDefosse]

Comme indique sur le post précédent, voici les EC d'un système que nous détaillons (d'un point de vue didactique uniquement) lors de mes séminaires. C’est le même système mais optimisé de 3 manières différentes.

Ce système a pour caractéristiques:
- Franchissement de canal,
- Reste en position au maximum 1 nuit,
- A un stop de protection fixe en $
- A un stop suiveur a X% du profit quand un profit déterminé est atteint


Les " optimisation sont les suivantes:
- Optimisation en 2004 sur les 6 ans d'historique
- Optimisation de type Walk Through avec periode initiale 1999-2001 puis trade par tranche d'un an avant reoptimisation,
- Optimisation de type In Sample / Out Of Sample avec système optimisé en 2001 et on regarde ce a quoi on arrive aujourd'hui









Les systèmes ont été optimisé avec TradeStation pour donner le profit maxi. $20 de commission par trades ont été enlevés.
Le 1er système serait celui qu'on vous vendrait. Il atteint $71000. Le 2ème système est celui que vous auriez pu trader à partir de 2001 et les gains sont (presque) réels. Il atteint $63000 au final avec un gain de $28000 en 3 ans. Attention au DrawDown !!!
Le 3ème système est juste là à des fins de comparaison. Il atteint $57000 au final et aurait genéré $22000 depuis 2001.

[prehy]

Dis moi marco, t'aurais pas un scanner à prêter à HerveH ou rluley par hasard

[MDefosse]

Desole Prehy,

Moi je suis plutot du genre TradeStation / Impr Ecran / Fireworks et Excel que scanner. Si tu parles de la file Regardez mes courbes, elle a tourne au pugilat sterile depuis belle lurette et je n'ai aucune envie d'y participer. La version de TradeStation 8 mettra tout le monde d'accord puisqu'il y a un Rapport de Performance sur le compte. Cependant il est certain que des systemes classiques peuvent tout a fait realiser ces performances et je connais plusieurs traders qui sont capables de les trader sans faillir.

En tout cas, voici mon trade, en ce moment et en temps reel sur le mini ESM04.D. Aujourd'hui c'est une journee sans trop de volatilite et le profit est limite mais ca montre comment on suit une strategie automatisee dans TradeStation ...

[MDefosse]

Mais je dois bien avouer que le temps semble long quand la jauge se deplace vers la gauche comme c'est le cas en ce moment et il est toujours tentant de faire la combinaison de touches dans TradeStation:

Clic droit + 'Close this ESM04 ' ...

comme indique sur le graphe ci-dessous



L'ennemi du trader c'est pas le systeme, c'est lui-meme. Un bon systeme dans les mains d'un mauvais trader ne gagnera jamais, par contre le contraire est beaucoup plus plausible.

[linuxpower]

Merci Marc pour c screen

Ca marche bien les systemes sur les pivots ? mais c sur que depuis qq jours le marché est plutot merdique

[prehy]

Tien c'est vrai marco t'as raison de poster des copies d'écran de TS, ça change de mes posts de copie d'écran du fammeux logiciel en "-X". Et ça permet de détourner l'attention de la vrai question qui est la quête du saint scanner pour HerveH (Olivier ?).

Voila mes derniers trades sur ESM04 (c'est le système que vous connaissez bien maintenant, posté depuis 5 mois sur ce site, crée avec le fammeux logiciel en "-X")

[linuxpower]

citation :

---

Citation de prehy

Tien c'est vrai marco t'as raison de poster des copies d'écran de TS, ça change de mes posts de copie d'écran du fammeux logiciel en "-X". Et ça permet de détourner l'attention de la vrai question qui est la quête du saint scanner pour HerveH (Olivier ?).

Voila mes derniers trades sur ESM04 (c'est le système que vous connaissez bien maintenant, posté depuis 5 mois sur ce site, crée avec le fammeux logiciel en "-X")

---

Prehy tu ne joues pas les shorts ?

[prehy]

citation :

---

Citation de linuxpower

citation :

---

Citation de prehy

Tien c'est vrai marco t'as raison de poster des copies d'écran de TS, ça change de mes posts de copie d'écran du fammeux logiciel en "-X". Et ça permet de détourner l'attention de la vrai question qui est la quête du saint scanner pour HerveH (Olivier ?).

Voila mes derniers trades sur ESM04 (c'est le système que vous connaissez bien maintenant, posté depuis 5 mois sur ce site, crée avec le fammeux logiciel en "-X")

---

Prehy tu ne joues pas les shorts ?

---

si, mais tu sais bien que le système est "fusionné" avec le système LT que je trade en même temps, et que en fait seule compte la position globale dans le trade manager, voyons ludo

[ferrober]

pour ma part, j'espere pouvoir poster des graphs des demain. ca vient (il est 2.52 du mat), mais je dois encore tester mes algos. si ca passe, il faudra valider cela sur plusieurs graphs.

en tout cas, merci pour votre interet a tous, ca fait plaisir de voir des gens qui s'interessent.

[ferrober]

j'ai pas posté... mais ca sert pas a grand chose en vrai. ca marche plutot bien. seulement, j'ai decide d'entreprendre des travaux supplementaires. faire un systeme de validation sur les anticipations du backtest (la partie future non backtestée il faut la valider)... puis sur un autre algo qui permettrait de tester en "grand" la validité du systeme. en fait, mon backtest est rapide et a peu pret performant (d'apres moi, mais je reflechis toujours a des algos plus sophistiqués), j'aimerais bien avoir un systeme predictifs qui me donne des "occasions" a valider. puis il y a certaines chose que je ne comprend pas encore bien, ce sont les effets de bords de certains algos... meme si ils semblent performants a premiere vue, je serais pas etonnés qu'il soient "trop" ou "pas assez" selectifs. j'ai donc besoin de travailler cela aussi pour comprendre ces effets en profondeur. par exemple, j'ai backtest une stoch sur du LT, sur un trend descendant et j'aurais aimé n'avoir qu'un seul trade (meme si les resultats etaient parfaits) au lieu d'en avoir plusieurs...d'ou le sentiment d'effets de bords.

on se tient au courant

[ferrober]

qui a dit que le backtest ca rapportait pas?.

gains : 56,93
pertes : 3.43
conclusion : peut mieux faire je pense.

a ce propos, une idée me trotte dans la tête, je pense bientôt lancer un concours de backtest... pas tout de suite, j'ai encore des trucs à voir. mais ca permettrait à tout le monde de vérifier quel est le meilleur outil et de savoir si les algos sont bons ou pas. bien sur, faudrait une méthode qui permette de vérifier si il y a pas de triche.




on remarque le difficulté des courbes à s'adapter lorsque la volatilité change de façon significative.