analyse backtest

[ferrober]

j'aimerais avoir des idées pour des recherches de perfs en backtest.

genre dans un backtest classique, qu'est ce qui peut permettre de distinguer une perf d'une autre? du fait qu'il y a plusieurs variables importantes (a mes yeux) (1) nb d'operations reussies/ratées (2) gains/pertes...

quelles idées possibles pour evaluer un risque (je sais pas si c possible)

est ce que quelqu'un connait la VaR (Value At Risk), sait comment elle fonctionne et si elle est adaptable a des backtests simples.

a+

[tomzoe]

Bonjour,
L'intérêt de la VAR est de quantifier la probabilité d'une perte donnée, probabilité calculée sur un grand nombre de simulations. Avec un backtest simple, tu n'obtiendras qu'une séerie de trades donnés, qui plus est cette série comprendra des optimisations, ou la série aura été choisie parmi d'autres (ROA, forme de la courbe), ce qui est une autre optimisation. Donc la VAR calculée sur un backtest simple n'a pas beaucoup de sens, me semble-t-il. Pour que la VAR soit efficace, il faut recourir aux simulations de Monte Carlo qui produiront un grand nombre de trades aux caractéristiques semblables que ceux fournis par ton backtest, mais dans un ordre aléatoire. La VAR calculée sur cet ensemble de séries de trades aura alors un intérêt certain.
Pour ce qui est de l'interprétation de la performance et du risque sur un backtest j'ai trouvé ce bouquin pas mal: Trading Systems That Work de Thomas Stridsman (extraits sur Amazon.com).

[MDefosse]

Forreber,

Un des moyens pour comparer des systemes entre eux est d'utiliser la Formule de l'esperance mathematique

E = [(1 + Gain Moyen / Perte Moyenne) * % de Profitabilite] - 1

Plus le nombre E, est eleve, plus le systeme est interessant a trader. On situe en general le seuil minimal pour ce nombre a 0.6. On estime aussi que le Profit Factor d'un systeme (ratio entre les pertes brutes et les gains bruts) doit se situer au dessus de 2.

[ferrober]

salut,

c'est interessant ce que tu dis. comment calculer le % de profitabilité?

pour l'instant, ma formule me permet d'avoir un E qui tient la route mais j'ai toujours le doute ... quand un backtest analyse 30 millions de trades il est possible de rater le meilleur...

qu'en j'entend rater le meilleur, je veux dire par la qu'il y a - a mon sens - un paramètre utilisateur necessaire... a savoir si il veut faire du CT, du LT (relatif au volume des cours en input)

a titre d'exemple,

10 operations
80 de gains
9 trades gagnants
1 trade perdant

est ce mieux que

10 opérations
80 de gains
1 trade gagnant
9 trades perdants


et ainsi il y a quelques subtilités de ce genre a prendre en compte
on ne peut pas uniquement se baser sur le gain, ni sur le rapport gain/pertes uniquement... il faut prendre en compte les trades gagnants/perdants ...et meme quand on le fait, j'ai le fort sentiment qu'il est necessaire d'avoir finalement une entree utilisateur qui permette de preciser l'objectif a atteindre.

je vois pas encore comment utiliser ce parametre

j'ai trouve comment distinguer le meilleur trade entre 2 ratio egaux

100 operations
800 de gains
10 trades gagnants
0 trade perdant

et

10 opérations
80 de gains
1 trade gagnant
0 trades perdants

par exemple..et d'autres chose encore mais voila, quand on a

10 operations
10 de gains
1 trades gagnants
0 trade perdant

et

10 opérations
80 de gains
10 trade gagnant
0 trades perdants


ca devient moins facile tout d'un coup... le 10 trades est theoriquement meilleur que 1 trade. j'en suis arrivé a la conclusion que cela devait faire l'objet d'un parametre... 1 trade serait du LT et 10 trades du CT

reste a creer la formule et le parametre

[HerveH]

je crois qu'il voulait dire % de réuissite au lieu de % de profitabilité

[MDefosse]

Ferrober,

Probablement pas tres clair de ma part mais le "% de profitabilite" est effectivement le ratio du nombre de trades gagnants sur le nombre de trades total. Dans ton 1er exemple c'est donc 90% (9 /10) alors que le 2eme n'est que de 10%. Si je reprends tes exemples et les modifie legerement, voila le resultat de la comparaison:
10 operations
80 de gains
9 trades gagnants a 10
1 trade perdant a 10

a comparer a

10 opérations
80 de gains
2 trade gagnant a 80
8 trades perdants a 10

E = [(1 + 10/10) * 90%] - 1 = 0.8 dans le 1er cas
E = [(1+ 80/10) * 10%] - 1 = -0.1 dans le 2nd cas

Donc le 1er systeme a plus d'esperance mathematique que le 1er.

Enfin, on estime egalement que pour un echantillon soit representatif il necessite au minimum 100 trades de backtest.

J'espere que cela repond en partie aux questions, cordialement,

[Mack]

citation :

---

Citation de MDefosse

Ferrober,

Enfin, on estime egalement que pour un echantillon soit representatif il necessite au minimum 100 trades de backtest.

---

PO va nous faire une crise cardiaque si il lit ca !

[lematin777@yahoo.fr]

sur la citation de Marc défosse
"Enfin, on estime egalement que pour un echantillon soit representatif il necessite au minimum 100 trades de backtest."

[/quote]

Il manquerait pas un zéro à la fin ?

[/quote]

Ya pas que la performance, il faut aussi des indicateurs qui donnent une idée du stress que tu vas avoir qd tu vas trader ton système...

L'aspect psychologique n'est pas absent du trading systématique, simplement il se manifeste différement (qu'en discrétionnaire).

cordialement

[Simu]

Je fais régulièrement du backtesting pour essayer d'améliorer mes performances.
La 1ere des choses à faire c'est de trader dans le sens du marché (c'est une évidence ) mais combien d'entre nous moi le premier on a fait le contraire.
Ensuite il faut savoir couper ses pertes et laisser courir ses gains.
Plus facile à dire qu'à faire.
Pour tester différentes stratégies et méthodes il faut donc backtester inlassablement jusqu'à avoir trouver une méthode qui donne des résultats satisfaisants à l'achat comme en VAD.
J'essaie de joindre une image.
http://upload.pro-at.com/02/VAD 3.3 au 43.53.43.gif

[HerveH]

"Enfin, on estime egalement que pour un echantillon soit representatif il necessite au minimum 100 trades de backtest."

Il a dit au MINIMUM.
Je suis d'accord et pas d'accord avec lui, car il faut préciser sur quel type de système et surtout la durée. Si tu fais de l'intraday 100 trades ce n'est pas assez. Mais si tu fais 100 trades sur 20 ans qui dure chacun 2 mois, la signification est complètement différente.

[MDefosse]

Il est evident que plus il y a de trades dans l'echantillon plus celui-ci sera representatif. Cela va de soi ... d'ou l'utilisation du mot "Au minimum". Il semble qu'il faille toujours mieux preciser 2 fois plutot qu'une dans ces posts. Donc, la limite de 100 trades est une limite (tres) basse. Un systeme IntraDay atteindra ce seuil en 1 ou 2 ans en general et un systeme de Swing Trading atteindra cela en quelques annees. D'un point de vue mathematique, 100 trades sur 20 ans ou 100 trades sur 1 an ont exactement la meme valeur de representativite. Apres, d'un point de vue humain (ou psychologique) on arrive toujours a se convaincre que le premier systeme est plus sur que le second.

Si l'on passe sous 100 trades (exemple: systemes Moyen Terme sur moyennes mobiles ), il est de bon aloi de valider ce systeme sur un autre support qui, combine au premier permettra d'atteindre (voire depasser car Plus il y a de trades dans l'echantillon ....) ce seuil.

Cependant le plus important n'est pas tant le nombre de trades que la necessite de back et forward tester votre systeme. NB: Ceci ne s'applique qu'aux systemes optimises par l'homme, les systemes de logique flous travaillent differemment et ... je ne souhaite a personne la crise cardiaque.
Ainsi si vous voulez tester votre systeme, il est important:
- De decouper votre intervalle de test en 3 tranches, par exemple 1/5, 3/5, 1/5
- D'optimiser votre systeme sur la periode centrale (la periode 3/5),
- De valider sur les periodes initiales et finales que le systeme est toujours aussi performant.

Ainsi pour tester un systeme sur les 20 dernieres annees,on peut par exemple decouper les periodes en 1984 - 1988 puis 1988 - 2000 et 2000-2004. On optimise alors uniquement sur 1988 - 2000 puis on verifie que le systeme continue sa progression sur 2000-2004 et qu'il etait egalement profitable sur la periode initiale . Il est interessant de noter a quel point un meme systeme n'apporte pas les memes promesses quand il est teste de cette maniere. La comparaison des Equity Curve, entre une optimisation sur toute la periode et l'optimisation expliquee ci-dessus, est en general edifiante.

leMatin, tout a fait d'accord avec l'aspect psychologique qui est tres important mais repond plutot a la question, Suis-je capable de trader tel ou tel systeme , plutot qu'a la question Est-ce un bon systeme. Passer du systeme sur le papier au trading en reel du systeme necessite une bonne dose de courage (voire autre chose ...). En effet, il est tellement simple d'accepter un DrawDown sur papier de $2000 quand le profit potentiel est de $25000. Il devient beaucoup moins simple d'accepter ce DrawDown quand vous venez juste de commencer a trader ce systeme et que vous n'aviez pas fait de profits auparavant. L'aspect psychologique va bien au dela de cela et je vais eviter de m'etendre sur le sujet car je pourrai y passer la journee ... ce que ni moi ni (surtout) vous ne souhaitons probablement

[jmf]

"Cependant le plus important n'est pas tant le nombre de trades que la necessite de back et forward tester votre systeme. NB: Ceci ne s'applique qu'aux systemes optimises par l'homme, les systemes de logique flous travaillent differemment et "

Bonjour Marc,
Que veux-tu dire par là?Je n'ai pas vu de différence avec Safir(=2 périodes, vues et non vues),et c'est la mème chose avec le neuronal Trading Solution,simplement la période de test est divisée elle-mème en 2 parties (dans ce dernier uniquement).

Sur 100 trades=100 trades,on peut discuter car pour une pièce fausse qui fait 99.8% fois face il faut moins de lancers qu'une pièce qui fait 50.25% face pour s'en rendre compte.

[ferrober]

MDefosse,

La formule d'espérance mathématique que tu proposes me semble un peu "légère" dans le cas ou le nombre de backtests est tres importants (disons 20/30 millions).

Il lui manque 2 fonctions importantes. La détermination de la meilleure combinaisons entre deux backtests qui ont un ratio identique. Ainsi qu'une fonction qui permettrait de faire un choix entre une sorte de CT/LT.

En d'autres termes, elle ne peut pas faire le distinguo entre
gains(100)/pertes(10) et gains(10)/pertes(1). Les rapports sont identiques pourtant le premier rapporte beaucoups plus.

Et dans l'autre cas, elle ne permet pas non plus de faire le distinguo entre

[CT] gains(10) / pertes(1) / gagnants(10) / perdants(1)
[LT] gains(10) / pertes(1) / gagnants(1) / perdants(1)

Néanmoins, il doit être possible de la developper.

[MDefosse]

Jmf,

Le concept est legerement different entre un systeme cree par un humain et un systeme de logique flou. Un systeme cree par le commun des mortels se base sur des parametres binaires. Exemple Si Stochastique > 80 alors vente. Dans ce cas la seule chose a optimiser est le 80. Avec un tel systeme, vous pouvez optimiser sur la periode centrale et verifier que le nombre trouve est vraiment representatif en l'appliquant retrospectivement et a posteriori. Cela permet de determiner si ce parametre est credible ou non et d'eliminer, autant que faire ce peu, la notion de chance.

De ce que je sais des systemes de logique flou (mais je n'en connais que la vulgarisation), c'est qu'ils batissent leur modeles a partir d'indicateurs et sur un premier jeu de donnees. A partir de la ils appliquent le modele cree (tres complexe) sur la partie suivante et en extraient une performance. L'algorithme de creation du modele est tellement complexe qu'il assimile toutes les regles possibles a partir des donnees initiales. Le modele initial ne peut pas etre suroptimise mais represente un arbre de toutes les possibilites. Il n'a donc besoin que de 2 periodes, la periode d'apprentissage et la periode de test. Mais je vous conseille de lire par vous-memes les sites qui parlent de cette technique car ils vous en apprendront (et me corrigeront peut-etre) beaucoup plus.

[dsandraz]

citation :

---

Citation de MDefosse

Enfin, on estime egalement que pour un echantillon soit representatif il necessite au minimum 100 trades de backtest.

---

Je suis interesse de connaitre ce "on". Je n'ai jamais vu ce
chiffre. Avez vous des references de papiers en tete ?

citation :

---

Il est evident que plus il y a de trades dans l'echantillon plus celui-ci sera representatif. Cela va de soi ... d'ou l'utilisation du mot "Au minimum". Il semble qu'il faille toujours mieux preciser 2 fois plutot qu'une dans ces posts. Donc, la limite de 100 trades est une limite (tres) basse.

---

Monsieur "on" estime que c'est representatif a partir de 100 trades,
mais vous estimez que c'est une limite basse pas si representative
que ca visiblement.

Je ne trouve pas ca clair du tout.
C'est un sujet tres interessant, de savoir a partir de quel
moment et dans quel condition je peux considerer que le backtest a une valeur.

Avec les quelques backtests que j'ai fait, 100 trades c'est de
la rigolade, et je ne mettrais pas un centime sur un systeme
valide sur 100. Voir meme 200 ou meme 500.
J'ai meme l'impression que si on ajoute pas la duree sur
laquelle on test, le nombre de trades ne veut pas dire grand chose.

Si vous pouviez etre plus precis, ca aiderai a progresser sur
ce sujet passionnant.