V dnešním článku plynule navazujeme na ten předchozí , ve kterém jsme si vysvětlili, co je to Cluster Walk Forward analýza (CWFA). Připomeňme si, že v ideálním případě hledáme takovou CWFA, kde všech 30 Walk Forward analýz (WFA) prošlo úspěšně nadefinovanými testovacími kritérii. V takovém případě se nám pro vybranou WFA zobrazí v celkových výsledcích políčko PASS (viz Obr. 1). Pokud testovací kritéria splněna nebudou, pro vybranou WFA se nám zobrazí políčko FAILED.
Obr. 1 Soubor 30 WFA představující CWFA, kde všech 30 WFA prošlo náročnými testovacími kritérii (PASS)
V tomto článku si představíme jednotlivá testovací kritéria, která musí být splněna v rámci dané WFA pro odlišný počet běhů a % out-of-sample, aby se nám políčko vyplnilo nápisem PASS. Celkově v rámci CWFA máme v TradeStationu testovacích kritérií pět:
Testovací kritérium č. 1: Celková ziskovost (Overall Profitability)
V defaultním nastavení CWFA je stanoveno, že celková ziskovost součtu všech out-of-sample (OOS) běhů musí být větší než 0. Na Obr. 2 vidíte, že vybraný AOS je na ouf-of-sample celkově ziskový.
Obr. 2 Testovací kritérium – celkový zisk
Testovací kritérium č. 2: Walk Forward robustnost (Walk-Forward Robustness)
Walk-Forward Efficiency se zakládá na tzv. Robustness Index, který reprezentuje a porovnává výsledky out-fo-sample s výsledky in-sample (IS). V podstatě se jedná o určitý ukazatel kvality obchodního systému. Rovnice pro výpočet Robustness Index se vypočte jako:
Robustness Index = (OOS zisk * 365 / počet OOS dnů) / (IS zisk * 365) / počet IS dnů)
Z výpočtu Robustness Index vyplývá, že porovnáváme účinnost ouf-of-sample zisků vůči in-sample ziskům. Jelikož se časové periody in-sample a out-of-sample logicky liší (out-of-sample mívají v CWFA vždy kratší časovou periodu), je zapotřebí, abychom zisky standardizovali (proto používáme k přepočtu 365 dní/počet dní in-sample a out-of-sample). V rámci testovacích kritérií máme nastaveno, že chceme, aby byl Robustness Index u jednotlivých Walf Forward analýz minimálně 50%. Takto defaultně je podmínka nastavená v CWFA v TradeStation. Je mi jasné, že začátečníka může napadnout otázka: „ Pouze 50%? Není to málo? “ Podle mého názoru není. Pokud máme do výpočtu výkonnosti AOS již zahrnuty poplatky za komise a slippage, těchto 50% pro dané WFA považuji za zcela realistický odhad. Musíme si uvědomit, že v rámci in-sample periody vybíráme v rámci WFA nejvýkonnější nastavení vstupních parametrů hodnot dle zvolené fitness function ( FF). Občas se může rovněž stát, že Robustness Index přesáhne hodnotu 100% pro dané WFA. V takovém případě to znamená, že out-of-sample běh byl ziskovější než in-sample běh ve stejném poměru in-sample a out-of-sample počtu dní. Na Obr. 3 můžeme vidět vyhodnocení Cluster Walk Forward analýzy pro 30 WFA. Vidíme, že tzv. Higher Cluster Average nám vybírá oblast 9 WFA ve formátu 3 x 3 s nejvyšší průměrnou hodnotou Robustness Index, který se rovná hodnotě 88,4%. Toto je velice vysoká hodnota a vykazuje skutečně silnou robustnost testovaného AOS. Matrix Average se pak rovná hodnotě 78,2% a představuje nám průměrnou hodnotu Robustness Indexu všech 30 WFA. Hodnota 78,2% je opět velice optimistická. Uvedená CWFA byla aplikována na AOS intradenní breakout, jenž vykazuje silnou robustnost na všechny trhy akciových indexů a zajímavou informací pro pokročilé tradery bude jistě fakt, že vykazuje stabilní a symetrické výsledky na long i short stranu. Více o tom, proč pokládám long/short symetrie AOS za jeden ze základních prvků robustnosti, se dočtete zde.
Obr. 3 Výsledky Walk forward Efficiency Cluster Walk Forward analýzy
Testovací kritérium č. 3: Konzistence profitů (Consistency of Profits)
V testovacím kritériu bylo stanoveno, že chceme, aby pro jednotlivé Walk Forward Analýzy byla konzistence profitů vyšší než 50%. Jinými slovy chceme, aby více než polovina běhů byla profitabilních. Když si podíváme na Obr. 2, všechny Walk Forward Analýzy bez problému tento požadavek splnily. Námi vybrané modré políčko má totiž 100%, což značí, že všech 10 běhů OOS bylo profitabilních.
Testovací kritérium č. 4: Distribuce ziskovosti (Distribution of Profits)
V TradeStationu je u tohoto testovacího kritéria defaultně stanoveno, že jediný běh nesmí přispět více jak z 50% k celkovému zisku všech out-of-sample běhů. Logika je v tomto případě jasná: Nechceme obchodovat přeci takové obchodní systémy, které napříč testovacím obdobím nevykazují stabilní zisky. To, že jeden běh může přispět k celkové ziskovosti z 50%, je ve skutečnosti negativní vliv, neboť takový běh může být pouze dílem náhody a nemusí se již nikdy opakovat. Na Obr. 4 je vidět, že out-of-sample běh č. 4 (OOS4) byl ziskový celkově $10229 z celkového zisku všech běhů $17338. Na Obr. 5 pak vidíte Walk Forward Summary, což je jedna ze záložek k zobrazení v TradeStation v rámci CWFA, kde najdeme kromě dalších důležitých informací právě přesné hodnoty ziskovosti/ztrátovosti jednotlivých běhů WFA.
Obr. 4 Cluster Walk Forward analýza a testovací kritérium Distribution of Profits
Obr. 5 Walk Forward Summary (Out-of-Sample)
Kritérium č. 5: Maximální Drawdown v % (Maximum Drawdown %)
Posledním testovacím kritériem je nastavení si maximálního tolerovatelného drawdownu prakticky při třech možnostech (viz Obr. 6).
Obr. 6 Nastavení testovacího kritéria pro maximální drawdown
- První možností je, že přesáhneme maximální drawdown v jakémkoliv z jednotlivých běhů o 60% původního kapitálu. Původní kapitál si volíme v nastavení testovacích kritérií. Pokud bychom tedy měli základní kapitál $20000, nesměl by maximální drawdown pro vybranou WFA přesáhnout $12000.
- Druhou možností je, že přesáhneme maximální drawdown v jakémkoliv z jednotlivých běhů na základě kumulovaného zisku o 60%, kterého AOS dosáhlo před začátkem jednotlivého běhu. Představme si, že například před 8 out-of-sample během AOS dosáhlo čistého zisku $40000. Maximální drawdown by pro vybranou WFA nesměl přesáhnout $24000.
- Třetí možností je, že přesáhneme maximální drawdown o 60% při kumulovaném zisku před začátkem drawdownu. Představme si, že například v rámci 8. běhu out-of-sample jsme měli v polovině běhu čistý zisk $80000. Maximální možný drawdown by byl $48000.
Pro vykonání kvalitní CWFA je zapotřebí provést minimálně 5 WFA běhů tak, abychom předešli riziku náhodných a statisticky nevalidních výsledků. Na druhou stranu, pokud bude počet běhů nesmyslně vysoký, hrozí nám riziko, že budeme mít v daných out-of-sample bězích příliš malý počet obchodů, tedy statisticky nevalidní výsledky. Všechny tyto aspekty musíme vzít při hodnocení výsledků CWFA v úvahu.
Shrnutí
V dnešním článku jste se mohli dozvědět, jaká testovací kritéria v rámci CWFA, musí vybraný obchodní systém splňovat k tomu, abychom mohli konstatovat, že je pro vybraný počet běhů a % out-of-sample v rámci WFA tento obchodní systém s velkou pravděpodobností robustní. V příštím článku se zaměříme na reportování výsledků CWFA na konkrétním příkladě AOS pro trhy akciových indexů.
Petr
(c) AOStrading.cz
Předcházející kapitola: Cluster Walk Forward analýza v TradeStation – pokročilý nástroj testování robustnosti AOS
