V minulém článku jsme si vysvětlili, co je to Walk forward analýza (WFA). Dnes si rozšíříme obzory o mnohem komplexnější analýzu, a to o tzv. Cluster Walk Forward analýzu (dále CWFA). CWFA je velmi sofistikovaný nástroj, který nám pomáhá určit, zdali je automatický obchodní systém (AOS) skutečně s velkou pravděpodobností robustní – tj. schopný vydělávat i v rámci živého obchodování. CWFA obsahuje soubor mnoha WFA s odlišnou out-of-sample periodou vyjádřenou v procentech a různým počtem běhů (runs). Na Obr. 1 vidíte klasický příklad CWFA defaultně nastavenou v TradeStation s celkovým počtem 30 WFA s odlišnými out-of-sample periodami v řádcích a to konkrétně 10%, 15%, 20%, 25% a 30% a odlišnými počty běhů, konkrétně 5, 10, 15, 20, 25, 30 ve sloupcích. Na Obr. 1 vidíme, že jsem pro ilustraci vybral takový příklad CWFA, kde všech 30 WFA úspěšně prošlo analýzou. Jinými slovy byla splněna testovací kritéria, která si v rámci našeho seriálu o CWFA ještě vysvětlíme. V takovém případě se nám pro vybranou WFA zobrazí v celkových výsledcích políčko PASS (úspěšný). Běžně se v praxi ale budeme setkávat spíše s variantou, že většina z 30 WFA nesplní jedno z testovacích kritérií a v takovémto případě se nám v dané WFA zobrazí políčko FAILED (neúspěšný) ,viz Obr. 2. Je to z toho důvodu, že CWFA je velice náročným testem robustnosti a jen málokterý AOS je natolik robustní, že splní náročná testovací kritéria. Na Obr. 2 vidíme CWFA, která je jednoznačnou indikací, že pro vybraný trh a timeframe není námi zvolený AOS dostatečně robustní. Oproti tomu Obr. 1 je ideálním příkladem potenciálně velice robustního AOS pro vybraný trh a timeframe. Nutno podotknout, že se jedná o poměrně vzácný jev. Hledání skutečně robustního AOS dle CWFA se může častokrát přirovnat k hledání jehly v kupce sena (kdyby to bylo tak snadné, pak by algoritmický trading mohl dělat skutečně každý).
Do jaké míry ještě pokládám AOS za robustní dle výsledků CWFA? To nechávám jako otevřené téma, kterým se budu zabývat v blízké budoucnosti.
Obr. 1 Soubor 30 Walk Forward analýz představující Cluster Walk Forward analýzu, kde všech 30 WFA prošlo náročnými testovacími kritérii (PASS)
Obr. 2 Soubor 30 Walk Forward analýz představující Cluster Walk Forward analýzu, kde 27 z 30 WFA neprošlo náročnými testovacími kritérii (FAILED)
Jelikož se začínáme potýkat s celou řadou pojmů, je nasnadě, abychom si graficky (viz Obr. 3) zobrazili jednotlivé vazby mezi Walk Forward testy, Walk Forward analýzou a Cluster Walk Forward analýzou. Z Obr. 3 je patrné, že CWFA zahrnuje mnoho Walk Forward testů, které jsou základem WFA.
Obr. 3 Vazba mezi Walk Forward testy, Walk Forward analýzou a Cluster Walk Forward analýzou
Zatímco jedna WFA nám může poskytnout předběžnou a velice omezenou indikaci (jedna úspěšná WFA může být dílem náhody), zdali je AOS robustní, CWFA má schopnost nám dokázat nebo zvrátit v té nejvyšší a nejdetailnější možné míře validitu a robustnost AOS a to s mnohem větší jistotou (30 úspěšných WFA již není dílem náhody ale statisticky validním vzorkem). CWFA, která je dostupná v platformě TradeStation, je jedinečná ve své schopnosti vykonat soubor WFA tak, abychom se vyhnuli, s co možná největší pravděpodobností, tzv. curve-fitting výsledkům při optimalizaci hodnot vstupních parametrů. Curve-fitting je proces, který nám vyprodukuje přeoptimalizované a příliš optimistické výsledky. Problémem je, že při vyzkoušení mnoha různých kombinací nám hrozí, že najdeme určitou kombinaci hodnot vstupních parametrů (inputs), které velmi dobře zachytí trendy v minulosti a vynechají některé zásadní ztrátové obchody, které by se při jiném nastavení vstupních hodnot většinou exekuovaly, a vykážou nám tak skvělé a jedinečné výsledky (například velmi vysoký čistý zisk při minimálním možném maximálním drawdownu). Naneštěstí, tyto výsledky mohou být častokrát jen výsledkem náhody. To znamená, že živé obchodování bude s největší pravděpodobností mít velmi odlišné výsledky výkonnosti a častokrát může být doslova katastrofální a velmi ztrátové. K tomu, abychom curve-fitting proces dokázali v co největší míře eliminovat, nám slouží právě CWFA, která nám pomáhá odhalit, že dobré výsledky výkonnosti pro vybrané in-sample nastavení hodnot vstupních parametrů AOS není dílem náhody. Ten AOS, který uspěje při CWFA dle předem stanovených testovacích kritérií, bude s největší pravděpodobností díky přirozeným a silným vlastnostem odolávat neustále se měnícím podmínkám na testovaném trhu. Na Obr. 4 najdete jednotlivá testovací kritéria tak, jak je nastavujeme a používáme v CWFA v TradeStation.
Obr. 4 Testovací kritéria Cluster Walk Forward analýzy v TradeStation
Tato testovací kritéria si představíme mnohem detailněji na konkrétních příkladech v dalším pokračování.
Shrnutí
Vysvětlili jsme si, co je to CWFA a ukázali jsme si příklady, kdy AOS pro jednotlivá WFA prošel (PASS) či neprošel (FAILED) náročnými testovacími kritérii. Zároveň jsme si vyjasnili, jak na sebe navazují Walk Forward testy, WFA a CWFA. V příštím pokračování se zaměříme na jednotlivá testovací kritéria, která musí být splněna, aby daný AOS pro vybranou WFA v rámci CWFA mohl projít náročnými testy robustnosti.
Petr
(c) AOStrading.cz
Předcházející kapitola: Walk Forward analýza v TradeStation – základní nástroj testování robustnosti AOS
Nadcházející kapitola: Testovací kritéria Cluster Walk Forward analýzy v TradeStation
