< Zurück   INHALT   Weiter >

4.8 Kritische Würdigung der Modellprämissen

Diesem Gliederungspunkt fällt die Aufgabe zu, eine kritische Betrachtung der im Vorfeld definierten Modellprämissen vorzunehmen, inwieweit diese zu einer unerwünschten Beeinflussung der Testergebnisse und Schlussfolgerungen führten, die unter realistischen Ist-Bedingungen ob ihres Zustandekommens gegebenenfalls Diskussionsbedarf nach sich zöge.

0 Grundlegende Problematik des Backtesting-Verfahrens: Zu Beginn der kritischen Würdigung der Modellprämissen sei auf die grundlegende Problematik einer Backtesting-Simulation hingewiesen, aus welcher die Daten der vorliegenden Untersuchung hervorgegangen sind. Der wesentliche konzeptionelle Schwachpunkt einer Backtesting-Simulation besteht darin, dass die aus ihr abgeleiteten Ergebnisse ausschließlich für die in ihr eingeschlossenen Zeitintervalle gelten. Es ist bei strenger Auslegung der Interpretationen nicht möglich, aus in der Vergangenheit gewonnenen Daten auf allgemeines und insbesondere zukünftiges Trading-Verhalten zu schließen, weil die Korrelation zwischen dem Basiskursverlauf im Untersuchungszeitraum A mit jenem des zukünftigen Trading-Zeitraums B mit hoher Wahrscheinlichkeit sehr gering sein dürfte[1]. Eine generelle Übertragbarkeit von Schlussfolgerungen ist deswegen als problematisch zu erachten.

8 Parameterkalibrierung der Markttechnischen Handelssysteme: Ein weiteres Problem des verwendeten Backtesting-Verfahrens besteht darin, dass die Kalibrierung der Handelssystemparameter für sämtliche Candlestick-Intervalle, sowie für alle Wechselkurse unverändert blieb. Die gewonnenen Resultate sind somit allein für die definierten Parameter valide. Dieses Vorgehen ist insofern als weitestgehend unrealistisch einzuschätzen, als dass beispielsweise ein wenig volatiler Wechselkurs wie US-Dollar/Japanischer Yen wesentlich sensitivere Instrumente voraussetzt als ein hochvolatiler Wechselkurs Britisches Pfund/US-Dollar. Ebenso hat beispielsweise das Handelssystem Daily20Pips [D20P] in der Untersuchung bewiesen, dass es mit der gewählten Kalibrierung im Intervall Daily Candlesticks hypersensitiv agierte, während im Intervall 15 Minutes Candlesticks nur vereinzelt Handelssignale generiert wurden. Diese individuellen Gegebenheiten bedürfen einer passgenauen Lösung, die keine standardisierte Einstellung aufbieten kann. Zweitens darf nicht der Fakt außer Acht gelassen werden, dass jeder professionelle Trader bestrebt ist, für jedwede Basiskursgegebenheit von sich aus eine [vermeintlich] optimale Kalibrierung der Parameter vorzunehmen. Das psychologische Moment, der Konkurrenz durch geschicktes Austarieren der möglichen Stellschrauben eines Handelssystems voraus zu sein, ist ein nicht zu unterschätzendes Argument für die Begründung einer Abkehr von standardisierten Parametern. Gleichfalls muss in dieser Problematik der Sachverhalt erwähnt werden, dass für die Untersuchung unter anderem Vereinfachungen an den Handelssystem vorgenommen worden sind, die in der Realität so nicht, beziehungsweise kaum vorzufinden sind. Genannt sei hier die getroffene Vereinbarung, auf die Glattstellung einer Position bei Kreuzung der beiden Simple Moving Averages [SMA] im Handelssystem Daily Stochastic Oscillator System zu verzichten, weil a) dieser Fall verhältnismäßig selten eintritt und b) die Berechnung einer Erfolgswahrscheinlichkeit für den Binomialtest sehr erschwert worden wäre.

@ Einheitliches Positioning Sizing: Im Gliederungspunkt 4.1.1. wurde im Unterpunkt 7 dezidiert erklärt, wie die Umrechnung der erzielten NettoÜberschussrendite in Geldeinheiten vorzunehmen ist. Dabei wurde definiert, dass unter Beachtung einer Risikogröße von 3 % der Margin pro Trade und einer Stop Loss Marke in Höhe von 30 Pips ein Wert von 10 Geldeinheiten pro realisierten Pip anzusetzen ist. Obgleich diese Herleitung korrekt ist, berücksichtigt sie jedoch nur den Ausgangspunkt eines Testintervalls. Weil sich die Höhe der Margin allerdings kontinuierlich von Handelssignal zu Handelssignal verändert, hätte simultan auch die Positioning Size gleitend angepasst werden müssen – was aus Gründen der Komplexitätsreduktion bewusst unterlassen wurde – weswegen die errechneten Überschussrenditen in Geldeinheiten als zu niedrig zu erachten sind. Folglich sind auch die kalkulierten Werte des RORAC für sämtliche Intervalle, beziehungsweise Intervallkumulationen tendentiell zu niedrig.

0 Definition der Annualisierungsfaktoren: Bei der Berechnung der Sharpe Ratio, sowie der Sortino Ratio wurde mit Blick auf die mathematischen Bildungsvorschriften ein Annualisierungsfaktor verwendet, um die Ergebnisse der unterschiedlich langen Testintervalle auf den Berechnungshorizont eines Jahres zu eichen. Als unkompliziert erweist sich dieses Unterfangen für die Rendite im Zähler beider Ratios. Allerdings besteht der Annualisierungsfaktor auch aus einer zweiten Komponente im Nenner, welche dem jeweiligen Streuungsmaß vorangestellt ist. Der Term umfasst die Quadratwurzel einer beliebigen Variablen, welche die Regelmäßigkeit einer Rendite symbolisiert[2]. Beispielsweise steht Quadratwurzel 12 für eine Rendite in monatlichen Abständen, wie sie für Berechnungen in der Praxis üblich ist. Weil für die vorliegenden Handelssysteme aber keine Regelmäßigkeit der Renditen erkennbar ist, und mögliche Alternativen das Gefüge der Ratios im Vergleich der Handelssysteme massiv verzerren, wird für die Untersuchung aus Gründen der Vereinfachung und Vereinheitlichung eine einmalige Rendite pro Jahr unterstellt, welche durch den Term Quadratwurzel 1 dargestellt wird. Dieses Vorgehen birgt allerdings die Problematik in sich, dass die beiden errechneten Ratios für sämtliche Intervalle und Intervallkumulationen betragsmäßig tendentiell zu groß sind, insbesondere für Handelssysteme mit hoher Sensitivität. Im Zusammenhang mit dem Annualisierugsfaktor sei der mathematischen Exaktheit halber ebenso auf das allgemeine Problem der Annualisierung der Streuungsmaße hingewiesen, für welches in vorliegender Untersuchung keine wirklich gangbare Lösung gefunden wurde. Gemeint ist folgender hypothetischer Gedankengang: gegeben sei eine Geldanlage A, die im Zeitraum eines Jahres zwölf Erfolgssignale generiert, und zwar über jeden Monat verteilt, und am Ende eine Überschussrendite von 100 Geldeinheiten erzielt. Eine weitere Geldanlage B generiert hingegen in den ersten zwei Monaten elf Erfolgssignale und im letzten Monat des betrachteten Jahres ein zwölftes Erfolgssignal und erreicht gleichfalls eine Überschussrendite von 100 Geldeinheiten. Beide Handelssysteme generierten gleich viele Signale und ein identisches Endresultat. Ein zu errechnendes Streuungsmaß wäre formal in beiden Fällen identisch, obgleich das Trading-Verhalten im Vergleich höchst unterschiedlich ist. Dieses Problem wird zudem komplizierter, wenn die Streuungen unterschiedlicher Handelsintervalle miteinander verglichen werden, wie es in der vorliegenden Untersuchung der Fall ist. Interessanterweise wird dieses Problem allerdings in der gängigen Fachliteratur nicht erwähnt, geschweige denn ein Lösungsansatz offeriert. Aus diesem Grund ist die Vergleichbarkeit der Ergebnisse aus unterschiedlichen Zeitintervallen aus strenger Sicht eingeschränkt.

0 Aussagekraft der verwendeten Ratios: Es wurde im Verlauf der Untersuchung mehrfach darauf hingewiesen, dass sich die Bildungsvorschriften der beiden verwendeten Ratios aus der erzielten Netto-Überschussrendite eines jeden Handelssystems zusammensetzt, dividiert durch das etwaige Streuungsmaß unter Berücksichtigung des jeweiligen Annualisierungsfaktors. Allerdings sei mit Blick auf die definierten Take Profit und Stop Loss Grenzen eines jeden Trades darauf hingewiesen, dass sowohl die Sharpe Ratio als auch die Sortino Ratio in ihrer numerischen Aussagekraft behindert werden. Der Grund ist darin zu sehen, dass sich durch die fast identisch definierten Bedingungen der Glattstellung einer Handelsposition zwischen den Handelssystemen die Streuungsmaße sehr ähneln. Mit Ausnahme der Handelssysteme Cowabunga sowie Daily20Pips [D20P] in der Einstellung 15 Minutes Candlesticks entspricht die Range zwischen beiden Extrempunkten jeweils 60 Pips, sodass sich die Ergebnisse der Ratios ausschließlich aus den realisierten Netto-Überschussrenditen sowie den Annualisierungsfaktoren herleiten und folglich unterscheiden. Evidente Abweichungen gehen somit fast komplett auf Nuancen im Verhältnis zwischen gesamt eröffneter Handelspositionen und erfolgreich glatt gestellten Trades zurück. Da allerdings die Streuungen der generierten Handelssignale durchaus eine entscheidende Beeinflussung der Ratios darstellen können, was wiederum zu unterschiedlichen Positionierungen im Ranggefüge zwischen den Handelssystemen führt – es sei erneut verwiesen auf den Wechselkurs EURO/US-Dollar in der Einstellung 1 Hour Candlesticks –, können die Ratios ihr Potential nicht vollends zur Geltung bringen. Auf diesen Sachverhalt soll der Vollständigkeit halber hingewiesen werden, auch wenn es sich um keinen Makel oder Kompromiss in der Definition der Untersuchungsprämissen handelt, stellt doch das vorgestellte Modell der 60-Pips-Range zwischen den beiden obligatorischen Exit-Punkten eine in der Praxis weit verbreitete Vorgehensweise dar.

Berechnung der statistischen Signifikanz: Die für die Untersuchung verwendete Methodik der Feststellung einer statistischen Signifikanz der Trading-Ergebnisse innerhalb der Handelsintervalle wurde bereits dezidiert im Gliederungspunkt 3.5. dargestellt. Hierbei sind auf der Grundlage eines Binomialtests die individuell zu errechnenden Wahrscheinlichkeiten für das Eintreten eines Erfolgssignals der Handelssysteme im Testintervall verwendet worden, um die kumulierten Wahrscheinlichkeiten jedes einzelnen Erfolgssignals zu ermitteln, bis die Grenze von 1 – a = 0,95 erreicht wurde und das Ergebnis somit als signifikant betrachten werden konnte, beziehungsweise als nicht signifikant abgelehnt werden musste. Obgleich diese Vorgehensweise aus rein mathematischer Sicht ohne Beanstandung ist, kann sie zumindest aus fachlicher Sicht hinterfragt werden. Die Problematik der Testkonstruktion ist darin zu sehen, dass die individuelle Wahrscheinlichkeit des Eintritts eines Erfolgssignals unter Berücksichtigung der Transaktionskosten errechnet worden ist, das heißt auf der Grundlage der Netto-Überschussrendite. Zwar lässt sich mathematisch bei Kenntnis der beiden individuellen dichotomen Merkmalsausprägungen – woraus sich die Eintrittswahrscheinlichkeit eines Erfolgssignals ermittelt –, sowie bei Kenntnis der Anzahl an Erfolgssignalen respektive der Anzahl an Fehlsignalen die numerische Netto-Überschussrendite ohne Informationsverlust kalkulieren, allerdings führen die Transaktionskosten zu einer Verfälschung der individuellen Eintrittswahrscheinlichkeiten. Dieser Sachverhalt sei exemplarisch am Handelssystem Turtle Soup demonstriert, für welches die definierte Range zwischen Stop Loss und Take Profit Grenze für alle Intervalle exakt 60 Pips beträgt. Es ergäbe sich daraus folgende Erfolgswahrscheinlichkeit po:

Formel 25: Herleitung Erfolgswahrscheinlichkeit p0 Turtle Soup ohne Transaktionskosten

Die ermittelte Erfolgswahrscheinlichkeit beträgt gemäß oben stehender Rechnung 50 %, was sich auch aus einfacher logischer Überlegung her erschließt, ist doch der Abstand der beiden Marken zum Eröffnungspunkt mit jeweils 30 Pips gleich groß. Unter Berücksichtigung der Transaktionskosten in Höhe von 2 Pips verschiebt sich allerdings diese Range gegenüber dem Eröffnungspunkt um genau diese 2 Pips in den negativen Bereich, was zur Folge hat, dass die Take Profit Grenze bei + 28 Pips, sowie die Stop Loss Grenze bei – 32 Pips markieren. Formal beträgt die gesamte Range damit zwar noch immer 60 Pips, allerdings verkürzt sich die Range zum Erfolgssignal, beziehungsweise verlängert sich selbige zum Generieren eines Fehlsignals, sodass oben stehende Erfolgswahrscheinlichkeit von 53,33 % gilt. Obgleich diese Rechnung fachlich nicht zu beanstanden ist, so erweist sich die aus ihr resultierende Interpretation insofern als problematisch, dass durch die Berücksichtigung einer wirtschaftlichen Hürde – was Transaktionskosten zweifellos darstellen – die Wahrscheinlichkeit des erfolgreichen Ausgangs eines Trades erhöht wird. Eine plausible Erklärung für dieses Paradoxon stellt die Kausalität dar, dass Transaktionskosten die Überschussrendite schmälern und damit formal die Kapitalerhaltung erschweren. Weil die Erfolgswahrscheinlichkeit jedoch unter Berücksichtigung der Kapitalerhaltung berechnet wird, was der Term c = 0 symbolisiert, drückt das aus den Transaktionskosten resultierende Delta genau jenen Teil an zusätzlich „notwendiger“ Erfolgswahrscheinlichkeit aus, um den Kapitalerhalt zu gewährleisten. Demzufolge erhöht sich nicht die Wahrscheinlichkeit po für ein Erfolgssignal, wie die betragsmäßige Erhöhung suggeriert, sondern die Berücksichtigung der zusätzlichen Erfolgshürde drückt sich numerisch in eben jenem Wert aus.

Um dieses Problem von vornherein zu umgehen, wäre als Alternative zum Binomialtest ebenso eine Approximation zur Normalverteilung, respektive zur Student'schen t-Verteilung [für n � 30 Prüfgrößen] zum Überprüfen der statistischen Signifikanz denkbar. Dieser Ansatz folgt dem Vergleich einer zu errechnenden Prüfgröße mit einem tabellarischen Wert unter Berücksichtigung der Irrtumswahrscheinlichkeit und der so genannten Freiheitsgrade. Der Vollständigkeit halber soll die mathematische Bildungsvorschrift des zu errechnenden t-Wertes nachfolgend angegeben werden:

n: Anzahl der Elemente

rHSt: (durchschnittliche) Rendite des Handelssystems zum Zeitpunkt t

1t: vordefinierte Mindestrendite [= target return]

oHSt: empirische Standardabweichung des Handelssystems zum Zeitpunkt t

Formel 26: Prüfziffer der Student'schen t-Verteilung

Ohne im weiteren Fortgang en detail auf die Testmethodik einzugehen, sei der Vollständigkeit halber erwähnt, dass im Vorfeld eine Prüfung stattzufinden hat, ob

die zu testenden Daten überhaupt normalverteilt sind, das heißt es darf weder eine schiefe Verteilung der Daten vorliegen noch eine von der Normalverteilung abweichende Kurtosis, weil nur unter diesen Prämissen die Volatilität in Form der Standardabweichung ein geeignetes Schätzmaß des Risikos darstellt[3]. Davon aber einmal abgesehen, ist für vorliegende Untersuchung im Zweifel stets der Binomialtest der Approximation zur Normalverteilung vorzuziehen, weil dieser im Rahmen des gegebenen Kontextes die exaktere Signifikanzprüfmethode darstellt.

  • [1] Vgl. Schwager, Jack D.: a.a.O., Seite 769.
  • [2] Vgl. Heckmann, Tobias: a.a.O., Seite 28.
  • [3] Vgl. Poddig, T. / Dichtl, H. / Petersmeier, K.: a.a.O., Seite 125.
 
< Zurück   INHALT   Weiter >