Modul 4 von 6 · 5 Min. Lesezeit

Backtesting und Forward Testing

Ein Backtest zeigt, wie sich eine Strategie in der Vergangenheit geschlagen hätte; Forward Testing prüft sie anhand von Live-Daten, und die Live-Ergebnisse fallen fast immer schlechter aus, als der Backtest versprochen hat.

ModellkomplexitätEinfachOverfit≈20 Parameter

OverfittingDer Backtest schießt in die Höhe, während Live stagniert und zu fallen beginnt.

Backtest+71%

Live+11%

Overfit-Lücke61 Pkt.

Ziehen Sie Modellkomplexität. Ein komplexeres Modell bildet die Vergangenheit immer präziser ab (der glatte grüne Backtest), memoriert dabei aber nur Rauschen – die rote Live-Kurve, getestet an Daten, die sie nie gesehen hat, erreicht daher früh ihren Höhepunkt und bricht anschließend ein. Diese wachsende Lücke ist Overfitting.

Ziehen Sie das Diagramm oben von Simple zu Overfit: Die grüne Backtest-Kurve glättet sich zu einer makellosen Linie, während die rote Live-Kurve früh ihren Höhepunkt erreicht und danach zerfällt. Diese Lücke hat einen Namen, Overfitting, und auf der sicheren Seite davon zu bleiben, darum geht es in diesem Modul wirklich. Bevor Sie einen einzigen Dollar auf eine Regel oder ein Modell setzen, testen Sie es, und dafür gibt es genau zwei ehrliche Wege plus ein ganzes Sortiment an Möglichkeiten, sich selbst zu täuschen. In diesem Modul geht es darum, beide auseinanderzuhalten. Ein guter Test kann Sie vor einer schlechten Idee bewahren. Ein manipulierter Test, meist unabsichtlich manipuliert, bewirkt das Gegenteil: Er verschafft Ihnen das Selbstvertrauen, schnell Geld zu verlieren. Am Ende wissen Sie, wie Sie einen vertrauenswürdigen Backtest durchführen, wie Sie die Tricks erkennen, die eine Verluststrategie wie eine Geldmaschine aussehen lassen, und warum die Zahl, die Ihr Test ausgibt, eine Obergrenze ist, die Sie im echten Leben nie ganz erreichen werden.

Backtesting: eine Strategie auf die Vergangenheit anwenden

Backtesting bedeutet, eine Strategie auf historische Daten anzuwenden, um abzuschätzen, wie sie sich entwickelt hätte. Sie nehmen Ihre Regeln, richten sie auf einige Jahre Kursgeschichte und lassen sie diese Geschichte „handeln“, um zu sehen, wie die Kapitalkurve aussieht.

Er ist notwendig. Eine Strategie, die in der Vergangenheit verliert, ist es nicht wert, mit echtem Geld gehandelt zu werden, also ist ein Backtest die Mindesthürde, die zuerst genommen werden muss. Diese Hürde zu nehmen ist aber nicht dasselbe wie die Obergrenze zu erreichen. Ein Backtest lässt sich leicht so manipulieren, dass er Ergebnisse zeigt, die die Strategie in Echtzeit nie hätte erzielen können, und meistens manipuliert ihn niemand absichtlich. Die Fehler schleichen sich leise ein.

Betrachten Sie einen guten Backtest daher als Erlaubnis, weiter zu untersuchen, niemals als Beweis, dass Sie Geld verdienen werden. Der Rest dieses Moduls ist die Liste der Arten, wie ein sauber aussehender Backtest Sie belügt.

Look-Ahead-Bias: Betrug mit der Zeitung von morgen

Look-Ahead-Bias bedeutet, in Ihrem Test Informationen zu verwenden, die zum Zeitpunkt der simulierten Entscheidung tatsächlich noch nicht verfügbar waren. Der Test „weiß“ etwas, das ein realer Trader noch nicht wissen konnte, und trifft deshalb eine Entscheidung, die kein realer Trader hätte treffen können.

Zwei klassische Beispiele:

Den Schlusskurs eines Tages zu verwenden, um einen Trade auszulösen, den Sie vorgeben, an genau diesem Morgen „bei Handelseröffnung“ platziert zu haben. Im echten Leben kennen Sie den Schlusskurs erst, wenn der Tag vorbei ist.
Nachträglich korrigierte Fundamentaldaten zu verwenden, die erst Wochen nach dem getesteten Datum veröffentlicht wurden.

Schon ein winziges Durchsickern zukünftiger Informationen verwandelt eine gewöhnliche Strategie in eine Fantasie glatter, mühelos erzielter Gewinne. Die Kapitalkurve sieht großartig aus, weil der Backtest im Stillen die Zeitung von morgen liest. Wirkt ein Backtest zu sauber und zu einfach, ist Look-Ahead-Bias der erste Verdacht.

Curve-Fitting und die Lösung mit In-Sample / Out-of-Sample

Die zweite große Falle ist das Curve-Fitting. Wenn Sie die Parameter einer Strategie so lange nachjustieren, bis ihre historische Kurve perfekt aussieht, haben Sie keinen echten Edge gefunden. Sie haben die Strategie genau auf die Unregelmäßigkeiten der Vergangenheit zugeschnitten, einschließlich des Zufallsrauschens, das sich nicht wiederholen wird. Die Kurve ist genau deshalb so schön, weil Sie sie auf diesen einen Ausschnitt der Geschichte zugeschnitten haben.

Die Standardverteidigung ist das Testen In-Sample versus Out-of-Sample, und das ist einfacher, als es klingt:

Teilen Sie Ihre historischen Daten in zwei Abschnitte.
In-Sample: Justieren Sie die Strategie am ersten Abschnitt so oft Sie möchten.
Frieren Sie die Regeln ein. Keine weiteren Anpassungen.
Out-of-Sample: Lassen Sie diese eingefrorenen Regeln auf dem zweiten Abschnitt laufen, den die Strategie noch nie gesehen hat.

Hält die Performance Out-of-Sample stand, könnte der Edge real sein. Bricht sie zusammen, haben Sie nur Rauschen angepasst, und das lernen Sie besser jetzt als mit echtem Geld. Eine Faustregel, die sich zu merken lohnt: Eine Strategie mit Dutzenden Parametern und einer verdächtig glatten Kurve gilt als schuldig, bis das Gegenteil bewiesen ist.

Forward Testing: die ehrliche Generalprobe

Forward Testing, auch Paper Trading genannt, bedeutet, die Strategie live mit Echtzeitdaten laufen zu lassen, ohne echtes Kapital einzusetzen. Es ist die ehrliche Ergänzung zum Backtesting, aus einem einfachen Grund: Sie können nicht in die Zukunft blicken. Die Daten treffen Tick für Tick ein, genau wie beim echten Trading, sodass Look-Ahead-Bias und stilles Data-Snooping sich nirgends mehr verstecken können.

Forward Testing prüft auch die unspektakulären Dinge, über die ein Backtest hinweggeht: Ihre Ordertypen, Ihr Timing und wie sich Ausführungen tatsächlich verhalten, wenn sich der Markt bewegt. Genau an diesen Annahmen zur Ausführung scheitern viele „perfekte“ Backtests.

Betrachten Sie es als die letzte Station vor echtem Geld. Wer es überspringt, macht aus einem schönen Backtest ein hässliches Live-Konto.

Warum das Live-Trading immer schlechter ausfällt als der Backtest

Hier ist das unangenehme Muster: Die Lücke zwischen Backtest- und Live-Ergebnissen ist real, sie ist vorhersehbar, und sie verläuft fast immer in dieselbe Richtung. Live ist schlechter. Drei Kräfte verursachen das.

Kraft	Was sie ist	Warum der Backtest sie übersehen hat
Kosten	Gebühren, Geld-Brief-Spannen, Funding	Ein naiver Backtest geht oft von Kosten null aus
Slippage	Die Differenz zwischen dem erwarteten und dem tatsächlich erzielten Preis	Sie wächst in schnellen oder dünnen Märkten, die ein Backtest als ruhig behandelt
Regimewechsel	Die Marktbedingungen, die Ihre Daten hervorgebracht haben, existieren nicht mehr	Historische Daten können keinen Markt enthalten, der noch nicht stattgefunden hat

Betreiben Sie deshalb Forward Testing lange genug, um viele Trades und mindestens einen Wechsel der Marktbedingungen zu sehen, bevor Sie Kapital einsetzen. Zählen Sie Trades und die Bandbreite der Bedingungen, nicht Kalendertage. Eine schnelle Strategie braucht vielleicht nur ein paar Wochen; eine langsamere oft Monate. Die Frage lautet nie „wie lange lief es schon?“, sondern „wie viel hat es überstanden?“

Die Kostenrechnung, die einen Backtest im Stillen zunichtemacht

Ein Backtest meldet eine Strategie, die auf einem Konto von $10,000 +40% pro Jahr erzielt, mit einer wunderschön glatten Kurve, bei 300 Trades im Jahr. Der Backtest ging von null Kosten aus. Jetzt kommt die Realität hinzu.

Nehmen wir an, jeder Round-Turn-Trade kostet etwa 0.1% des gehandelten Werts an Gebühren und Spread. Bei 300 Trades sind das rund 300 x 0.1% = 30% des Umsatzes, die von den Kosten aufgezehrt werden. Kommen dann noch ein paar Basispunkte Slippage pro Trade in den schnellen Momenten hinzu, wird es noch schlimmer.

Neu berechnet mit Kosten könnte dieser +40%-Backtest realistisch eher bei +8% bis +10% im Live-Betrieb landen. Eine Strategie, die nur mittelmäßig aussah, kann in einen Nettoverlust kippen, sobald die Kosten ehrlich eingerechnet werden. An der Logik hat sich nichts geändert. Der einzige Unterschied war, die Kosten mitzuzählen, die der Backtest ignoriert hatte. Deshalb ziehen Sie realistische Kosten und Slippage ab, bevor Sie sich freuen, und deshalb ist Forward Testing, bei dem Kosten unvermeidlich sind, das eigentliche Prüffeld.

Eine sauberere Methode, In-Sample und Out-of-Sample zu trennen

Die einfache Aufteilung (am ersten Abschnitt justieren, am zweiten eingefroren testen) reicht aus, um die meisten Fälle von Curve-Fitting aufzudecken. Wenn Sie strenger vorgehen möchten, halten Sie den Out-of-Sample-Abschnitt wirklich versiegelt:

Legen Sie die Aufteilung fest, bevor Sie sich irgendwelche Ergebnisse ansehen, nicht danach.
Testen Sie an den Out-of-Sample-Daten nur einmal. Wenn Sie immer wieder hineinschauen, anpassen und erneut testen, wird auch dieser „ungesehene“ Abschnitt allmählich zu In-Sample-Daten, und der gesamte Nutzen verpufft.
Bevorzugen Sie eine Strategie, die in beiden Abschnitten lediglich gut bleibt, gegenüber einer, die in einem Abschnitt glänzt und im anderen wackelt. Konsistenz bei Daten, die sie nie gesehen hat, ist das Signal, das Sie eigentlich suchen.

Wie lange ist ‚lange genug' für Forward Testing?

Es gibt keine feste Anzahl an Tagen, weil zwei Strategien in völlig unterschiedlichem Tempo handeln können. Das ehrliche Maß ist die Bandbreite der erlebten Bedingungen:

Genug Trades, damit eine Glückssträhne die Bilanz nicht schönfärbt. Ein Dutzend Trades sagt fast nichts aus; ein paar Hundert beginnen, aussagekräftig zu sein.
Mindestens ein Wechsel der Bedingungen, damit Sie die Strategie sowohl in einer Range als auch in einem Trend gesehen haben, in ruhigen Phasen und in einem Schreckmoment, nicht nur in der einen Marktstimmung, in der sie zufällig gestartet ist.

Eine hochfrequente Strategie könnte beide Punkte innerhalb von Wochen erfüllen. Eine langsame Swing-Strategie braucht womöglich viele Monate. Hat Ihr Forward Test nur eine einzige Art von Markt erlebt, haben Sie die Strategie noch nicht wirklich getestet.

Kurzer Wissenscheck

Warum ist ein Backtest notwendig, aber allein nicht ausreichend? Eine Strategie muss zumindest die Vergangenheit überstehen, um handelswürdig zu sein, also ist der Backtest die Mindesthürde. Backtests lassen sich aber leicht durch Look-Ahead-Bias, Curve-Fitting und ignorierte Kosten verzerren, sodass das Bestehen eines Backtests nicht beweist, dass Sie live Geld verdienen werden.

Was ist Look-Ahead-Bias, an einem Beispiel erklärt? Die Verwendung von Informationen im Test, die zum Entscheidungszeitpunkt nicht verfügbar waren, zum Beispiel das Auslösen eines Trades „bei Handelseröffnung“ mithilfe des Schlusskurses desselben Tages, den kein realer Trader zu diesem Zeitpunkt kennen könnte.

Warum bleiben Live-Ergebnisse fast immer hinter dem Backtest zurück? Drei Kräfte, die der Backtest meist unterschätzt: Kosten (Gebühren, Spreads, Funding), Slippage (schlechtere Ausführungen als erwartet) und Regimewechsel (die Marktbedingungen, die Ihre historischen Daten hervorgebracht haben, haben sich verändert).

Quellen

CFA Institute, „Backtesting and Simulation“, Definition des Testens einer Strategie anhand historischer Daten zur Abschätzung der Performance.
arXiv (akademisch), „Look-Ahead-Freedom as Temporal Non-Interference“, Verwendung von Informationen, die zum simulierten Entscheidungszeitpunkt nicht verfügbar waren.
Notices of the AMS (akademisch), „Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance“, Curve-Fitting als Beschreibung von Rauschen statt der zugrunde liegenden Beziehung, und das Scheitern bei der Generalisierung auf neue Daten.
CME Group, „About the Trading Simulator“, Forward Testing mit Echtzeitdaten ohne echtes Kapital vor dem Livegang.