Modul 5 von 6 · 5 Min. Lesezeit

Risiken des KI-Tradings: Overfitting und Schwarze-Schwan-Ereignisse

Overfitting lässt eine Strategie auf alten Daten brillant aussehen und auf neuen nutzlos, und ein Schwarzer Schwan ist der seltene Schock, für den kein Bot gebaut wurde – deshalb behält ein Mensch die Hand am Notausschalter.

Kill-Switch

Verlustgrenze−20%

Kein Kill-Switch−99%$120 von $10,000 übrig, vernichtet

Hart −20%-Grenze−20%$8,000 von $10,000 übrig, überlebt

Derselbe Schwarze Schwan, dieselbe Strategie. Der einzige Unterschied ist, ob im Voraus eine harte Grenze festgelegt wurde, um den Handel zu stoppen. Bei ausgeschaltetem Schalter reitet die Strategie den Crash bis ganz nach unten durch, und das Konto ist so gut wie vernichtet.

Probieren Sie die Demo oben aus. Bei ausgeschaltetem Notausschalter reißt eine einzige Schwarze-Schwan-Bewegung das Konto bis fast auf null herunter; schalten Sie ihn ein, kommt derselbe Crash exakt an Ihrer Verlustgrenze zum Stehen. Genau dieser Unterschied – eine Strategie, die ausbluten kann, gegenüber einer, die gestoppt wird – ist das, worauf dieses Modul hinausläuft. Zwei Fehlermodi ruinieren mehr automatisierte Strategien als alles andere, und sie kommen aus entgegengesetzten Richtungen. Overfitting ist die Falle, zu viel aus der Vergangenheit zu lernen: ein Modell, das derart an alten Daten klebt, dass es zufällige Schwankungen mit echten Mustern verwechselt. Schwarze Schwäne sind das gegenteilige Problem, der Tag, an dem die Zukunft etwas liefert, das die Vergangenheit nie enthielt, sodass kein noch so großes Maß an Lernen hilft. Der eine Fehler besagt, dass die Strategie die Geschichte zu genau studiert hat; der andere, dass die Geschichte nie die ganze Wahrheit war. Beide zu verstehen unterscheidet einen Trader, der automatisierte Werkzeuge respektiert, von einem, der von ihnen still und leise ruiniert wird.

Overfitting: das Rauschen lernen statt das Signal

In jedem Preischart sind zwei Dinge miteinander vermischt. Es gibt das Signal, das echte, sich wiederholende Muster, das Sie eigentlich handeln wollen. Und es gibt das Rauschen, das zufällige, einmalige Zucken, das einmal passiert ist und sich nicht auf dieselbe Weise wiederholen wird.

Ein gutes Modell lernt das Signal und ignoriert das Rauschen. Ein overfittetes Modell macht das Gegenteil: Es prägt sich das Rauschen ein, als hätte es eine Bedeutung. Weil es jede kleine Unebenheit in den historischen Daten nachgezeichnet hat, passt es fast perfekt zur Vergangenheit, was seinen Backtest wie eine Gelddruckmaschine aussehen lässt. Doch es sagt die Zukunft fast überhaupt nicht voraus, weil sich das eingeprägte Rauschen nicht wiederholt.

Das ist die ganze Falle in einem Satz: Eine overfittete Strategie sieht auf alten Daten brillant aus und bricht bei neuen Daten zusammen. Das ist das zentrale Risiko von echtem Machine-Learning-Trading, und genau das erzeugt das Curve-Fitting aus Modul 4 auf der regelbasierten Seite.

Die Anzeichen dafür, dass eine Strategie overfittet ist

Sie müssen kein Data Scientist sein, um Overfitting zu wittern. Ein paar verräterische Anzeichen verraten es:

Zu viele Parameter im Verhältnis zu den Daten. Je mehr Stellräder eine Strategie hat, desto leichter lassen sie sich so lange verdrehen, bis die Vergangenheit perfekt aussieht. Viele Regler plus wenig Daten ist eine Warnung, kein Vorteil.
Eine unrealistisch glatte Equity-Kurve. Echte Edges sind unregelmäßig. Ein Backtest, der in einer fast perfekten Geraden ansteigt, bedeutet meist, dass die Strategie exakt in die Form der Vergangenheit gepresst wurde.
Zerbrechlichkeit. Verschieben Sie einen Parameter nur ein winziges Stück, und die Ergebnisse schlagen wild aus, oder die Strategie bricht in dem Moment zusammen, in dem sie auf nie gesehene Daten trifft. Ein echter Edge ist nicht so empfindlich.
Die Notwendigkeit ständiger Nachjustierung. Wenn sie nur funktioniert, solange Sie ständig nachjustieren, pflegen Sie keinen Edge, sondern jagen einem Rauschen hinterher, das sich ständig weiterbewegt.

Der gesunde Instinkt besteht darin, die einfachere, robustere Strategie der komplexen, zerbrechlichen vorzuziehen, selbst wenn Letztere einen schöneren Backtest zeigt. Robustheit ist das, was den Kontakt mit den Daten von morgen übersteht, und ein verdächtig schöner Backtest ist oft das Warnsignal, nicht der Preis.

Schwarze-Schwan-Ereignisse: der Tag außerhalb der Daten

Ein Schwarzer Schwan, im Sinne von Nassim Nicholas Taleb, ist ein seltenes Ereignis mit großer Auswirkung, das außerhalb normaler Erwartungen liegt und das alle erst im Nachhinein als „im Rückblick offensichtlich“ rationalisieren. Man denke an plötzliche Crashs, den Zusammenbruch von Börsen oder einen Schock, den die Märkte nie eingepreist hatten.

Hier ist der Grund, warum das für jede automatisierte Strategie Gift ist. Ein Modell lernt aus den Daten, mit denen es trainiert und getestet wurde. Ein Schwarzer Schwan liegt per Definition außerhalb dieser Daten. Das Modell hat noch nie etwas auch nur annähernd Ähnliches gesehen, besitzt also keine gültige erlernte Reaktion. Es wendet weiterhin Regeln an, die für eine Welt gebaut wurden, die nicht mehr existiert.

Es kommt noch schlimmer. Reale Märkte haben Fat Tails, das heißt, extreme Bewegungen kommen häufiger vor, als ein ordentliches Glockenkurven-Modell annimmt. Eine auf „normale“ Volatilität kalibrierte Strategie ist deshalb im Stillen unvorbereitet auf den einen Tag, auf den es wirklich ankommt, weil ihre gesamte Vorstellung davon, „wie schlimm es werden kann“, zu niedrig angesetzt war.

Wenn Automatisierung einen Crash verschlimmert

Automatisierung kommt mit einem Crash nicht nur schlecht zurecht. Sie kann sogar mit dazu beitragen, einen auszulösen.

Beim Flash Crash von 2010 am 6. Mai fiel der Dow Jones um etwa 998 Punkte (rund 9 Prozent), und rund 1 Billion US-Dollar an Marktwert verschwanden innerhalb weniger Minuten kurzzeitig, bevor sich der Markt wieder erholte; die gesamte Episode dauerte etwa 36 Minuten. Bei Ereignissen wie diesem türmen sich automatisierte Strategien auf: kaskadierende Stop-Losses lösen aus und provozieren weitere Verkäufe, Kauforders verdunsten, sodass niemand mehr da ist, an den man zu einem vernünftigen Preis verkaufen könnte, und Ausführungen landen weit entfernt von dem Preis, zu dem die Strategie zu handeln „erwartet“ hatte.

Automatisierung führt auch schlichte Fehler mit Maschinengeschwindigkeit aus. Knight Capital verlor rund 440 Millionen US-Dollar in etwa 45 Minuten, als eine fehlerhafte Software-Bereitstellung ein automatisiertes System dazu brachte, einen Sturm ungewollter Orders abzufeuern. Ein Bot gerät nicht in Panik, was wie eine Tugend klingt, aber er hält auch nicht inne, um nachzudenken, und genau das ist bei voller Geschwindigkeit die Gefahr.

Warum der Notausschalter einen Menschen braucht

Beide Fehlermodi weisen auf dieselbe stille Lehre hin. Zu erkennen, dass „diese Situation außerhalb von allem liegt, wofür meine Strategie gebaut wurde“, ist eine Ermessensentscheidung, und eine feste Regel oder ein auf normalen Daten trainiertes Modell kann diese Entscheidung in der Regel nicht selbst treffen. Es kennt nur die Welt, die man ihm gezeigt hat.

Deshalb sind ein manueller Notausschalter und aktive menschliche Aufsicht Risikokontrollen, keine Zeichen eines primitiven Aufbaus. Die gefährlichste automatisierte Strategie ist nicht diejenige, die hin und wieder falschliegt. Es ist diejenige, die selbstbewusst weiterhandelt, obwohl die Bedingungen längst außerhalb dessen liegen, wofür sie je konzipiert wurde, weil niemand auf den Moment geachtet hat, den Stecker zu ziehen. Genau solche Grenzen aufzubauen ist das Thema von Modul 6.

Eine overfittete Kurve trifft auf die Realität

Stellen Sie sich zwei Strategien nebeneinander vor.

Strategie A hat 15 Parameter, alle optimiert auf drei Jahre Historie. In-Sample zeigt sie eine Trefferquote von 95 Prozent und eine seidenglatte Equity-Kurve von plus 200 Prozent. Sie wirkt unaufhaltsam. Dann lassen Sie sie, unverändert, auf einem frischen Jahr laufen, das sie nie gesehen hat. Die Trefferquote fällt auf etwa 48 Prozent, und die Rendite landet bei rund minus 12 Prozent. Schlimmer noch: Verschiebt man einen einzigen Parameter nur um einen Schritt, kippt das In-Sample-Plus von 200 Prozent auf etwa minus 5 Prozent. Die wilde Empfindlichkeit und der Zusammenbruch bei neuen Daten sind Overfitting wie aus dem Lehrbuch: Die 15 Regler zeichneten das Rauschen der Vergangenheit nach, keinen echten Edge.

Strategie B nutzt nur 2 Parameter. In-Sample zeigt sie eine bescheidenere Trefferquote von 80 Prozent. Out-of-Sample hält sie sich bei rund 74 Prozent, und kleine Parameteränderungen bewegen sie kaum. Ihr Backtest ist weniger beeindruckend, doch ihr Edge bleibt über Daten hinweg stabil, die sie nie gesehen hat.

Ein disziplinierter Trader setzt Strategie B ein und löscht Strategie A, denn im Live-Trading schlägt Robustheit jedes Mal einen schönen Backtest.

Was „Fat Tails“ wirklich bedeutet

Viele einfache Modelle gehen stillschweigend davon aus, dass Marktrenditen einer ordentlichen Glockenkurve (einer Normalverteilung) folgen, bei der riesige Bewegungen so selten sind, dass man sie fast ignorieren kann. Reale Märkte verhalten sich nicht so. Ihre Renditeverteilungen haben Fat Tails: Die Extremwerte an den äußeren Rändern kommen weit häufiger vor, als die Glockenkurve vorhersagt.

Die praktische Konsequenz ist unangenehm. Eine auf „normale“ Tage abgestimmte Strategie behandelt eine Bewegung, wie sie einmal pro Jahrzehnt vorkommt, als praktisch unmöglich, und bemisst deshalb Positionen und Risiko so, als würde der große Schock nie kommen. Wenn der Fat Tail dann tatsächlich auftritt, und über einen ausreichend langen Zeithorizont geschieht das immer, wird die Strategie mit weitaus mehr Exposure erwischt, als sie je einkalkuliert hatte. Fat Tails sind ein wesentlicher Grund dafür, warum Schwarze Schwäne Modellen, die von Ruhe ausgingen, so großen Schaden zufügen.

Zwei Maschinen, die es schlimmer machten

Der Flash Crash von 2010 und der Verlust von Knight Capital lohnen eine genauere Betrachtung, weil sie die zwei Arten zeigen, wie Automatisierung aus Schlechtem eine Katastrophe macht.

Der Flash Crash war eine Liquiditätskaskade. Automatisierte Verkäufe erzeugten weitere automatisierte Verkäufe, ruhende Kauforders wurden fast augenblicklich zurückgezogen, und für ein paar Minuten gab es schlicht keine Preisuntergrenze mehr. Für manche Assets wurden absurde Kurse notiert, bevor sich der Markt wieder erholte. Kein einzelner „Bug“ war dafür nötig; die Rückkopplungsschleife zwischen vielen automatisierten Teilnehmern reichte aus.

Knight Capital war ein Bereitstellungsfehler. Ein fehlerhaftes Software-Rollout ließ ein altes Stück Code aktiv, und das automatisierte System der Firma begann in dem Moment, in dem der Markt öffnete, eine Flut ungewollter Orders zu versenden. Es war keine Strategie, die sich im Markt irrte. Es war eine Maschine, die einen Fehler Tausende Male ausführte, bevor Menschen eingreifen konnten, und rund 440 Millionen US-Dollar verdampften in etwa drei Vierteln einer Stunde.

Unterschiedliche Ursachen, dieselbe Lehre: Geschwindigkeit ohne menschlichen Schutzschalter macht aus einem kleinen Fehler eine große Katastrophe.

Kurzer Wissenscheck

Was ist Overfitting, einfach erklärt? Eine Strategie, die so eng an vergangene Daten angepasst wurde, dass sie sich das zufällige Rauschen statt des echten Musters einprägt, sodass sie im Backtest exzellent aussieht, im Live-Trading aber keinen Vorhersagewert hat.

Warum ist eine automatisierte Strategie strukturell nicht auf einen Schwarzen Schwan vorbereitet? Ein Schwarzer Schwan liegt per Definition außerhalb der Daten, mit denen die Strategie trainiert und getestet wurde, sodass sie noch nie etwas Vergleichbares gesehen hat und über keine gültige erlernte Reaktion verfügt, und Märkte haben Fat Tails, die solche Schocks häufiger machen, als ein normalverteiltes Modell annimmt.

Warum braucht die Entscheidung, wann eine Strategie abgeschaltet wird, einen Menschen? Zu erkennen, dass sich die Bedingungen außerhalb dessen bewegt haben, wofür die Strategie gebaut wurde, ist eine Ermessensentscheidung, die eine feste Regel oder ein normal trainiertes Modell nicht zuverlässig selbst treffen kann, weshalb ein manueller Notausschalter und menschliche Aufsicht unverzichtbare Kontrollen sind, keine Zeichen eines primitiven Systems.

Quellen

Notices of the AMS (akademisch), Bailey, Borwein, Lopez de Prado & Zhu, "Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance", dazu, wie ein Modell zufälliges Rauschen statt des zugrunde liegenden Musters beschreiben kann und dann bei neuen Daten nicht verallgemeinert.
arXiv (akademisch), Nassim Nicholas Taleb, "Statistical Consequences of Fat Tails", Nassim Nicholas Talebs Definition eines seltenen Ereignisses mit großer Auswirkung, das erst im Nachhinein als vorhersehbar rationalisiert wird.
U.S. SEC & CFTC (gemeinsamer Stabsbericht), "Findings Regarding the Market Events of May 6, 2010", zum Intraday-Einbruch vom 6. Mai 2010, seinem Ausmaß und seiner rund 36-minütigen Dauer.
U.S. SEC, "Press Release 2013-222: SEC Charges Knight Capital With Violations of Market Access Rule", zum Software-Bereitstellungsfehler vom 1. August 2012 und dem daraus entstandenen Verlust.
OECD (OECD.AI Policy Observatory), "What is AI? Defining AI and machine learning", zu Modellen, die Muster aus Daten lernen, statt explizit geschriebenen Regeln zu folgen.