Módulo 5 de 6 · 5 min de lectura

Riesgos del trading con IA: sobreajuste y eventos de cisne negro

El sobreajuste hace que una estrategia parezca brillante con datos antiguos e inútil con datos nuevos, y un cisne negro es el shock excepcional para el que ningún bot fue diseñado, razón por la cual una persona mantiene la mano sobre el interruptor de apagado.

Interruptor de emergencia

Límite de pérdida−20%

Sin interruptor de emergencia−99%$120 de $10,000 restante, cuenta arrasada

Tope duro −20%−20%$8,000 de $10,000 restante, sobrevive

Mismo cisne negro, misma estrategia. La única diferencia es si se fijó de antemano un tope duro para detener la operativa. Con el interruptor desactivado, la estrategia acompaña la caída hasta el final y la cuenta queda prácticamente arrasada.

Prueba la demo de arriba. Con el interruptor de emergencia desactivado, un solo movimiento de cisne negro arrastra la cuenta casi hasta cero; actívalo y el mismo desplome se detiene en seco en tu límite de pérdidas. Esa única diferencia, una estrategia que puede desangrarse frente a una que se detiene a tiempo, es hacia donde apunta este módulo. Dos modos de fallo destruyen más estrategias automatizadas que ninguna otra cosa, y llegan desde direcciones opuestas. El sobreajuste es la trampa de aprender demasiado del pasado: un modelo tan pegado a los datos antiguos que confunde oscilaciones aleatorias con patrones reales. Los cisnes negros son el problema contrario: el día en que el futuro presenta algo que el pasado nunca contuvo, de modo que ningún aprendizaje ayuda. Uno dice que la estrategia estudió la historia con demasiado ahínco; el otro dice que la historia nunca fue toda la historia. Entender ambos es lo que separa a un trader que respeta las herramientas automatizadas de uno al que esas herramientas destruyen silenciosamente.

Sobreajuste: aprender el ruido en lugar de la señal

Dentro de cualquier gráfico de precios hay dos cosas mezcladas. Está la señal, el patrón real y recurrente que de verdad quieres operar. Y está el ruido, la oscilación aleatoria y puntual que ocurrió una vez y no volverá a repetirse de la misma forma.

Un buen modelo aprende la señal e ignora el ruido. Un modelo sobreajustado hace lo contrario: memoriza el ruido como si significara algo. Como ha calcado cada pequeño bache de los datos históricos, encaja con el pasado casi a la perfección, lo que hace que su backtest parezca una máquina de hacer dinero. Pero apenas predice el futuro, porque el ruido que memorizó no se repite.

Esa es toda la trampa en una frase: una estrategia sobreajustada parece brillante con datos antiguos y se desmorona con datos nuevos. Es el riesgo central del trading con machine learning genuino, y es exactamente lo que produce el ajuste de curvas del Módulo 4 en el lado basado en reglas.

Las señales de que una estrategia está sobreajustada

No hace falta ser científico de datos para oler el sobreajuste. Unas cuantas señales delatoras lo revelan:

Demasiados parámetros para los datos disponibles. Cuantos más diales tenga una estrategia, más fácil es girarlos hasta que el pasado parezca perfecto. Muchos controles y pocos datos es una señal de alarma, no una virtud.
Una curva de capital irrealmente suave. Las ventajas reales son irregulares. Un backtest que sube en una línea casi perfectamente recta suele significar que la estrategia se moldeó exactamente a la forma del pasado.
Fragilidad. Mueve un parámetro un poco y los resultados oscilan violentamente, o la estrategia se derrumba en cuanto se topa con datos que nunca ha visto. Una ventaja real no es tan delicada.
La necesidad de reajustes constantes. Si solo sigue funcionando mientras la sigues ajustando, no estás manteniendo una ventaja: estás persiguiendo un ruido que no deja de moverse.

El instinto sano es preferir la estrategia más simple y sólida frente a la compleja y frágil, incluso cuando la compleja muestre un backtest más bonito. La robustez es lo que sobrevive al contacto con los datos de mañana, y un backtest sospechosamente hermoso suele ser la señal de alarma, no el premio.

Eventos de cisne negro: el día fuera de los datos

Un cisne negro, en el sentido de Nassim Nicholas Taleb, es un evento excepcional y de gran impacto que queda fuera de las expectativas normales y que todo el mundo racionaliza como «obvio en retrospectiva» solo después de que ha ocurrido. Piensa en desplomes repentinos, colapsos de exchanges o un shock que los mercados nunca habían incorporado a los precios.

He aquí por qué esto es veneno para cualquier estrategia automatizada. Un modelo aprende de los datos con los que fue entrenado y probado. Un cisne negro, por definición, queda fuera de esos datos. El modelo nunca ha visto nada remotamente parecido, así que no tiene ninguna respuesta aprendida válida. Sigue aplicando reglas construidas para un mundo que ya no existe.

Y empeora. Los mercados reales tienen colas gruesas, lo que significa que los movimientos extremos ocurren con más frecuencia de lo que asume un modelo de curva de campana ordenado. Una estrategia calibrada según la volatilidad «normal» está, por tanto, silenciosamente desprevenida para el único día que de verdad importa, porque toda su idea de «hasta qué punto puede empeorar» se fijó demasiado baja.

Cuando la automatización empeora un desplome

La automatización no solo afronta mal un desplome. Puede ayudar a provocarlo.

En el Flash Crash del 6 de mayo de 2010, el Dow Jones cayó unos 998 puntos (aproximadamente un 9 por ciento) y cerca de 1 billón de dólares estadounidenses en valor de mercado se esfumaron brevemente en cuestión de minutos antes de rebotar, y el episodio completo duró unos 36 minutos. En eventos como este, las estrategias automatizadas se suman al problema: los stop-loss en cascada se disparan y desencadenan más ventas, las ofertas de compra se evaporan de modo que no queda nadie a quien vender a un precio razonable, y las ejecuciones se producen muy lejos de donde la estrategia «esperaba» operar.

La automatización también ejecuta errores simples a la velocidad de una máquina. Knight Capital perdió unos 440 millones de dólares estadounidenses en aproximadamente 45 minutos cuando un despliegue de software defectuoso dejó que un sistema automatizado disparara una tormenta de órdenes no deseadas. Un bot no entra en pánico, lo cual suena como una virtud, pero tampoco se detiene a pensar, y a máxima velocidad eso es exactamente el peligro.

Por qué el interruptor de apagado necesita a una persona

Ambos modos de fallo apuntan a la misma lección silenciosa. Reconocer que «esta situación queda fuera de todo aquello para lo que se construyó mi estrategia» es una decisión de criterio, y una regla fija o un modelo entrenado con datos normales normalmente no puede tomar esa decisión por sí mismo. Solo conoce el mundo que se le mostró.

Por eso un interruptor de apagado manual y una supervisión humana activa son controles de riesgo, no señales de una configuración primitiva. La estrategia automatizada más peligrosa no es la que se equivoca de vez en cuando. Es la que sigue operando con confianza en condiciones para las que nunca fue diseñada, porque nadie estaba vigilando el momento de desconectarla. Construir esos límites es precisamente de lo que trata el Módulo 6.

Una curva sobreajustada se enfrenta a la realidad

Imagina dos estrategias una junto a la otra.

La estrategia A tiene 15 parámetros, todos optimizados sobre tres años de historia. Dentro de la muestra arroja una tasa de acierto del 95 por ciento y una curva de capital sedosa de +200 por ciento. Parece imparable. Luego la ejecutas, sin cambios, sobre un año nuevo que nunca vio. La tasa de acierto cae a alrededor del 48 por ciento y el rendimiento se sitúa en torno al -12 por ciento. Peor aún, ajustar un solo parámetro un paso convierte ese +200 por ciento dentro de la muestra en aproximadamente -5 por ciento. La sensibilidad extrema y el colapso con datos nuevos son sobreajuste de manual: los 15 diales calcaron el ruido del pasado, no una ventaja real.

La estrategia B usa solo 2 parámetros. Dentro de la muestra arroja una tasa de acierto más modesta, del 80 por ciento. Fuera de la muestra se mantiene en torno al 74 por ciento, y pequeños cambios de parámetros apenas la mueven. Su backtest es menos deslumbrante, pero su ventaja es estable frente a datos que nunca vio.

Un trader disciplinado pone en producción la estrategia B y elimina la estrategia A, porque en el trading en vivo la robustez vence a un backtest bonito siempre.

Qué significan realmente las «colas gruesas»

Muchos modelos simples asumen silenciosamente que los rendimientos del mercado siguen una curva de campana ordenada (una distribución normal), donde los movimientos enormes son tan raros que casi se pueden ignorar. Los mercados reales no se comportan así. Sus distribuciones de rendimientos tienen colas gruesas: los resultados extremos en los bordes lejanos ocurren con mucha más frecuencia de la que predice la curva de campana.

La consecuencia práctica es incómoda. Una estrategia ajustada según días «normales» trata un movimiento que ocurre una vez cada década como básicamente imposible, así que dimensiona posiciones y fija el riesgo como si el gran shock nunca fuera a llegar. Cuando la cola gruesa por fin aparece, y en un horizonte suficientemente largo siempre aparece, la estrategia queda atrapada con mucha más exposición de la que jamás contempló. Las colas gruesas son gran parte de la razón por la que los cisnes negros causan tanto daño a los modelos que asumieron calma.

Dos máquinas que empeoraron las cosas

El Flash Crash de 2010 y la pérdida de Knight Capital merecen detenerse a pensarlos, porque muestran las dos formas en que la automatización convierte lo malo en catastrófico.

El Flash Crash fue una cascada de liquidez. Las ventas automatizadas engendraron más ventas automatizadas, las órdenes de compra pendientes se retiraron casi al instante, y durante unos minutos sencillamente no hubo suelo. Los precios de algunos activos se registraron a niveles absurdos antes de que el mercado se recuperara de golpe. No hizo falta un único «fallo»; el bucle de retroalimentación entre muchos participantes automatizados fue suficiente.

Knight Capital fue un error de despliegue. Una implementación de software defectuosa dejó activo un fragmento de código antiguo, y el sistema automatizado de la firma empezó a enviar una avalancha de órdenes no deseadas en el momento en que abrió el mercado. No fue una estrategia equivocándose sobre el mercado. Fue una máquina ejecutando un error miles de veces antes de que los humanos pudieran intervenir, y unos 440 millones de dólares estadounidenses se evaporaron en aproximadamente tres cuartos de hora.

Causas distintas, misma lección: la velocidad sin un cortacircuitos humano convierte un fallo pequeño en un desastre grande.

Comprobación rápida de conocimientos

¿Qué es el sobreajuste, en términos sencillos? Una estrategia ajustada tan estrechamente a los datos pasados que memoriza el ruido aleatorio en lugar del patrón real, de modo que parece excelente en el backtest pero no tiene ningún valor predictivo una vez que opera en vivo.

¿Por qué una estrategia automatizada está estructuralmente desprevenida ante un cisne negro? Un cisne negro, por definición, queda fuera de los datos con los que se entrenó y probó la estrategia, así que esta nunca ha visto nada parecido y no tiene ninguna respuesta aprendida válida, y los mercados tienen colas gruesas que hacen que este tipo de shocks sean más comunes de lo que asume un modelo normal.

¿Por qué decidir cuándo apagar una estrategia requiere a una persona? Reconocer que las condiciones se han movido fuera de aquello para lo que se construyó la estrategia es una decisión de criterio que una regla fija o un modelo entrenado de forma normal no puede tomar de manera fiable por sí mismo, así que un interruptor de apagado manual y la supervisión humana son controles esenciales, no señales de un sistema primitivo.

Fuentes

Notices of the AMS (académico), Bailey, Borwein, Lopez de Prado y Zhu, "Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance", sobre cómo un modelo puede describir ruido aleatorio en lugar del patrón subyacente y luego fallar al generalizar a datos nuevos.
arXiv (académico), Nassim Nicholas Taleb, "Statistical Consequences of Fat Tails", la definición de Nassim Nicholas Taleb de un evento excepcional y de gran impacto racionalizado como predecible solo en retrospectiva.
SEC y CFTC de EE. UU. (informe conjunto del personal técnico), "Findings Regarding the Market Events of May 6, 2010", el colapso intradía del 6 de mayo de 2010, su magnitud y su duración de aproximadamente 36 minutos.
SEC de EE. UU., "Press Release 2013-222: SEC Charges Knight Capital With Violations of Market Access Rule", el fallo de despliegue de software del 1 de agosto de 2012 y la pérdida resultante.
OCDE (OECD.AI Policy Observatory), "What is AI? Defining AI and machine learning", sobre los modelos que aprenden patrones a partir de datos en lugar de seguir reglas escritas explícitamente.