El negativo honesto: decenas de miles de backtests, cinco majors, ninguna ventaja robusta

Parte de la serie "Backtests sin ilusiones".

El resultado que no queríamos

Esta serie ha dedicado varios artículos a construir instrumentos para cazar una mentira: el sesgo de look-ahead que fabrica un Sharpe de 15 a partir de una fuga de una sola barra, el ratio de Sharpe deflactado que pone precio al ganador de una búsqueda, la Probabilidad de Sobreajuste del Backtest que pone precio a la búsqueda misma. Cada una de esas piezas fue, en cierto sentido, un ensayo general. Esta es la función: apuntamos todo el aparato a una familia de estrategias real que de verdad queríamos operar, y dejamos que emitiera el veredicto para el que fue construido — incluso cuando el veredicto es no.

Aquí va el final honesto por adelantado. Ejecutamos decenas de miles de backtests sobre cinco monedas principales (majors), en configuraciones de doble y triple timeframe, buscando una ventaja robusta. No la encontramos. No "encontramos una ventaja pequeña y redujimos la posición". No encontramos nada que sobreviva al contacto con la maquinaria — ninguna configuración que sea a la vez rentable entre instrumentos y defendible bajo la corrección por pruebas múltiples. Eso no es un fracaso del experimento. Eso es el experimento funcionando.

La parte seductora — la que habría llevado a un equipo peor instrumentado a asignar capital — es que una lectura ingenua parecía genuinamente buena:

Lee esa primera fila como la leímos nosotros al principio: una estrategia de cruce de medias móviles, ajustada sobre ETHUSDT en una malla de doble timeframe, imprimiendo +16.35% sobre datos que nunca vio durante la búsqueda, y manteniendo un +2.62% positivo en una segunda ventana que habíamos amurallado por completo. Si te detienes ahí — y la mayoría de los backtests publicados se detienen ahí — lo pones en producción. El resto de este artículo es la maquinaria que nos dijo que no, y por qué tenía razón.

Acto 1 — El ganador tentador

La familia de estrategias es deliberadamente ordinaria: un cruce de medias móviles de Hull, evaluado sobre barras cerradas, con un modelo de ejecución honesto (decidir en el cierre de la barra i, ejecutar en la apertura de i+1 — la disciplina de una barra en la que esta serie no transige). "Doble timeframe" significa que la señal está condicionada por la tendencia de un timeframe más lento; "triple" añade un tercero, más lento todavía. Cada timeframe añade parámetros libres, y los parámetros libres son exactamente lo que una búsqueda convierte en rendimiento aparente.

El estudio sobre un solo símbolo se ejecutó en ETHUSDT. El protocolo ya era del tipo bueno: una partición walk-forward rodante (una ventana de warmup, varios folds dentro de muestra, una ventana de test fuera de muestra), más una ventana final de holdout que la búsqueda tenía prohibido tocar hasta el final. Una búsqueda Sobol/QMC exploró el espacio de parámetros; el superviviente fue la configuración con la mejor puntuación walk-forward, y se llevó una vez — exactamente una — al holdout.

El superviviente parecía una ventaja:

• +16.35% en la ventana de test fuera de muestra — datos usados solo para puntuar configuraciones, nunca para ajustarlas.
• +2.62% en el holdout intacto — un segundo muro, superado.

Este es el momento que decide si un proceso de investigación es honesto o teatral. La ganancia fuera de muestra es real en el sentido estrecho de que los números no están fabricados y no hay fuga de look-ahead — lo comprobamos. Pero "números reales, sin fuga" es un listón mucho más bajo que "ventaja real". Entre ambos se encuentra el tema de toda esta serie: la selección. No evaluamos una estrategia y descubrimos que ganaba un 16%. Evaluamos un número enorme de estrategias y reportamos el 16% de la mejor. La ventana fuera de muestra estaba limpia de look-ahead, pero no estaba limpia de selección — porque elegimos al ganador en parte por cómo le fue ahí. El único instrumento capaz de distinguir esas dos historias es uno que sabe cuántas veces miramos.

Acto 2 — La deflación: ~37,000 pruebas, DSR = 0.00

Cuenta las miradas. Entre los folds, las combinaciones de timeframes y la malla de parámetros, la búsqueda de doble timeframe evaluó del orden de 37,000 configuraciones distintas. Cada una de ellas es una extracción del espacio de estrategias, y la búsqueda se quedó con el máximo. El artículo sobre el ratio de Sharpe deflactado tiene la derivación completa, pero el único hecho que necesitas aquí es el Teorema de la Estrategia Falsa (Bailey y López de Prado): el Sharpe máximo esperado de N estrategias con ventaja verdadera cero crece con N. Con N ≈ 30,000, el mejor del ruido puro se sitúa unas cuatro desviaciones estándar por encima de cero puramente por selección. Cuatro sigmas parecen un descubrimiento. Son la sombra de la búsqueda.

Así que la pregunta correcta no es "¿el Sharpe del ganador es positivo?" — claro que lo es, elegiste el máximo. La pregunta correcta es "¿el Sharpe del ganador supera lo que publicaría el más afortunado de 37,000 lanzadores de moneda?" Eso es exactamente lo que calcula el DSR: mueve el punto de referencia desde cero hasta el techo de ruido implicado por el número de pruebas, y reporta la probabilidad de que el Sharpe verdadero supere ese nivel.

La trayectoria fuera de muestra del ganador de ETHUSDT corresponde a un Sharpe diario de aproximadamente 0.19. Por sí solo, un SR diario de 0.19 sobre una ventana larga es un número perfectamente respetable. Deflactado contra ~37,000 pruebas, se evapora:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Cero. No "marginal", no "0.4, vigílalo". El DSR dice: dada la intensidad con la que buscamos, un Sharpe diario de 0.19 es indistinguible de la mejor extracción de ruido puro. El +16.35% fuera de muestra y el +2.62% del holdout son consistentes, hasta la precisión que este test puede resolver, con una estrategia que no tiene ventaja alguna y que simplemente ganó una lotería con 37,000 boletos.

Una sutileza que vale la pena señalar, porque no queremos exagerar la deflación: los puntos vecinos de una malla de parámetros son casi duplicados, así que el número de pruebas bruto sobrecuenta las miradas independientes. Nuestro filtro usa el número efectivo de pruebas — pruebas agrupadas por correlación de retornos mediante ONC (López de Prado y Lewis) antes de deflactar — precisamente para no rechazar una ventaja real por una razón contable. Incluso con esa corrección incorporada, el ganador de ETHUSDT no sobrevive. Cuando un resultado marca DSR 0.00, el matiz del N efectivo no lo va a rescatar; está en lo profundo del ruido.

Eso podría haber sido el final. Un símbolo, una búsqueda, deflactada a nada. Pero que el DSR falle en un solo símbolo deja un resquicio por el que un optimizador decidido siempre intentará colarse: quizá ETHUSDT es simplemente un símbolo difícil, y la configuración es real en otros mercados. Para cerrar ese resquicio hay que cambiar el eje del test.

Acto 3 — El test decisivo: la robustez es entre instrumentos

Una búsqueda sobre un solo símbolo tiene una debilidad estructural incluso cuando es perfecta en todo lo demás: su único eje fuera de muestra es el tiempo. Puede decirte que la configuración aguantó en una ventana posterior de ETHUSDT — pero no puede decirte si la configuración aprendió algo sobre los mercados o algo sobre ETHUSDT en concreto. El sobreajuste (overfitting) a un instrumento es invisible para un test que nunca sale de ese instrumento.

Así que cambiamos el objetivo. En lugar de "el mejor en ETHUSDT fuera de muestra", la caza entre instrumentos pide generalistas: configuraciones que sean buenas a la vez en muchos símbolos. El protocolo:

• Cinco majors líquidos: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — aproximadamente 1.18 millones de barras de 1 minuto cada uno, una ventana de calendario compartida, un conjunto de particiones compartido (warmup → K folds dentro de muestra → test → un holdout intacto).
• Un objetivo robusto: puntuar cada configuración con el resultado walk-forward de cada símbolo, y luego ordenar por la mediana entre símbolos. La mediana es la clave — una configuración espectacular en una moneda y terrible en cuatro no puede comprarse la entrada con un único valor atípico. Para ser seleccionada, tiene que ser al menos pasable en la mayoría.
• Una matriz de retornos de cartera para los filtros: los retornos diarios de cada prueba forman una cartera equiponderada entre los cinco símbolos (1/S del capital cada uno), lo que produce la matriz de rendimiento T×N que consumen los filtros de DSR y PBO-CSCV.
• El holdout se toca una sola vez, y solo por el campeón robusto de cada modo.

Este es un test estrictamente más duro que el de un solo símbolo, y de forma deliberada. Una configuración puede ganar la búsqueda de ETHUSDT explotando la idiosincrasia de una moneda; no puede ganar así la búsqueda por mediana entre cinco. Si existe una ventaja robusta en esta familia de estrategias, este es el montaje que la encuentra. Si no existe, este es el montaje que lo dice sin pestañear.

Acto 4 — El veredicto: ambos timeframes fallan los filtros

Ejecutamos la caza entre instrumentos en ambas configuraciones y pasamos cada campeón robusto por los filtros. Los filtros son los dos estándar: DSR ≥ 0.95 (deflactado contra el número efectivo de pruebas) y PBO ≤ 0.2 (de CSCV sobre la matriz de rendimiento). Aquí está el veredicto completo, honestamente:

Ambos fallan, ambos filtros, ambos modos. Lee cada número con la calibración que establecieron los artículos anteriores, porque los dos filtros están diciendo cosas distintas y coinciden:

• DSR 0.24 (doble), 0.14 (triple). El DSR es la probabilidad de que el Sharpe verdadero supere el techo de ruido implicado por la búsqueda. Necesitamos 0.95. Obtuvimos 0.24 y 0.14 — apenas una probabilidad de uno entre cuatro y de uno entre siete de que la ventaja sea siquiera positiva una vez que cuentas cuántas configuraciones se probaron. Añadir el tercer timeframe lo hizo peor, no mejor: más parámetros, más formas de ajustarse a la muestra, menos que generaliza. Esa inversión es en sí misma una huella dactilar del sobreajuste.

• PBO 0.264 (doble), 0.327 (triple). Recuerda el único hecho que todo el mundo malinterpreta sobre el PBO (tratamiento completo aquí): su valor nulo es 0.5, no 1. El PBO es la probabilidad de que el ganador dentro de muestra caiga en la mitad inferior fuera de muestra. Una selección digna de confianza se sitúa cerca de 0; un puro lanzamiento de moneda se sitúa en 0.5. Nuestros 0.264 y 0.327 están por debajo de 0.5 — la selección no es literalmente un lanzamiento de moneda, hay un tenue susurro de señal — pero ambos están muy por encima del 0.2 que exigimos para llamar fiable a la selección. Y de nuevo el triple (0.327) está más cerca de la línea del lanzamiento de moneda que el doble (0.264): más complejidad, menos generalización.

Los dos instrumentos son ortogonales — el DSR es paramétrico y pone precio al ganador, el PBO es no paramétrico y pone precio al procedimiento — y convergen en la misma respuesta desde direcciones opuestas. No hay lectura de esta tabla en la que alguna de las dos estrategias supere el listón. El +16.35% que inició toda esta caza no tiene un primo robusto entre instrumentos. Fue una propiedad de una moneda y de una búsqueda.

Acto 5 — Sigue al campeón, símbolo por símbolo

Los filtros agregados te dicen que una estrategia falló; el desglose por símbolo te dice cómo, y el cómo es la parte más instructiva de todo el estudio. Toma al campeón de triple timeframe — la configuración que el objetivo de mediana entre cinco realmente coronó — y mira lo que hizo en la ventana de test fuera de muestra de cada símbolo:

Ahí está toda la ilusión, expuesta en cinco filas. El campeón es rentable en exactamente uno de los cinco símbolos — SOLUSDT, con un llamativo +14.74% — y negativo en los otros cuatro. No es un generalista que resulta ser débil. Es un especialista en SOL disfrazado de cartera. El único gran positivo hace todo el trabajo; el objetivo de mediana lo degradó por debajo del ganador bruto de ETHUSDT precisamente porque la mediana se niega a dejarse engañar por un único valor atípico, pero incluso el campeón seleccionado por mediana resulta apoyarse casi por completo en una sola moneda en cuanto lo desmontas.

El holdout — la ventana contra la que nadie tenía permitido optimizar — cuenta la misma historia desde el mirador más limpio posible: entre los cinco majors, el retorno del campeón en el holdout es positivo en solo 1 de 5 símbolos. Si esto fuera una ventaja real de la familia de estrategias, aparecería, al menos débilmente, en los datos intactos de más de un instrumento. Aparece en uno. Esa es la firma de una configuración que aprendió un símbolo, no un mercado.

Por eso el eje entre instrumentos era el test decisivo y no un mero extra deseable. El DSR de un solo símbolo ya había deflactado ETHUSDT a cero. Pero hizo falta el diseño de mediana entre cinco para diagnosticar el fallo — para mostrar que la ventaja aparente nunca estuvo distribuida entre instrumentos, que era una propiedad de la moneda que la búsqueda sobreajustara en esa ejecución concreta. En ETHUSDT era de ETHUSDT; en la caza por mediana migró a SOLUSDT. La ventaja se movió. Las ventajas reales no se mueven así.

Por qué un resultado negativo es el resultado correcto

Vale la pena ser explícito sobre lo que estamos afirmando y lo que no, porque "no encontramos ventaja" es fácil de malinterpretar como falsa modestia o como una confesión de incompetencia. No es ninguna de las dos.

No estamos afirmando que los cruces de HMA no puedan funcionar nunca, ni que estas cinco monedas sean impredecibles, ni que no exista ninguna estrategia de doble/triple timeframe. Estamos afirmando algo más estrecho y mucho más fuerte: dentro de esta familia de estrategias, sobre estos datos, a esta intensidad de búsqueda, no hay ninguna configuración cuyo rendimiento aparente sobreviva a la corrección por el número de cosas que probamos. Todo lo que parecía una ventaja está dentro de la banda de confianza del mejor del ruido. Esa es una afirmación precisa, falsable y defendible — y es la correcta para publicar.

La tentación que la maquinaria derrota es enorme, y tiene nombre en todos los demás campos: el problema del cajón de archivos (file-drawer problem). Los resultados negativos se entierran; los positivos se redactan. En el trading el incentivo es aún más afilado, porque el resultado positivo que no deflactaste no es solo un mal artículo — es capital desplegado contra el ruido, dinero real pagando comisiones reales por operar un boleto de lotería que confundiste con una señal. El artículo sobre look-ahead mostró una fuga fabricando un Sharpe de 15; el artículo sobre el DSR mostró una búsqueda fabricando un Sharpe de 1.63 a partir de ruido puro sin fuga alguna. Este artículo es lo que ocurre cuando esos instrumentos se apuntan a tu propia idea favorita y se les pide honestidad. El aparato — DSR, PBO/CSCV, clustering de N efectivo, selección entre instrumentos — no existe para bendecir tus estrategias. Existe para impedir que despliegues el mejor del ruido como alfa, y la única prueba de que funciona es que a veces dice que no.

Un equipo sin este aparato habría desplegado el +16.35%. Habría tenido un walk-forward de aspecto limpio, un holdout positivo, ninguna fuga de look-ahead detectable y una historia plausible. Habría estado equivocado, y no lo habría sabido hasta que el P&L en real divergiera — la brecha entre backtest y real que un resultado negativo pero honesto nunca tiene que explicar, porque nunca salió a real. El valor de un no riguroso se mide en los drawdowns que nunca sufriste.

Procedencia

Cada número de este artículo se remonta a código, no a narrativa. La caza de ventaja entre instrumentos — la carga de los cinco símbolos, las particiones compartidas, el objetivo de mediana entre símbolos, la matriz de cartera equiponderada alimentada a los filtros — vive en scripts/edge_hunt_multitf.py (commit acd84e8) en el repositorio del backtester. Los filtros estadísticos que invoca — Sharpe probabilístico y deflactado, longitud mínima de track record, N efectivo mediante clustering ONC, y PBO mediante CSCV, todos implementados desde cero sobre NumPy/SciPy contra las fuentes primarias en lugar de una librería de caja negra — están en scripts/overfit_gates.py (commit 7b966e1), que incluye un self-test que planta una ventaja conocida en ruido puro y confirma que los filtros la aprueban y rechazan el ruido. El estudio de un solo símbolo sobre ETHUSDT que produjo el tentador +16.35% salió del arnés anterior bench_search_multitf, que la caza importa en modo de solo lectura. Nada de esto es una cifra calculada a mano; los filtros son la misma ruta de código tanto si la respuesta es sí como si es no.

Conclusiones

1. Ejecutamos decenas de miles de backtests sobre cinco majors, en doble y triple timeframe, y no encontramos ninguna ventaja robusta — y ese es el resultado que la maquinaria está construida para producir. Un resultado negativo, rigurosamente establecido, es un hallazgo, no un fracaso.
2. Un número fuera de muestra de aspecto limpio no es una ventaja. El ganador de ETHUSDT anotó +16.35% fuera de muestra y +2.62% en un holdout intacto, sin fuga de look-ahead — y se deflactó a DSR 0.00 en cuanto se contaron las ~37,000 pruebas que había detrás. Lo fuera de muestra descarta el look-ahead; solo la deflación descarta la selección.
3. El Teorema de la Estrategia Falsa es la razón. Con ~30,000 pruebas, el mejor del ruido puro se sitúa unas cuatro sigmas por encima de cero solo por selección. Un Sharpe diario de 0.19 es exactamente lo que paga esa lotería. Debes comparar a tu ganador con el techo de ruido, nunca con cero.
4. La robustez vive entre instrumentos, no solo a través del tiempo. Seleccionar por la mediana entre cinco símbolos convirtió una ilusión de una sola moneda en una ilusión diagnosticable: doble DSR 0.24 / PBO 0.264, triple DSR 0.14 / PBO 0.327 — ambos fallan ambos filtros, y el triple (más parámetros) es peor que el doble en todas las métricas.
5. Desmonta al campeón antes de confiar en él. El campeón "de cartera" de triple timeframe fue rentable en 1 de 5 símbolos (SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%) y positivo en el holdout solo en 1 de 5. Una ventaja que vive en un instrumento y se mueve cuando repites la búsqueda no es una ventaja — es un sobreajuste disfrazado de cartera.
6. Publica el negativo. El aparato anti-sobreajuste — DSR, PBO/CSCV, N efectivo, selección entre instrumentos — vale la pena tenerlo precisamente porque a veces te dice no, y la disciplina consiste en escucharlo cuando lo hace.

La estrategia que más queríamos que funcionara no funcionó. Los instrumentos que construimos para detectarlo nos lo dijeron, de cuatro maneras independientes, antes de que un solo dólar estuviera en riesgo. Ese es el sentido de toda la serie, y este es el artículo donde ese sentido se cobra: la maquinaria se gana el sueldo el día que te detiene — no el día que te halaga.