Permutación de parámetros en StrategyQuant X (SPP): detecta el sobreajuste de parámetros

Permutación de parámetros SPP en StrategyQuant X: comparación entre una estrategia con parámetros estables y otra con resultados excepcionales alejados de la mediana.

Cuando StrategyQuant genera una estrategia, también elige sus parámetros: el periodo de un indicador, un multiplicador, un umbral. Con miles de combinaciones probadas, existe un riesgo claro: que el sistema que veo funcione solo con esa combinación exacta y que valores muy cercanos lo destruyan.

La permutación de parámetros del sistema (System Parameter Permutation, SPP) intenta responder a una pregunta sencilla: ¿he encontrado una estrategia robusta o simplemente una combinación de parámetros excepcionalmente buena?

Es el último filtro que aplico dentro de StrategyQuant X. En el proyecto de ejemplo de la visión general del proceso, 157 estrategias llegaron a esta prueba y 55 la superaron.

En este artículo te explico cómo la configuro, cómo leo la distribución de resultados y por qué no utilizo el beneficio original como expectativa futura. Es el artículo 8 de la serie, dentro de la fase de pruebas de robustez.

Qué es la permutación de parámetros del sistema (SPP)

El SPP consiste en modificar los parámetros de los indicadores de una estrategia, de forma repetida, para ver cómo cambia su resultado alrededor de los valores originales.

El resultado no es un número, sino una distribución: cada variación de parámetros produce un resultado y StrategyQuant los agrupa para que puedas ver dónde se concentran. Después comparo el resultado de la estrategia original con esa distribución.

Hay dos escenarios:

  • El resultado original queda cerca de la zona central. Otras combinaciones próximas de parámetros dan resultados parecidos. Es lo que quiero encontrar.
  • El resultado original queda muy alejado del resto. Es posible que haya encontrado una combinación excepcionalmente favorable y que pequeñas modificaciones deterioren mucho el comportamiento.

Por qué lo ejecuto al final: es una prueba lenta y exigente en cálculo. No tendría sentido lanzar 1.000 optimizaciones sobre las 3.203 estrategias iniciales cuando puedo eliminar muchas con pruebas más rápidas, como el True Out of Sample, el Monte Carlo Stress y el retest con Tick Data.

Cómo configuro la prueba

La configuración que utilizo en el proyecto de ejemplo es esta:

AjusteValor
Número de optimizaciones1.000
Variación de los parámetros de los indicadoresAproximadamente ±30 %
Estrategias de entradaLas que superaron True Out of Sample, Monte Carlo Stress y retest con Tick Data

El objetivo es dejar de utilizar exactamente los parámetros originales y probar valores cercanos.

  1. Selecciono las estrategias que han llegado hasta aquí. En el ejemplo, 157.
  2. Activo la permutación de parámetros del sistema en las pruebas de robustez.
  3. Indico 1.000 variaciones y un rango del ±30 % sobre los parámetros de los indicadores.
  4. Dejo trabajar el proceso. Es lento, y por eso es el último test dentro de StrategyQuant.
  5. Reviso para cada estrategia la distribución de resultados frente al resultado original.
Configuración de la prueba SPP en StrategyQuant X con 1.000 optimizaciones, variación de parámetros del ±30 % y filtros de robustez para seleccionar estrategias.
Configuración de la prueba System Parameter Permutation (SPP) en StrategyQuant X. Utilizo 1.000 optimizaciones con variaciones del ±30 % en los parámetros recomendados y condiciones de filtrado para comprobar la estabilidad de las estrategias.

No busco el mejor resultado posible. Busco estrategias cuyos parámetros estén dentro de una región donde pequeñas modificaciones no destruyan su comportamiento.

Cómo leo la distribución de resultados

Cuando termina la prueba, StrategyQuant muestra el resultado de las 1.000 variaciones como una distribución. Yo me fijo en tres cosas:

  • Dónde cae el resultado original respecto a la distribución.
  • La mediana de las variaciones, que me da una referencia del comportamiento habitual alrededor de los parámetros.
  • La distancia entre el resultado original y la zona donde se concentra la mayoría.

No necesito que el resultado original coincida con la mediana. Lo que busco es que forme parte de una zona razonablemente estable de parámetros.

Cuanto mayor sea la distancia entre el resultado original y la zona central, mayor precaución tengo con esa estrategia.

Comparación de dos estrategias mediante permutación de parámetros SPP en StrategyQuant X, mostrando un resultado original cercano a la mediana y otro alejado de la distribución de optimizaciones.
Comparativa de la prueba SPP: una estrategia cuyo resultado original se aproxima a la mediana de las optimizaciones frente a otra con un resultado excepcionalmente alejado. Esta diferencia permite evaluar la estabilidad de los parámetros.

El criterio con el que decido pasar o descartar es un límite de distancia a la mediana o un percentil. Normalmente entre el 125% hasta el 200% dependiendo de las salidas estadísticas de las estrategias exigo más o soy un poco más flexible.

📩 ¿Quieres recibir los próximos artículos?

Nuevas investigaciones, pruebas y recursos sobre StrategyQuant y trading algorítmico directamente en tu email.

Sin spam. Puedes darte de baja cuando quieras.

Dos casos: una zona estable y un resultado excepcional

La mejor forma de entender la prueba es comparar dos estrategias con resultados muy distintos en el SPP.

Estrategia AEstrategia B
Mediana de las variacionesAprox. 33.753 $Aprox. 19.704 $
Posición del resultado originalRelativamente cerca de la zona donde se concentran las variacionesConsiderablemente desplazado hacia la derecha de la distribución
LecturaLos parámetros están en una zona estableEl resultado original es muy superior al habitual de las configuraciones cercanas
Mi actitudMayor confianzaMayor precaución

En la estrategia B la pregunta es inevitable: ¿he encontrado una estrategia robusta o simplemente una combinación de parámetros excepcionalmente buena?

La distancia a la zona central es lo que me da la respuesta. No busco el mejor resultado posible, sino estrategias cuyo comportamiento no dependa de un valor exacto.

Por qué no utilizo el beneficio original como expectativa

Esta prueba también me ayuda a tener unas expectativas más realistas.

Imagina, a modo de ejemplo, una estrategia que obtiene aproximadamente 2.800 $ con sus parámetros originales. Después de las 1.000 variaciones descubro que la zona central de la distribución está alrededor de 1.600 $.

Yo no asumiría que esos 2.800 $ representan lo que puedo esperar de la estrategia. Me interesa más lo que ocurre alrededor de sus parámetros, porque si pequeñas variaciones producen resultados bastante inferiores, el original podría estar en una zona demasiado favorable.

Este razonamiento es importante a la hora de montar una cartera: reparto el riesgo pensando en un comportamiento esperable, no en el mejor resultado histórico de cada sistema. Lo veremos en el artículo de carteras.

Es un ejemplo con números ilustrativos, no el resultado de una estrategia real.

Resultado en el proyecto de ejemplo y errores habituales

El SPP es lento y requiere mucho cálculo, por eso lo dejo para el final. En el proyecto de ejemplo, el embudo quedó así:

FaseEstrategias
Generadas3.203
True Out of Sample1.646
Monte Carlo Stress415
Retest con datos Tick157
Permutación de parámetros55

Con esto termina la parte de StrategyQuant. Después toca comprobar las estrategias en MetaTrader 5 y decidir cuáles entran en una cartera. Lo explico en el artículo de carteras.

Errores que intento evitar con el SPP:

  • Buscar el mejor resultado de la distribución. El objetivo es una zona estable, no un máximo.
  • Mirar solo la mediana. También importa dónde cae el resultado original respecto al resto.
  • Aceptar estrategias con el original muy alejado de la distribución. Puede ser una combinación excepcional.
  • Lanzarlo sobre todas las estrategias desde el principio. Es la prueba más pesada del proceso.
  • Entender que superarlo garantiza futuro. Solo aporta una evidencia adicional.

Conclusión

La permutación de parámetros responde a una pregunta que ninguna otra prueba responde: si el resultado que veo es una zona estable o una combinación excepcional. No me interesa el mejor punto de la distribución, sino que el resultado original no esté aislado de lo que ocurre a su alrededor.

En el ejemplo, 55 de 157 estrategias superaron esta última prueba dentro de StrategyQuant. El siguiente paso es convertir esas estrategias en una cartera.

Continúa aprendiendo sobre StrategyQuant

Este artículo forma parte de una serie en la que explico paso a paso mi proceso para desarrollar, validar y seleccionar estrategias automáticas con StrategyQuant X.

Si quieres empezar desde el principio, puedes consultar Cómo crear estrategias automáticas con StrategyQuant X, donde encontrarás la visión general de todo el proceso.

A partir de ahí puedes profundizar en cada fase:

  1. Cómo crear estrategias automáticas con StrategyQuant X — Visión general
  2. Cómo hacer backtesting con StrategyQuant X
  3. Out of Sample: cómo validar estrategias en datos desconocidos
  4. Cómo elegir Building Blocks en StrategyQuant X
  5. Pruebas de robustez en StrategyQuant
  6. Monte Carlo en StrategyQuant: cómo configurarlo
  7. Tick Data en StrategyQuant y MetaTrader 5
  8. Permutación de parámetros en StrategyQuant ← Estás aquí
  9. Cómo crear una cartera de estrategias con StrategyQuant

De esta forma puedes seguir toda la metodología en orden o consultar directamente la fase que necesites.

¿Quieres aprender StrategyQuant X desde cero?

Si todavía no tienes StrategyQuant o estás empezando, puedes realizar mi curso gratuito de trading algorítmico en 10 lecciones. No necesitas comprar el software para empezar: durante la formación podrás utilizar una licencia gratuita de StrategyQuant durante 14 días para realizar las prácticas.

Si ya conoces el software y quieres aprender el proceso completo que utilizo para generar, validar, construir carteras y hacer seguimiento de sistemas: conoce la Metodología Ángel Talavera con StrategyQuant.

Si te ha gustado el artículo compártelo en tus redes.