El error era cuánto me esforcé en buscar

Durante un tiempo, medí mi propia seriedad por el tamaño de mi búsqueda. Probé cientos de millones de configuraciones de una estrategia y, después, cuando eso me parecía insuficiente, miles de millones. Estaba orgulloso del número. Se sentía como rigor — como si no estuviera dejando ninguna posibilidad sin examinar.

Estaba más cerca de lo contrario del rigor. El tamaño descomunal de la búsqueda no me estaba ayudando a encontrar una ventaja. Estaba fabricando un espejismo, y cuanto más grande lo hacía, más convincente se volvía el espejismo.

El orgullo que debería haber sido una advertencia

Solía mencionar la escala de mi búsqueda de la misma manera en que uno podría mencionar cuántas horas trabajó: como evidencia de esfuerzo, de minuciosidad, de tomarse el problema en serio. Cientos de millones de combinaciones evaluadas. Luego más. Hay una satisfacción real en señalar un número tan grande y decir, en efecto, mira qué exhaustivamente busqué.

La satisfacción era el problema. Había confundido silenciosamente el tamaño de la búsqueda con la calidad del resultado, y esas dos cosas no solo no están relacionadas — pasado cierto punto, tiran en direcciones opuestas.

Lo que en realidad hace una búsqueda gigantesca

Aquí está el mecanismo incómodo. Toma cualquier porción fija de la historia y prueba contra ella suficientes estrategias distintas, y algunas de ellas se verán espectaculares — no porque sean buenas, sino porque, de entre millones de intentos, unas pocas seguramente coincidirán con los accidentes particulares del pasado por pura suerte. Cuantas más configuraciones pruebas, más seguro te vuelves de encontrar una de estas casualidades, y más extrema parecerá la casualidad más afortunada.

Así que una búsqueda gigantesca no saca a la luz de forma fiable la mejor estrategia real. Lo que saca a la luz de forma fiable es la coincidencia que mejor se ajusta — la configuración modelada con mayor precisión a las peculiaridades aleatorias de los datos exactos sobre los que buscaste. Y te presenta esa coincidencia luciendo los resultados más hermosos que jamás hayas visto.

Esta trampa tiene nombre

Nada de esto es nuevo. Es una de las trampas más manidas de toda la estadística, con un pequeño museo de nombres: comparaciones múltiples, dragado de datos, p-hacking. El núcleo es siempre el mismo. Prueba una hipótesis, y un resultado fuerte lleva información. Prueba mil millones contra los mismos datos, y la probabilidad de encontrar un resultado aparentemente excepcional solo por azar puede volverse muy alta — haya o no algo real ahí. Con suficientes intentos, “excepcional solo por suerte” deja de ser algo improbable.

Estaba ejecutando un experimento de mil millones de hipótesis y leyendo al ganador como si fuera un único descubrimiento ganado con esfuerzo. No lo era. Era el ruido más fuerte en una sala muy grande.

Por qué se sentía como lo contrario del overfitting

La parte cruel es lo virtuoso que se sentía. “No dejar piedra sin remover” se supone que es un buen consejo. Pero no dejar piedra sin remover contra un único conjunto de datos fijo es una de las maneras más seguras de garantizar que, tarde o temprano, removerás una piedra que, por azar, resulta tener la forma de un tesoro. La minuciosidad contra una sola muestra no es lo mismo que el rigor. A menudo es simplemente comprarte más y más oportunidades de ser engañado, y luego quedar impresionado cuando una de ellas da resultado.

Pensaba que estaba siendo cuidadoso. Estaba siendo cuidadoso en la única dirección que empeoraba las cosas.

La señal reveladora: el ganador nunca sobrevivía al contacto

La firma solía ser la misma, una vez que aprendí a buscarla. La configuración que ganaba la búsqueda enorme se veía increíble sobre los datos contra los que había sido seleccionada, y luego se desmoronaba poco después de encontrarse con datos sobre los que no había sido elegida. Ese colapso puede no ser mera mala suerte. Es una señal de advertencia común de que la búsqueda encontró una coincidencia — fuerte dentro de la muestra, porque dentro de la muestra es exactamente lo que fue optimizada para ajustar, y más débil fuera de la muestra, porque la coincidencia puede no repetirse de forma fiable. (Un cambio real en las condiciones o un simple error también pueden causar un colapso; la selección sobre una búsqueda enorme es solo un sospechoso principal.)

Una mitigación: restringir la búsqueda, proteger los datos de validación

La reparación tenía dos mitades. La primera fue dejar de tratar el tamaño de la búsqueda como una virtud — ejecutar exploraciones más pequeñas y deliberadas, impulsadas por alguna razón para esperar que una configuración funcione, en lugar de barridos ciegos y vastos que simplemente minan los datos en busca de lo que sea que se ajuste. La segunda, y más importante, fue insistir en que cualquier ganador mostrara evidencia de robustez sobre datos que nunca se le permitió ver mientras estaba siendo seleccionado — sabiendo que incluso un conjunto de retención limpio, consultado con demasiada frecuencia, deja poco a poco de estar limpio.

Esa segunda regla es buena parte del juego. La pregunta que importa no es “¿cuál es la cosa de mejor aspecto que puedo encontrar en el pasado?” Cualquiera con suficiente cómputo puede encontrar algo de buen aspecto en el pasado; el pasado es finito, y una búsqueda lo bastante grande terminará ajustándose a sus accidentes. La pregunta que importa es “¿sobrevive la mejor cosa que encontré a un tramo de datos al que no podría haber sido moldeada en absoluto?” Casi todo lo que mis búsquedas gigantescas sacaron a la luz falló esa pregunta, y el fracaso estuvo entre los resultados más útiles que jamás produjeron.

Más cómputo no es más verdad

La lección que conservo es una corrección silenciosa a un instinto que se siente casi irresistible en este campo: que si no estás encontrando una ventaja, simplemente necesitas buscar con más empeño — más configuraciones, más cómputo, más fuerza bruta. Para algunos problemas ese instinto es correcto. Para el problema de encontrar una ventaja real y duradera en datos ruidosos, a menudo está más cerca de estar al revés. Más fuerza bruta no necesariamente te acerca a la verdad. A veces solo le da al ruido más entradas en el concurso — y el ruido, con suficientes entradas, tiende a ganar algo.

Una de las cosas más honestas que una búsqueda hizo por mí fue regresar, tras un número enorme de intentos, sin nada que sobreviviera. Me tomó un tiempo vergonzosamente largo entender que esto no era un fracaso de la búsqueda. Era la búsqueda, por fin, diciéndome la verdad.

— Sin señales, sin retornos, esto no es asesoramiento de inversión.