No Pude Reproducir Mi Propio Mejor Resultado

El resultado más inquietante que jamás produje fue uno que nunca pude volver a producir. Hubo una única ejecución, al principio, que arrojó un número muchísimo mejor que cualquier cosa que hubiera visto antes. Estaba eufórico. Y luego, cuando fui a construir sobre él, había desaparecido — y no había anotado ni de lejos lo suficiente como para poder encontrar el camino de vuelta. Pasé las semanas siguientes persiguiendo un fantasma que yo mismo había creado y luego perdido por descuido.

Sigue siendo uno de los fracasos más instructivos de todo el proyecto, porque la lección no tenía que ver en absoluto con los mercados ni con los modelos. Tenía que ver con la diferencia entre hacer ciencia y limitarse a producir números.

El resultado que no pude recuperar

En los primeros días, antes de tener disciplina alguna, ejecutaba los experimentos de forma descuidada. Cambiaba varias cosas a la vez, echaba un vistazo a la salida, cambiaba algunas más y seguía adelante. No registraba con cuidado exactamente qué configuración había producido qué resultado; simplemente iteraba rápido y confiaba en que recordaría las partes importantes. No fue así.

Así que cuando una ejecución arrojó un resultado drásticamente mejor que el resto, tenía un problema cuyo tamaño aún no comprendía. Fui a reproducirlo, a confirmarlo y construir sobre él — y no pude. Volví a ejecutar lo que creía que eran las mismas condiciones, más o menos, de memoria. La magia nunca volvió a aparecer. Había producido algo genuinamente emocionante exactamente una vez, y luego lo había encerrado tras una puerta cuya llave había tirado sin darme cuenta.

Un resultado que no puedes reproducir no es un resultado

La dura constatación, cuando por fin llegó, fue sombría y esclarecedora a partes iguales. Un número que no puedes reproducir a voluntad no te dice casi nada. ¿Era ese gran resultado una mejora real? ¿Una tirada afortunada de los dados aleatorios? ¿Un fallo que ocurrió, esa única vez, para halagarme? Sin manera de volver a ejecutar las condiciones exactas que lo produjeron, no tenía forma de distinguir entre estas posibilidades.

Y son cosas tremendamente distintas. Una es un descubrimiento que vale la pena cimentar con un año de trabajo. Otra es ruido que debería olvidar de inmediato. Una tercera es un error que debería rastrear y corregir. En mi montaje chapucero se habían fundido en un único número irreproducible que podría haber sido cualquiera de ellos — y yo había estado a punto de apostar un esfuerzo serio sobre él. Un hallazgo que no puedes regenerar no es evidencia. Es un rumor que da la casualidad de que presenciaste.

El estado oculto que vuelve las cosas irreproducibles

Lo que no había sabido apreciar es cuántas cosas invisibles determinan en silencio un resultado. La semilla aleatoria que lo inicializa todo. La versión exacta de los datos, hasta el detalle de lo que se había limpiado o no ese día. Cada valor de la configuración. El estado preciso del código en ese momento concreto, incluidos cambios que no había confirmado en ninguna parte. El orden en que las cosas se ejecutaron.

Cambia cualquiera de estos, aunque sea en silencio, aunque sea por accidente, y el resultado puede desplazarse. Yo no había fijado ninguno. Mi “experimento” era una sopa burbujeante de piezas en movimiento, y yo había estado tratando su salida como si fuera una medición limpia y repetible tomada de un instrumento calibrado. No era nada de eso. Era un suceso único en un sistema que no controlaba del todo y que no me había molestado en registrar.

El determinismo es una decisión que tienes que tomar

La verdad incómoda es que la reproducibilidad no ocurre por sí sola. No es el estado por defecto de un sistema complejo; el estado por defecto es el caos, la deriva y la irreproducibilidad silenciosa. Si quieres poder ejecutar lo mismo dos veces y obtener la misma respuesta, tienes que diseñar deliberadamente esa propiedad.

Eso significa fijar las semillas para que la aleatoriedad esté al menos controlada. Versionar los datos para saber con precisión sobre qué entrenaste y probaste. Registrar la configuración exacta y el código exacto junto a cada resultado, para que un número nunca quede huérfano. Convertir una ejecución en algo que puedas volver a ejecutar de forma idéntica, a propósito, cuando quieras. Nada de esto es un trabajo glamuroso. Todo ello es la diferencia entre la ciencia y la conjetura instruida disfrazada de ciencia.

La aburrida disciplina que lo arregló

La cura, cuando por fin la adopté, era casi insultantemente aburrida. Empecé a tratar cada experimento como algo que tenía que poder reconstruirse a partir de un registro. Qué datos. Qué código. Qué ajustes. Qué produjo qué. Si un resultado no estaba ligado a suficiente información como para regenerarlo, entonces, por lo que a mí respectaba, el resultado no existía.

Esto se sintió, al principio, como pura burocracia — una sobrecarga que estorbaba al trabajo real y emocionante. Pero no era sobrecarga. Era precisamente aquello que convertía mi frenético y olvidable manoteo en algo que de verdad podía acumularse. Antes, cada resultado se evaporaba en cuanto seguía adelante. Después, los resultados se apilaban en un registro en el que podía confiar, comparar y sobre el que construir. La burocracia era la ciencia.

Por qué esto importa aquí más que casi en cualquier otro sitio

Hay una razón por la que esta disciplina es especialmente implacable de ignorar en un dominio como este. El entorno es extraordinariamente ruidoso, lo que significa que el azar produce constantemente números preciosos que no significan absolutamente nada. Las casualidades no son raras aquí; son una llovizna constante. Si no puedes reproducir un resultado, no tienes forma de separar una señal genuina de uno de estos accidentes afortunados — y perseguir accidentes afortunados, confundiéndolos con descubrimientos, es una de las maneras más eficientes que conozco de verter meses de esfuerzo en la nada.

El mejor resultado irreproducible es el cebo perfecto. Es exactamente el tipo de cosa que parece un gran avance y que es, mucho más a menudo, solo el ruido sonriéndote una vez.

La lección más profunda: confía en los registros, no en los recuerdos

Lo que en última instancia saqué de esto es una profunda desconfianza hacia cualquier resultado que viva únicamente en mi memoria o en una captura de pantalla. La memoria se edita a sí misma. Redondea hacia arriba, olvida las salvedades, recuerda el número y pierde las condiciones. Un resultado sin un linaje reconstruible no es un hallazgo; es una anécdota, y las anécdotas son exactamente lo que este dominio utiliza para arruinar a la gente.

Así que ahora la primera pregunta que me hago sobre cualquier resultado emocionante no es “¿qué tan bueno es?”. Es “¿puedo recuperarlo, con precisión, a voluntad?”. Si la respuesta es no, entonces aún no importa lo bien que se viera, porque en realidad no sé qué tengo. Hasta que un resultado pueda reproducirse, no es un descubrimiento que me pertenezca. Es solo un número que vi una vez, y los números que vi una vez no valen nada aquí.

— Sin señales, sin rendimientos, esto no es asesoramiento de inversión.