El número dejó de decir la verdad en el momento en que lo perseguí

En algún momento empecé a medir mi propio avance con unos pocos números simples: cuántos experimentos había ejecutado, cuántas cosas había probado, cuánto terreno sentía que estaba cubriendo. Esto parecía del todo razonable; no puedes mejorar lo que no mides, y yo quería alguna señal honesta de si de verdad estaba avanzando. Luego empecé a intentar que esos números subieran. Y en el momento en que lo hice, dejaron en silencio de significar lo que habían significado.

Resulta que este es uno de los modos de fallo más fiables y menos intuitivos que existen. No se trata de pereza ni de deshonestidad. Es algo estructural que ocurre casi automáticamente en el instante en que conviertes una medición en una meta, y yo caí de lleno en ello con la mejor de las intenciones.

Observar un número y perseguir un número son actos distintos

Aquí está la distinción que se me había escapado por completo. Una métrica, mientras te limitas a observarla, puede ser una señal genuinamente honesta de algo real. Miras el número, refleja la realidad subyacente razonablemente bien y te dice cosas útiles. En ese modo, es un termómetro: una lectura fiel de un estado que te importa.

Sin embargo, en el instante en que empiezas a optimizarla, algo cambia. Ahora estás alterando tu propio comportamiento específicamente para mover el número, lo que significa que tu comportamiento empieza a servir al número en lugar de a aquello que el número se suponía que representaba. Observar y apuntar a un objetivo no son dos intensidades del mismo acto. Son actos distintos, con efectos opuestos sobre la fiabilidad de la medición. Uno lee el mundo; el otro reescribe en silencio tus incentivos.

Esto tiene nombre

Más tarde aprendí que este patrón es lo bastante conocido como para tener un nombre asociado: cuando una medida se convierte en un objetivo, deja de ser una buena medida. El número era útil precisamente porque no lo estabas manipulando. La correlación entre el indicador indirecto y la realidad que representaba se mantenía solo mientras no estuvieras presionando activamente sobre el indicador. Empieza a presionar y romperás el vínculo mismo que hacía que valiera la pena observar el número en primer lugar.

Lo que me llamó la atención de esto, una vez que lo vi, es lo cerca que está de ser una ley. No es una advertencia sobre debilidad de carácter ni sobre pensamiento descuidado. Le ocurre a personas cuidadosas y bienintencionadas, de forma automática, como una consecuencia casi mecánica de que la optimización se encuentre con un indicador indirecto. Conocerlo no te hace inmune. Solo te da un nombre para aquello que ya te está pasando.

Mi propia versión: optimizar el movimiento en lugar del avance

Mi versión concreta era casi vergonzosamente nítida. Había tomado algo así como el “número de experimentos ejecutados” como sustituto del avance, lo cual no es descabellado a primera vista: más experimentos, más aprendizaje, más o menos. Luego empecé a optimizarlo. Ejecuté más experimentos, más pequeños, más rápidos, del tipo que con fiabilidad empujaría la cuenta hacia arriba.

Y la cuenta subió de maravilla. Trepó de una forma que se sentía estupenda y que, en cualquier panel, parecía la de alguien logrando un avance excelente. El avance real no trepó con ella, porque en algún punto había empezado a elegir experimentos por su efecto sobre la métrica en lugar de por su valor real, favoreciendo los rápidos, contables y seguros sobre los lentos, ambiguos y genuinamente informativos. Había tomado un termómetro, lo había convertido en una meta, y luego me sentía confundido de que medir la habitación hubiera dejado de decirme lo cálida que estaba. Estaba calentando el termómetro, no la habitación.

Todo indicador indirecto tiene holgura, y la optimización la encuentra al instante

Vale la pena entender el mecanismo de fondo, porque se generaliza a cualquier métrica que vayas a usar. Un indicador indirecto es un indicador indirecto precisamente porque está correlacionado con aquello que te importa sin ser idéntico a ello. Y allí donde dos cosas están correlacionadas pero no son idénticas, hay holgura entre ellas: formas de mover una sin mover la otra, huecos donde el indicador y la realidad se separan.

La observación suave nunca encuentra esa holgura; no tiene motivo para hacerlo. Pero la optimización dura la encuentra casi de inmediato, porque localizar la forma más barata posible de mover el número es exactamente lo que la optimización hace. Esa es toda su función. Así que cuanto más presiones sobre cualquier indicador indirecto, con más fiabilidad descubrirás y explotarás los puntos precisos donde diverge de lo que realmente querías, es decir, cuanto más presiones, más rápido vacías la medida por dentro. El esfuerzo aplicado a un indicador indirecto es una máquina de encontrar holgura.

La crueldad es que se siente exactamente como ganar

La peor característica de esta trampa es cómo se siente desde dentro. Manipular un indicador indirecto se siente indistinguible de tener éxito, porque el número, tu evidencia principal de éxito, está subiendo. Obtienes la sensación completa del avance, toda la satisfacción, el impulso y la tranquilidad, mientras la cosa real subyacente se estanca o retrocede en silencio.

Esto es lo que lo hace tan difícil de detectar en uno mismo. La métrica se suponía que era tu sistema de alerta temprana, tu conexión con la realidad, y ahora aquello mismo que debería avisarte del problema es lo que te asegura que todo va bien. Está diseñada para reconfortarte, y sigue reconfortándote en el momento exacto en que ha dejado de ser verdad. No solo te engañan; te engaña el instrumento en el que confiabas específicamente para que no te engañara.

Mantener honesta una medida

No puedes escapar del todo de esto, pero sí encontré maneras de resistirlo. Sostén las métricas con holgura, como señales imperfectas que hay que interpretar en lugar de objetivos que hay que maximizar: el solo enmarcado ya importa. Observa varios indicadores indirectos distintos a la vez, de modo que manipular cualquiera de ellos aparezca como una divergencia sospechosa entre ellos. Y, lo más importante, ve periódicamente a mirar directamente la cosa real subyacente, detrás del número, para comprobar con tus propios ojos que el indicador no se ha alejado de la realidad que dice representar.

El hilo común en todo eso es negarse a dejar que un número se convierta en la meta. En el momento en que una sola métrica es ascendida de “señal útil” a “lo que estamos maximizando”, comienza su silenciosa transformación de ventana al mundo a cosa que decoras. La defensa es no concederle nunca a ninguna medida ese ascenso.

La lección más profunda: el mapa que optimizas es el mapa que miente

Todo se reduce a esto. Una métrica es un mapa de algo que de verdad te importa. Mientras uses el mapa para ver el territorio, te sirve. Pero en el instante en que empiezas a optimizar el mapa mismo —mejorar el dibujo en lugar del lugar—, el mapa comienza, necesariamente, a divergir del territorio, porque has redirigido todo tu esfuerzo hacia la representación y lejos de la cosa representada.

Así que ahora intento medir para ver, no para perseguir. El número es una ventana hacia algo real. Y en el momento en que empiezas a pulir y decorar la ventana para que se vea mejor, has dejado de poder ver a través de ella por completo. La vista era todo el propósito. La ventana nunca debió ser aquello en lo que trabajabas.

— Sin señales, sin retornos, esto no es asesoría de inversión.