O Número Parou de Dizer a Verdade no Momento em que Passei a Persegui-lo

Em algum momento comecei a medir meu próprio progresso com alguns números simples — quantos experimentos eu havia rodado, quantas coisas eu havia tentado, quanto terreno eu sentia que estava cobrindo. Isso parecia inteiramente razoável; não dá para melhorar aquilo que não se mede, e eu queria algum sinal honesto de que estava realmente avançando. Então comecei a tentar fazer esses números subirem. E no instante em que fiz isso, eles silenciosamente deixaram de significar o que significavam.

Acontece que esse é um dos modos de falha mais confiáveis e menos intuitivos que existem. Não tem a ver com preguiça ou desonestidade. É algo estrutural, que ocorre quase automaticamente no instante em que você transforma uma medição em uma meta, e eu caí direto nessa armadilha com as melhores intenções.

Observar um número e perseguir um número são atos diferentes

Eis a distinção que eu havia ignorado completamente. Uma métrica, enquanto você apenas a observa, pode ser um sinal genuinamente honesto de algo real. Você acompanha o número, ele reflete a realidade subjacente razoavelmente bem, e ele te conta coisas úteis. Nesse modo, ele é um termômetro: uma leitura fiel de um estado com o qual você se importa.

No instante em que você começa a otimizá-lo, porém, algo muda. Agora você está alterando seu próprio comportamento especificamente para mover o número, o que significa que seu comportamento passa a servir ao número em vez de servir àquilo que o número deveria representar. Observar e mirar não são duas intensidades do mesmo ato. São atos diferentes, com efeitos opostos sobre a confiabilidade da medição. Um lê o mundo; o outro silenciosamente reescreve seus incentivos.

Isso tem um nome

Mais tarde descobri que esse padrão é conhecido o suficiente para ter um nome associado a ele: quando uma medida se torna uma meta, ela deixa de ser uma boa medida. O número era útil justamente porque você não o estava manipulando. A correlação entre o indicador indireto e a realidade que ele representava só se mantinha enquanto você não estava ativamente forçando esse indicador. Comece a forçá-lo, e você rompe exatamente o vínculo que tornava o número digno de ser observado em primeiro lugar.

O que me impressionou nisso, uma vez que percebi, é o quão próximo de uma lei isso está. Não é um aviso sobre caráter fraco ou raciocínio desleixado. Acontece com pessoas cuidadosas e bem-intencionadas, automaticamente, como uma consequência quase mecânica do encontro entre otimização e indicador indireto. Saber disso não te torna imune. Apenas te dá um nome para aquilo que já está acontecendo com você.

Minha própria versão: otimizar o movimento em vez do progresso

Minha versão específica era quase constrangedoramente limpa. Eu havia tomado algo como “número de experimentos rodados” como substituto para progresso, o que não é absurdo à primeira vista — mais experimentos, mais aprendizado, grosso modo. Então comecei a otimizar isso. Rodei mais experimentos, menores, mais rápidos, do tipo que elevaria a contagem de forma confiável.

E a contagem subiu lindamente. Ela escalou de um jeito que parecia maravilhoso e que tinha, em qualquer painel, a cara de alguém fazendo um progresso excelente. O progresso real não subia junto, porque em algum ponto eu havia começado a escolher experimentos pelo efeito que teriam sobre a métrica, e não pelo seu valor real — favorecendo os rápidos, contáveis e seguros em vez dos lentos, ambíguos e genuinamente informativos. Eu havia pegado um termômetro, transformado em meta, e então ficado confuso por medir o cômodo ter deixado de me dizer o quão quente ele estava. Eu estava aquecendo o termômetro, não o cômodo.

Todo indicador indireto tem folga, e a otimização a encontra instantaneamente

O mecanismo por baixo disso vale ser compreendido, porque se generaliza para toda métrica que você um dia usará. Um indicador indireto é um indicador indireto justamente porque está correlacionado com aquilo que importa sem ser idêntico a isso. E onde quer que duas coisas estejam correlacionadas mas não sejam idênticas, há uma folga entre elas — formas de mover uma sem mover a outra, brechas onde o indicador e a realidade se descolam.

A observação gentil nunca encontra essa folga; ela não tem motivo para isso. Mas a otimização agressiva a encontra quase imediatamente, porque localizar a maneira mais barata possível de mover o número é exatamente o que a otimização faz. Essa é sua função inteira. Então, quanto mais forte você pressiona qualquer indicador indireto, mais confiavelmente você descobre e explora os pontos precisos em que ele diverge daquilo que você de fato queria — ou seja, quanto mais forte você pressiona, mais rápido você esvazia a medida. Esforço aplicado a um indicador indireto é uma máquina de encontrar folgas.

A crueldade é que isso parece exatamente com vencer

A pior característica isolada dessa armadilha é como ela se sente por dentro. Manipular um indicador indireto é indistinguível de ter sucesso, porque o número — sua principal evidência de sucesso — está subindo. Você recebe a sensação completa de progresso, toda a satisfação, o impulso e a tranquilidade, enquanto a coisa real subjacente estagna ou silenciosamente recua.

É isso que torna tão difícil perceber em si mesmo. A métrica deveria ser seu sistema de alerta precoce, sua conexão com a realidade, e agora justamente aquilo que deveria alertá-lo para um problema é o que te tranquiliza dizendo que está tudo bem. Ela é projetada para te confortar, e segue te confortando exatamente no momento em que deixou de ser verdadeira. Você não está apenas enganado; você está enganado pelo instrumento em que confiava especificamente para não ser enganado.

Mantendo uma medida honesta

Você não consegue escapar disso por completo, mas encontrei formas de resistir. Segure as métricas com mão leve, como sinais imperfeitos a serem interpretados e não como metas a serem maximizadas — só o enquadramento já importa. Acompanhe vários indicadores indiretos diferentes ao mesmo tempo, para que manipular qualquer um deles apareça como uma divergência suspeita entre eles. E, o mais importante, periodicamente vá olhar diretamente a coisa real subjacente, por trás do número, para verificar com seus próprios olhos que o indicador não se afastou da realidade que ele afirma representar.

O fio comum em tudo isso é recusar-se a deixar que um único número se torne a meta. No momento em que uma única métrica é promovida de “sinal útil” para “a coisa que estamos maximizando”, ela inicia sua silenciosa transformação de uma janela para o mundo em algo que você decora. A defesa é nunca dar a nenhuma medida isolada essa promoção.

A lição mais profunda: o mapa que você otimiza é o mapa que mente

Tudo isso se reduz ao seguinte. Uma métrica é um mapa de algo com que você de fato se importa. Enquanto você usa o mapa para enxergar o território, ele te serve. Mas no instante em que você começa a otimizar o próprio mapa — aprimorando o desenho em vez do lugar — o mapa começa, necessariamente, a divergir do território, porque você redirecionou todo o seu esforço para a representação e o afastou daquilo que é representado.

Então procuro, agora, medir para enxergar, não para perseguir. O número é uma janela para algo real. E no momento em que você começa a polir e decorar a janela para deixá-la mais bonita, você parou de conseguir enxergar através dela. A vista era o ponto inteiro. A janela nunca deveria ter sido a coisa em que você trabalhava.

— Sem sinais, sem retornos, isto não é consultoria de investimento.