当我开始追逐那个数字的那一刻,它就不再说真话了

不知从什么时候起,我开始用几个简单的数字来衡量自己的进展——我跑了多少次实验、尝试了多少东西、感觉自己覆盖了多大的范围。这看上去完全合情合理:你无法改进自己没有衡量的东西,而我想要一个诚实的信号,来判断自己是否真的在往前走。然后我开始试着让那些数字往上涨。而就在我这么做的那一刻,它们悄悄地不再意味着它们原本所意味的东西了。

事实证明,这是所有失败模式中最可靠、也最违反直觉的一种。它无关懒惰或欺骗。它是一种结构性的东西,几乎在你把一个度量变成目标的那一瞬间就自动发生了,而我正是怀着最好的初衷,一头撞了进去。

观察一个数字和追逐一个数字是两种不同的行为

这里有一个我完全忽略了的区别。一个指标,当你只是单纯观察它时,可以是某种真实事物的、真正诚实的信号。你盯着这个数字,它相当好地反映着底层的现实,并告诉你一些有用的东西。在这种模式下,它是一支温度计:对你所关心的某个状态的忠实读数。

然而,就在你开始优化它的那一瞬间,有些东西变了。现在你正在专门为了让这个数字动起来而改变自己的行为,这意味着你的行为开始服务于这个数字,而不是这个数字本应代表的那个事物。观察和瞄准并不是同一种行为的两种强度。它们是两种不同的行为,对度量的可信度有着截然相反的影响。一个在读取世界;另一个在悄悄重写你的激励。

这件事有个名字

后来我才知道,这个模式众所周知到足以被冠上一个名字:当一个度量变成一个目标,它就不再是一个好的度量。这个数字之所以有用,恰恰是因为你没有在钻它的空子。代理指标与它所代表的现实之间的相关性,只在你没有主动去推动这个代理指标时才成立。一旦开始推动,你就斩断了那个最初让这个数字值得一看的关联本身。

一旦我看清了这一点,最让我震动的是它有多么接近一条定律。它不是一句关于性格软弱或思维草率的警告。它会发生在严谨、善意的人身上,自动地发生,几乎像是优化遇上代理指标后的一种机械必然。知道它的存在并不能让你免疫。它只是给那件正在发生在你身上的事,提供了一个名字。

我自己的版本:优化的是动作,而不是进展

我自己的那个版本干净得几乎令人难堪。我把类似”跑过的实验次数”这样的东西,当成了进展的替身,这表面上并非毫无道理——实验越多,学到的就越多,大致如此。然后我开始优化它。我跑了更多的实验,更小的、更快的,那种能可靠地把计数往上推一点的实验。

而计数涨得很漂亮。它以一种感觉美妙、并且在任何仪表盘上看起来都像是一个人正在取得卓越进展的方式攀升着。可真正的进展并没有随之攀升,因为在某个环节,我已经开始按照实验对指标的影响、而不是按照它们的实际价值来挑选实验了——偏爱那些又快、可计数、又安全的,而不是那些缓慢、含糊、却真正有信息量的。我拿了一支温度计,把它变成了目标,然后又困惑地发现,衡量房间竟然不再能告诉我它有多暖。我加热的是温度计,而不是房间。

每个代理指标都有余隙,而优化会瞬间找到它

底层的机制值得理解,因为它可以推广到你将来会用到的每一个指标。一个代理指标之所以是代理,恰恰是因为它与你所关心的事物相关,却并不与之等同。而只要两个东西相关却不等同,它们之间就存在余隙——存在让一个动而另一个不动的途径,存在代理指标与现实彼此分离的缝隙。

温和的观察永远找不到那道余隙;它没有理由去找。但严苛的优化几乎立刻就能找到它,因为找出推动这个数字的最廉价方式,正是优化所做的事情。这就是它的全部功能。所以,你越用力地推动任何一个代理指标,你就越可靠地发现并利用它与你真正想要的东西相背离的那些确切之处——也就是说,你推得越用力,你就越快地把这个度量掏空。施加在代理指标上的努力,是一台寻找余隙的机器。

残酷之处在于,它感觉起来和成功一模一样

这个陷阱最糟糕的一点,是它从内部体验起来的感受。钻代理指标的空子,感觉起来和真正的成功毫无分别,因为那个数字——你判断成功的首要证据——正在往上涨。你得到了进展的全部感受,所有的满足、势头与安心,而与此同时,那个真正的底层事物却在停滞,或者悄悄地往后滑。

这正是它如此难以在自己身上察觉的原因。这个指标本应是你的预警系统、你与现实之间的连接,而如今,本该警示你麻烦的那个东西,恰恰成了让你安心一切都好的东西。它被设计来安慰你,而它就在它不再为真的那一刻,继续不折不扣地安慰着你。你不只是被骗了;你是被你专门信任它不会骗你的那件仪器骗了。

让一个度量保持诚实

你无法完全逃脱这一点,但我确实找到了一些抵抗它的方法。把指标握得松一些,把它们当成有待解读的不完美信号,而不是有待最大化的目标——单是这个框架本身就很重要。同时盯着好几个不同的代理指标,这样一来,钻其中任何一个的空子,都会表现为它们之间一处可疑的背离。而且,最重要的是,定期亲自去直接看一看那个真正的底层事物,看一看数字背后的东西,用你自己的眼睛去核实,那个代理指标并没有从它声称所代表的现实那里漂移开去。

所有这些做法的共同主线,是拒绝让任何一个数字成为那个目标。一旦某个单一指标被从”有用的信号”提拔为”我们正在最大化的东西”,它就开始了它那场悄无声息的蜕变——从一扇望向世界的窗,变成一件你拿来装饰的物件。防御之道,就是永远不给任何一个度量那次提拔。

更深的教训:你优化的那张地图,就是会撒谎的那张地图

这一切归结起来就是这样。一个指标是你真正关心之物的一张地图。只要你用这张地图去看那片疆域,它就在为你服务。但就在你开始优化地图本身的那一瞬间——改进的是那幅画,而不是那个地方——这张地图就必然开始与疆域相背离,因为你已经把全部努力转移到了那个表征上,而离开了被表征的事物。

所以如今我试着去衡量,是为了看清,而不是为了追逐。这个数字是一扇望向某种真实之物的窗。而就在你开始打磨、装饰这扇窗、让它看起来更好看的那一刻,你已经彻底看不穿它了。看见,才是全部的意义所在。这扇窗,从来就不该是你着手去打磨的那个东西。

— 无信号,无收益,非投资建议。