我那聪明的模型连抛硬币都赢不了

我做出了某个精巧的东西，并为之暗自得意。它做了许多聪明的事情，凝结了大量的工作。然后我终于跑了一个被自己回避了好几个月的测试：我把它和最蠢的那个替代方案做了对比。结果那个蠢方案表现得差不多一样好。

现在回头看，那次对比是我在整个项目里做过的最有用的事情之一。它同时也是我本能地一直拖着不做的事；而当我弄明白自己为什么一直回避它时，我也明白了一件关于自己如何一直在自欺欺人的、令人不太舒服的事实。

那个我一直没去跑的基线

基线，就是相对于你所构建的一切而言那个不动脑子的、平凡的替代方案。最朴素的默认做法。最显而易见的蠢办法。完全不带任何巧思的版本——抛一枚硬币，做最无聊的那件事，或者干脆什么都不做。它是你的精巧应该跨过的地板，是那道写着”你至少得做到这个水平，才算贡献了点什么”的门槛。

我却一直没去跑我自己的那个。总有个理由——还有更多功能要先加上、还有更多参数要调、基线可以等等。但在这些理由之下，我心里某个部分早已隐隐知道它会显示出什么，并且不想去证实。回避基线并不是一时的疏忽。我现在可以承认，那是一种悄悄的自我保护。

精巧并不等于价值

我掉进去的那个陷阱很容易掉进去：把复杂当成了贡献。我的系统错综精密。它用聪明的方式做着聪明的事。它显而易见、无可否认地凝结了大量心血。可这些——没有一丁点——能证明它真的比抛硬币更好。

这是我花了最久才真正吸收的一点。付出感觉像是价值。繁复感觉像是价值。你倾注进去的全部思考，感觉似乎就一定产出了什么。但感觉不是度量。唯一能确立你的巧思到底值不值钱的，是它能否击败那个你本可以免费获得的替代方案。在你跑完那次对比之前，你所有的精巧都是未经证实的，无论它看上去多么令人印象深刻。

我一直回避的那次对比

于是我终于跑了它。我拿起那个朴素的基线——那个不含我任何来之不易的机巧的版本——把它的结果放到我那精雕细琢的造物的结果旁边。它们大致一样。几个月累积下来的精巧，相比那个花一个下午就能写出来的平凡默认做法，几乎没给我换来任何东西。

那种泄气的程度，怎么形容都不为过。但它同时也是我很久以来得到的、毫无争议地信息量最大的单个结果。因为它告诉了我一件我一直小心翼翼避而不问的、真实而重要的事：我的复杂性并没有在挣它的饭钱。所有那些错综复杂的工作，从证据看，都是装饰。而从一次廉价的对比中学到这一点，远胜过再花一年时间，在”你的巧思正在起作用”这个假设之上继续往上盖。

为什么基线不容商量

这就是我本该从一开始就内化的原则：一个孤立的数字毫无意义。“它达到了这么多”并不构成一句携带任何信息的陈述，除非你能把这句话补完——”……相比于什么？“基线就是那个”相比于什么”。它把一个无意义的绝对数字，转换成一个有意义的相对数字。

没有基线，你是真的分不清一个真实的贡献和精致的噪声有什么区别。而在缺少那次对比的情况下，人性几乎总会保证你把这种模糊解释成对自己有利的那一面。你会看着自己看似惊艳的结果，假定它就是惊艳的，因为是你做出来的、而且很难做。基线就是那个把你拦下来的东西。它是”知道”和”指望”之间的分别。

复杂性必须挣到它的饭钱

我从中提取出的，是某种规则。系统里每一处精巧，都应当通过可证明地击败它所取代的那个更简单的东西，来为自己的存在辩护。如果一个复杂的部件连那个蠢基线都打不过，那它根本就不是什么精巧。它只是昂贵的装饰——而且比中性还糟，因为它增加了成本、脆弱性，以及滋生缺陷的表面积，却什么回报都没贡献。

正确的默认是简单。复杂性是你背上的一笔债，而像任何债务一样，它必须用结果来偿还，而不是用”我建造了某个繁复之物”的那种满足感来偿还。一个打不过简单之物的复杂之物，严格地说比那个简单之物更糟，因为你为同样——甚至更少——的东西付出了更多，却把那笔额外的成本叫做进步。

基线作为对自尊的一记检验

老实说，我之所以这么久都回避去跑基线，最深层的原因是：基线本质上是一台用来戳破你骄傲的机器。它不在乎你花了多少个小时。它对你的设计有多优雅、你的方法有多聪明、你把多少自己倾注了进去，完全无动于衷。它只问一个平淡而无情的问题——“那一切真的起作用了吗？“——而它返回的答案，往往是：没有。

而这恰恰正是它如此宝贵的原因。基线是对治自欺最廉价的解药，而自欺是你在这项工作中能背负的最昂贵的疾病之一。跑它会痛，而那份痛正是要点所在。你最不想做的那次对比，往往正是你最需要做的那一次。

更深的一课：从蠢开始，把复杂性挣回来

于是我把整个流程倒了过来。现在我会先尝试构建那个可能行得通的、最蠢的东西，诚实地度量它，并把那个度量当作门槛。此后我可能添加的任何更精巧的东西，都必须跨过那道门槛，才能在系统里赢得它的位置。如果它跨不过去，它就不属于那里，无论我有多喜欢它。

我大多数最聪明的点子，经受这个测试之后，都没能跨过那道门槛。而早早知道这一点——在我还没有于它们之上建起一座座更复杂的大教堂之前——为我省下了海量被浪费掉的努力。那个我花了好几个月回避的、卑微的基线，到头来成了我最宝贵的工具之一。它只不过恰好是那个会告诉我真相的工具，而这正是我一直不想用它的原因。

— 没有信号，没有收益，不构成投资建议。