精巧なモデルがコイン投げにすら勝てなかった話

私は何か洗練されたものを作り上げ、内心それを少し誇りに思っていた。そのシステムは数々の巧妙なことをやってのけた。膨大な作業の結晶だった。そしてついに、私が何ヶ月も避けてきたたった一つのテストを実行した。考えうる限り最も愚かな代替手段と比較してみたのだ。すると、その愚かな代替手段も、ほぼ同じくらいの成績を出した。

今になって振り返れば、あの比較はプロジェクト全体を通じて私がやったことの中で最も有益なものの一つだった。同時にそれは、本能的に先延ばしにし続けていたことでもあった。そしてなぜ自分がそれを避けてきたのかを理解したとき、私は自分がどうやって自分自身を欺いてきたかについて、居心地の悪い何かを理解した。

走らせずにいたベースライン

ベースラインとは、あなたが作り上げたものに対する、何も考えていない自明な代替手段のことだ。素朴なデフォルト。明白に愚かなもの。一切の巧妙さを含まないバージョン — コインを投げる、できる限り退屈なことをする、あるいは単に何もしない。それは、あなたの洗練が超えるべき床であり、「何かに貢献したと言うには、少なくともこれと同じくらいうまくやらなければならない」という基準だ。

私は自分のベースラインを走らせずにいた。いつも理由はあった — 先に追加すべき機能がある、もっとチューニングが必要だ、ベースラインは後回しでいい、と。だが、それらの理由の下では、私の一部はすでにそれが何を示すかをうすうす感づいていて、それを知りたくなかったのだ。ベースラインを避けていたのは見落としではなかった。今なら認められるが、それは静かな自己防衛の行為だった。

洗練は価値と同じではない

私が陥っていた罠は、ありがちなものだ。複雑さを貢献と混同すること。私のシステムは入り組んでいた。巧妙な方法で巧妙なことをやっていた。それは目に見えて、否定しようもなく、多大な労力だった。だが、そのどれ一つとして — そのうちの一片たりとも — それがコイン投げよりも実際に優れているという証拠ではなかった。

これは私が腑に落とすのに最も時間がかかったことだ。労力は価値のように感じられる。手の込んだ作りは価値のように感じられる。あなたが注ぎ込んだ思考の純然たる量は、何かを生み出したに違いないと感じさせる。だが、感覚は測定ではない。あなたの巧妙さに何らかの価値があるかどうかを立証する唯一のものは、それがタダで手に入れられたはずの代替手段に勝つかどうかだ。その比較を走らせるまで、あなたの洗練はすべて、どれほど見栄えがよくとも、未証明のままなのだ。

私が避けていた比較

そこで私はついにそれを走らせた。素朴なベースライン — 苦労して手に入れた仕掛けを一切含まないバージョン — を取り出し、その結果を私の手の込んだ創造物の結果の横に並べた。両者はおおむね同じだった。何ヶ月もかけて積み上げた洗練は、午後一回で書き上げられる自明なデフォルトに対して、ほとんど何ももたらしていなかった。

それは、言葉では到底言い尽くせないほど打ちのめされる出来事だった。だが同時にそれは、文句なしに、長い間で得た中で最も多くを教えてくれた単一の結果でもあった。なぜならそれは、私が注意深く問わずにいた、真実で重要なことを教えてくれたからだ。私の複雑さは、その維持費を稼げていなかった。あの入り組んだ作業はすべて、証拠に照らせば、装飾だった。そしてそれを安価な比較から学ぶことは、自分の巧妙さが役立っているという前提の上にさらにもう一年積み上げ続けるよりも、はるかに良いことなのだ。

なぜベースラインが交渉の余地のないものなのか

ここに、私が最初から身につけておくべきだった原則がある。単独の数字は何も意味しない。「これだけ達成した」という文は、「……何と比べて?」という文を完結できるようになるまで、いかなる情報も帯びていない。ベースラインこそが、その「何と比べて」だ。それは、無意味な絶対値を意味のある相対値へと変換するものなのだ。

ベースラインがなければ、あなたは本当の貢献と手の込んだノイズの違いを、まったく見分けられない。そしてその比較がないとき、人間の本性によって、あなたはほぼ必ずその曖昧さを自分に都合よく解決してしまう。あなたは自分の印象的に見える結果を眺め、それを印象的だと思い込むだろう。なぜなら自分が作ったもので、難しかったからだ。ベースラインこそが、それを食い止めるものだ。それは、知っていることと、そう願っていることの違いなのだ。

複雑さはその維持費を稼がねばならない

ここから私が得たのは、一種のルールだった。システム内のあらゆる洗練は、それが置き換えたより単純なものに明確に勝ることで、自らの存在を正当化しなければならない。複雑なコンポーネントが愚かなベースラインに勝てないなら、それはそもそも洗練ではない。それはただの高価な装飾だ — しかも中立よりも悪い。なぜならそれは、何の見返りもないまま、コストと脆さとバグの温床となる表面積を増やすからだ。

正しいデフォルトは単純なものだ。複雑さはあなたが背負う負債であり、あらゆる負債と同様、それは結果によって返済されなければならない。手の込んだ何かを作り上げたという満足感によってではない。単純なものに勝てない複雑なものは、単純なものよりも厳密に劣っている。なぜならあなたは同じもの — あるいはそれ以下のもの — に対してより多くを支払い、その余分なコストを進歩と呼んでいるのだから。

エゴのチェックとしてのベースライン

正直に言えば、私がこれほど長くベースラインの実行を避けた最も深い理由は、ベースラインが根本的に、あなたのプライドを突き刺す機械だからだ。それはあなたが何時間費やしたかなど気にしない。あなたの設計がどれほど優美か、あなたのアプローチがどれほど巧妙か、あなたがどれほど自分自身を注ぎ込んだか、まったく意に介さない。それはたった一つの、そっけなく、容赦のない問いを投げかける — 「それのすべては、本当に役立ったのか?」 — そして返ってくる答えは、しばしば「いいえ」なのだ。

まさにそれゆえに、それはこれほど価値がある。ベースラインは自己欺瞞に対して手に入る最も安価な治療薬であり、自己欺瞞はこの仕事において抱えうる最も高くつく病の一つだ。走らせるのは痛い。そしてその痛みこそが要点なのだ。あなたが最もしたくない比較は、往々にして、あなたが最も必要としている比較なのである。

より深い教訓: 愚かに始め、複雑さを稼ぎ取れ

そこで私は自分のプロセス全体を逆転させた。今では私は、まずおよそ機能しうる限り最も愚かなものを作り、それを正直に測定し、その測定値を基準として扱おうとする。その後に追加するかもしれないより洗練されたものはすべて、システム内での自らの位置を正当化するために、その基準を超えなければならない。それができないなら、たとえ私がどれほどそれを気に入っていようと、そこにあるべきではないのだ。

私の最も巧妙なアイデアのほとんどは、このテストにかけられて、基準を超えられなかった。そしてそれを早い段階で知ったこと — その上にさらなる複雑さの大聖堂をまるごと築き上げる前に — が、膨大な無駄な労力から私を救ってくれた。何ヶ月も避け続けていたこの慎ましいベースラインは、結局のところ、私の最も価値あるツールの一つだった。それはたまたま、私に真実を告げるツールだったのであり、まさにそれゆえに、私はそれを使いたくなかったのだ。

— シグナルなし、リターンなし、投資助言ではありません。