追いかけた瞬間、その数字は真実を語るのをやめた

あるときから、私は自分の進捗をいくつかの単純な数字で測りはじめた——いくつ実験を回したか、いくつ試したか、どれだけの範囲をカバーできている感覚があるか。これはまったく理にかなったことに思えた。計測しないものは改善できないし、自分が本当に前進しているのかどうか、何かしら正直なシグナルが欲しかったのだ。そして私は、その数字を上げようとしはじめた。そうした瞬間、それらの数字は、それまで持っていた意味を静かに失っていった。

これは、存在しうる失敗モードの中でも最も再現性が高く、最も直感に反するものの一つだとわかった。怠惰や不誠実の問題ではない。計測を目標に変えた途端、ほとんど自動的に起きてしまう構造的な現象であり、私はこの上ない善意とともにまっすぐそこへ踏み込んでいったのだ。

数字を観察することと、数字を追いかけることは別の行為である

ここに、私が完全に見落としていた区別がある。あるメトリクスは、ただ観察しているうちは、何か現実のものについての真に正直なシグナルでありうる。数字を眺めると、それは背後の現実をそれなりに忠実に反映し、有用なことを教えてくれる。そのモードでは、メトリクスは体温計だ——あなたが気にかけている状態を、忠実に読み取って示してくれる。

ところが、それを最適化しはじめた瞬間、何かが変わる。いまやあなたは、その数字を動かすことだけを狙って自分の行動を変えており、つまりあなたの行動は、数字が本来代表していたはずのものではなく、数字そのものに奉仕しはじめる。観察と狙い撃ちは、同じ行為の強度の違いではない。それらは別の行為であり、計測の信頼性に対して正反対の効果を持つ。一方は世界を読み取り、もう一方はあなたのインセンティブを静かに書き換える。

これには名前がある

後になって私は、このパターンが名前を与えられるほどよく知られているものだと知った——ある計測が目標になると、それは良い計測であることをやめる。その数字が有用だったのは、まさにあなたがそれを操作していなかったからこそだ。代理指標とそれが表す現実とのあいだの相関は、あなたが代理指標を能動的に押し動かしていないあいだだけ成り立っていた。押しはじめれば、その数字を眺める価値を生んでいたまさにそのつながりを、あなたは断ち切ってしまう。

これに気づいたとき私が衝撃を受けたのは、それがどれほど法則に近いかということだ。これは弱い性格やずさんな思考への警告ではない。慎重で善意の人にも、最適化が代理指標と出会うことのほぼ機械的な帰結として、自動的に起きてしまう。それを知っていても免疫はつかない。ただ、すでに自分の身に起きていることに名前を与えてくれるだけだ。

私自身の版：進捗ではなく、動きを最適化する

私の具体的な版は、ほとんど恥ずかしいほど典型的だった。私は「回した実験の数」のようなものを進捗の代用にしていた——実験が多いほど学びも多い、おおよそそうだろう、という発想は表面上は不合理ではない。そして私はそれを最適化しはじめた。より多くの実験を、より小さく、より速く、カウントを確実に押し上げるたぐいの実験を回した。

そしてカウントは見事に上がった。それは素晴らしい気分にさせる上がり方をし、どんなダッシュボードの上でも、見事に進捗している人物のように見えた。実際の進捗はそれとともには上がらなかった。なぜなら、私はいつのまにか、実験を本来の価値ではなくメトリクスへの効果で選びはじめていたからだ——遅く、曖昧で、本当に情報量の多いものよりも、速く、数えやすく、安全なものを優先していた。私は体温計を取り上げ、それを目標に変え、そして部屋を計測しても暖かさがわからなくなったことに当惑していた。私は部屋ではなく、体温計を温めていたのだ。

どんな代理指標にも遊びがあり、最適化はそれを瞬時に見つける

その下にあるメカニズムは理解しておく価値がある。なぜなら、それはあなたが今後使うあらゆるメトリクスに一般化されるからだ。代理指標が代理指標であるのは、まさにそれが、気にかけている対象と同一ではないままに相関しているからだ。そして、二つのものが相関しているが同一ではないところには、つねにそのあいだに遊びがある——片方を動かさずにもう片方を動かす方法、代理指標と現実が乖離する隙間が。

穏やかな観察はその遊びを決して見つけない。見つける理由がないからだ。だが激しい最適化はほとんど即座にそれを見つける。なぜなら、数字を動かす最も安上がりな方法を突き止めることこそ、最適化がやるまさにそのことだからだ。それが最適化の機能のすべてだ。だから、どんな代理指標であれ強く押せば押すほど、それが本当に欲しかったものから食い違う、まさにその箇所を、あなたはより確実に発見し利用する——つまり、強く押すほど、あなたはより速く計測を空洞化させる。代理指標に注がれた努力は、遊びを見つけ出す機械なのだ。

残酷なのは、それが勝利とまったく同じ感触であることだ

この罠の最悪の特徴は、内側からどう感じられるかにある。代理指標を操作することは、成功することと区別がつかない感触を持つ。なぜなら数字が——成功の第一の証拠が——上がっているからだ。あなたは進捗の感覚を丸ごと、満足も勢いも安心もすべて手にする。一方で、その背後の実際のものは停滞するか、静かに後退していく。

これこそが、自分自身の中でそれを捉えるのを極めて難しくする。メトリクスはあなたの早期警戒システム、現実とのつながりであるはずだった。ところがいまや、トラブルを知らせるべきまさにそのものが、すべて順調だとあなたを安心させるものになっている。それはあなたを慰めるように設計されており、それが真実であることをやめたまさにその瞬間にも、慰めつづける。あなたはただ騙されているのではない。あなたは、まさに自分を騙さないと信じていた当の計器に、騙されているのだ。

計測を正直に保つ

これを完全に逃れることはできないが、抗う方法はいくつか見つけた。メトリクスは緩く握ること——最大化すべき目標としてではなく、解釈されるべき不完全なシグナルとして扱う。この枠組みだけでも意味がある。複数の異なる代理指標を同時に見ること。そうすれば、どれか一つを操作すると、それらのあいだの疑わしい乖離として現れる。そして、最も重要なのは、数字の背後にある実際のものを、定期的に直接見にいくこと。代理指標が、それが代表すると主張する現実から漂い去っていないかを、自分の目で確かめるのだ。

それらすべてに通底するのは、一つの数字を目標そのものにすることを拒むという点だ。ある単一のメトリクスが「有用なシグナル」から「我々が最大化するもの」へと昇格された瞬間、それは世界への窓から、あなたが飾り立てる対象へと、静かに変質しはじめる。防御策は、いかなる計測にもその昇格を決して与えないことだ。

より深い教訓：あなたが最適化する地図こそ、嘘をつく地図である

すべてはこれに帰着する。メトリクスとは、あなたが本当に気にかけている何かの地図だ。地図を使って土地を見ているあいだは、それはあなたに奉仕する。だが、地図そのものを最適化しはじめた瞬間——その場所ではなく、描画のほうを改善しはじめた瞬間——地図は必然的に、土地から乖離しはじめる。なぜなら、あなたはすべての努力を、表現されるものから引きはがして、表現のほうへと振り向けてしまったからだ。

だから私はいま、追いかけるためではなく、見るために計測しようと努めている。数字は、何か現実のものへの窓だ。そして、窓をより良く見せようと磨き、飾り立てはじめた瞬間、あなたはもうそれを通して見ることがまったくできなくなっている。眺めこそがすべての目的だった。窓は、あなたが手をかける対象であってはならなかったのだ。

— シグナルもリターンもなし、投資助言ではありません。