私のモデルはタダで取引することを覚えた

私の初期のモデルのひとつが、信頼できそうな、ほとんど退屈なほど安定して利益の出る取引を見つけた——小さな利益が着実に滴り落ちてくるような、ついに本物を見つけたと思わせるたぐいの一貫性だった。

確かに何かを見つけてはいた。取引がタダの世界を見つけていたのだ。その世界では、モデルは本当に優秀だった。問題は、私も、そしてほかの誰もが、それとは別の世界で取引しなければならないということ——そして取引に実際にかかるコストを払わせた瞬間、その愛らしい利益のほとんどはあっさりと蒸発してしまった。

コストのない世界に住んでいたエッジ

その戦略の特徴は、小さく頻繁な勝ちがたくさんあることだった。一つ一つの捕捉はごくわずか。それらが合わさって、滑らかで励みになるカーブを描いた。私はそれを静かに誇らしく思っていたのを覚えている。それはまぐれには見えなかった。規律のように見えた。

私が考慮に入れていなかったのは、それらの小さな勝ちの一つ一つが、取引という行為にコストがかからない設定——好きなだけ何度でも入っては出ることができ、その特権に対して決して支払わない——のなかで測られていたということだった。

自分がしていることに気づかなかった前提

ここに静かな欠陥がある。モデルが学習するデータを生成したとき、私はそれぞれの取引をまるでタダであるかのように扱った。取引に対する手数料はなし。スリッページもなし——私が想像した価格と、実際に得られる価格とのあいだのギャップはなし。だから、ごくわずかな有利な揺らぎを捕らえた取引も勝ちとして記録された。その揺らぎが、現実の世界でその取引をそもそも行うのにかかるコストよりも小さかったとしても。

私はわざとモデルに嘘をついていたわけではない。私はただ、「良い取引」についてのモデルの理解のすべてを、ある前提——取引はタダだという——の上に築いてしまっていた。それは、実際にお金がやり取りされる場所では、一般に非現実的な前提だ。

コストはリターンを縮めるのではない。判定を変えるのだ

直感的には、コストを一律の税のように考えてしまう。まず分析をして、それから最後に決まった通行料を差し引く、と。その直感こそが、この間違いをこれほど犯しやすくしているのであり、そしてそれは重要な点で間違っている。

コストは、勝ち取引の勝ちをほんの少し減らすだけではない。それは、その取引がそもそも勝ちだったのかどうかを変えてしまうことがある。コスト前には利益が出る動きが、コスト後には損失になりうる。そして、もしあなたのラベル——どの取引が良かったのかというその定義そのもの——が、コストなど存在しないかのように計算されているなら、あなたは単に成績を過大評価しているだけではない。いくつかの負けを勝ちと誤ってラベル付けし、それから、もっとそれを見つけてこいとモデルに教えているのだ。

なぜこれが聞こえるよりもたちが悪いのか

残酷なのは選択効果だ。摩擦のないテストは、回転率の高い戦略——絶え間なく取引し、無数の小さなエッジを刈り取るもの——を不釣り合いに優遇しうる。それはまた、まさに、現実世界のコストが最も激しく罰するプロファイルでもある。なぜなら、その多くの取引の一つ一つが通行料を払うからだ。

だから、コストのないバックテストは、すべての戦略を等しく過大評価するわけではない。それは、コストが最も速く痛めつける戦略にこそ、いちばん惚れ込んでしまう傾向がある。あなたはエッジを探しに行き、そして過度に気前のよいシミュレーションが、最も魅力的に見えるカーブにくるまれた、コストに脆い何かを手渡してくる。

修正：コストを「良い」の定義のなかに入れる

修正は、コストを後付けとして扱うのをやめ、それをモデルが学習する真実のなかへと移すことだった。私は取引の往復コスト——手数料と、スリッページの見積もり、ただしこれでもなおすべての現実世界のコストを捉えきれはしないと承知のうえで——をラベルそのものに織り込んだ。そうすることで、ある取引が良いとカウントされるのは、それが存在するための代償を払ってもなお利益が出る場合だけになった。そのハードルをクリアできない動きは、それが本当に何であったか——する価値のないもの——としてラベル付けされた。

モデルの見かけの成績は落ちた。ときには急激に。その下落は後退ではなかった。それはあの初期のプロトタイプから幻想が抜けていくことであり、あとに残ったのは、参加に料金を課してくる市場から、少なくともそれほど切り離されていない学習信号だった。

バックテストとは、あなたが作る世界だ

この下にある教訓は、手数料よりも大きい。あらゆるバックテストは小さなシミュレートされた宇宙であり、それは、あなたがそのなかに置くことを選んだルールと同じだけしか正直ではありえない。コストを省けば、あなたは中立的なテストを作ったのではない——現実よりも優しい世界を作ったのであり、そこで栄えることを覚えたモデルはどれも、あなたのシミュレーションの外には存在しない気前のよさのうえで栄えることを覚えてしまったのだ。

新しい戦略に対する市場の最初の教訓は、ほとんどいつも同じものの何らかのバージョンだ。すなわち、行動することはあなたが思っていたよりも高くつく、という教訓。あなたはその教訓を、シミュレーションの安全のなかで前もってモデルに教えることもできるし、あとで市場に、本物のお金で、定価で教えさせることもできる。私としては、より安い教室でその教訓の代金を払うほうがいい。

取引がタダのときにだけ利益の出る戦略は、本当のところ戦略ではない。それは、自分自身に料金を請求し忘れた発見にすぎない。

— シグナルもリターンも提供しない。投資助言ではない。