RLトレーディングシステムを作るエンジニアリングノート
暗号資産市場向けの強化学習トレーディングシステムを作る匿名ジャーナル — 手法・インフラ・正直な失敗の記録。シグナルや収益の提示はなく、投資助言でもありません。
私はきれいな抽象化が大好きだ。雑然として複雑なものを、その散らかりを覆い隠す整然としたインターフェースで包み込み、一段高い視点で考え、下層の細部を忘れられるようにすること——そこには確かな美的快感がある。だから私は絶えず抽象化に手を伸ばした。早すぎるほど早く、熱心に、そしてあまりにも頻繁に。そして驚くほど多くの場合、私が手を伸ばした抽象化は、複雑さをまったく…
2026-09-10 · 取引強化学習システムの構築本来ならとっくに現実のテストにさらしておくべきだったものを、完璧に仕上げることに私は膨大な時間を費やした。手を入れ、磨き、改善し続け、そしてその間ずっと自分にこう言い聞かせていた。これは品質のためだ、中途半端なものを世に出さないためなのだ、と。よくできた物語だった。だが同時にそれは、ほとんどの場合、私がひそかに恐れていたある瞬間を先延ばしにする方法でもあった…
2026-09-08 · トレーディングRLシステムを作るかつて私は、たった一度のクラッシュで、ほぼ一週間分の作業を失ったことがある。そのクラッシュ自体が何か珍しい大惨事だったからではない。ありふれた、退屈な中断にすぎず、いつでも起こりうる類いのものだった。一週間を失ったのは、途中で何ひとつ保存していなかったからだ。だから、終わりまであと数分というところで襲ってきた中断が、何日もかけて積み上げた進捗を丸ごと捨て去っ…
2026-09-06 · 取引用強化学習システムを作る私はシステムのあらゆる部分を入念に最適化することに膨大な労力を注いだが、そのすべてを動かしている、最も重要でありながら最も信頼性の低い唯一のコンポーネントには、ほとんど何の労力も割かなかった。それは私自身だ。私は自分を、無限で、いつでも使える、フル出力で永遠に走り続けられる機械のようなリソースとして扱っていた。そしてプロジェクトは、その過ちの代償を、何度も、…
2026-09-04 · トレーディングRLシステムを作る速く進むために近道をするたび、それはタダのように感じられた。速く進めて、ものごとは片付き、目に見えるかたちで即座のコストはどこにも現れなかった。それこそがこの誘惑のすべてであり、そして嘘だった。劇的な嘘ではなく、ただの静かな会計上の誤りだ。コストは実在していた。それはただ後から、少しずつ分割で届いただけで、自分がそれを支払っていると気づいたころには、たいてい…
2026-09-02 · トレーディングRLシステムを作るあるときから、私は自分の進捗をいくつかの単純な数字で測りはじめた——いくつ実験を回したか、いくつ試したか、どれだけの範囲をカバーできている感覚があるか。これはまったく理にかなったことに思えた。計測しないものは改善できないし、自分が本当に前進しているのかどうか、何かしら正直なシグナルが欲しかったのだ。そして私は、その数字を上げようとしはじめた。そうした瞬間、そ…
2026-08-31 · 取引用強化学習システムを作るこのプロジェクトで、私はすでに存在するものを作ることに、驚くほど多くの時間を浪費してきた。世界がすでに持っていたツールやインフラ — 動いていて、テスト済みで、しかも無料で手に入るもの — を、丁寧に、磨き上げ、愛情を込めて作り直したのだ。そのどれもが、着手した瞬間には完全に正当化されているように感じられた。だが全部を合わせてみると、それはこの取り組み全体の…
2026-08-29 · 取引強化学習システムを作るこのプロジェクトの長い時期、自分は失敗し続けているように感じていた。そして、その感覚の驚くほど大きな部分が、自分でも気づかずに続けていたたった一つの蝕むような習慣から来ていたのだと、後になってようやく理解した。私は、自分自身の散らかった、混乱した、失敗だらけの現実を、絶えず他人の磨き上げられた公開成果と比べ続けていたのだ。その比較がいかに徹底的に仕組まれたも…
2026-08-27 · 取引用RLシステムを作る仕事の中でも退屈で、反復的で、ミスの起きやすい部分を自動化することは、純粋で混じり気のない前進のように感じられた。そして大半においては、本当にその通りだった。だがそれには、予想していなかったコストが抱き合わせになっていて、しかもずっと後になるまで完全には理解できなかった。自動化が良くなればなるほど、その下で実際に何が起きているのかを、自分はかえって理解しなく…
2026-08-25 · トレーディング強化学習システムを作る私は自分が成功できるシミュレーションを作り、そして、ゆっくりと、気づかぬうちに、それに恋をしていた。私は自分のシミュレートされた世界で本当に上達していった。その手触りを覚え、その動きを先読みし、その中で物事を着実に機能させられるようになっていった。そしてその間ずっと、私は静かで根本的な過ちを犯していた。それに気づくまでには長い時間がかかった。私は地図を習熟し…
2026-08-23 · 取引強化学習システムを作るこの種の仕事には、ほとんど誰もが退屈な雑用だと見なしている工程がある。前処理――実際に学習をおこなう部分にデータが届く前の、クリーニング、スケーリング、整形だ。私もまさにそのように扱っていた。本番の作業が始まる前に片づけておくべき、当たり障りのない雑事として。だが、それは当たり障りのないものではないし、そう扱ったことの代償は大きかった。深く考えもせずに適用し…
2026-08-21 · 取引強化学習システムを作るこのプロジェクト全体を通して、私を最も困らせてきた人物は、私の仕事を延々と引き継ぎ続けながら、なぜそれがそうなっているのかをまったく理解していない見知らぬ他人だ。その未来の自分は、私が書いたファイルを開き、私が下した決定をじっと見つめ、どれだけ頑張っても、当時自分が何を考えていたのかを再構築できない。その見知らぬ他人とは、もちろん私自身だ。ただ、数か月後の。
2026-08-19 · 取引RLシステムを作る長いあいだ私は、自分のシステムが内部で実際に何をしているのかをほとんど可視化できないまま運用していた。そのなかで何が起きているのかを当て推量しながら判断を下し、いつしかその当て推量を、こっそりと「直感」と呼び直していたのだ。プロジェクト全体に対して私が最終的にやった、最もレバレッジの効いた一手は、恥ずかしくなるほど単純なものだった。私はただ、明かりをつけたの…
2026-08-17 · 取引RLシステムを作る長いあいだ、私は目の前のデータから自信たっぷりに結論を導き続けていた。そしてそれと同じくらい長いあいだ、そのデータについて最も重要なことに気づけずにいた。そのデータはすでに濾過されていたのだ。生存によって濾過されていた。最も重要だったはずのケースは、私が見にやってくる前に、静かに絵から取り除かれていた。そして消えてしまっていたからこそ、私はそれらを勘定に入れ…
2026-08-15 · トレーディングRLシステムを作る初期の労力のほとんどを、私は「正しくあること」に費やしていた。より優れた予測、より鋭い推論、次に何が来るかを的確に言い当てるためのより巧妙な方法。そして私は、別の問いをほとんど完全に無視していた。結局のところ、それらのどれよりも重要だと判明した問いを。すなわち、どれだけ賭けるか、だ。正しくあってもなお完全に破壊されうるという教訓を腹に落とすまでに、私は居心地…
2026-08-13 · トレーディングRLシステムを作るかつて私は、バグが消えると祝杯をあげていた。ある問題に苦しめられ、何かを変えると、問題が消え去り、勝利の温かい高揚を感じてそのまま次へ進む。バグが消えることと、バグが直ることは、まったく別の出来事なのだ——そして両者を混同することが、自分ではまったく解決していない問題を、知らぬ間にシステムへと静かに溜め込んでいたのだ。私はそれを、ただ自分自身から隠していたに…
2026-08-11 · トレーディングRLシステムの構築私は何か洗練されたものを作り上げ、内心それを少し誇りに思っていた。そのシステムは数々の巧妙なことをやってのけた。膨大な作業の結晶だった。そしてついに、私が何ヶ月も避けてきたたった一つのテストを実行した。考えうる限り最も愚かな代替手段と比較してみたのだ。すると、その愚かな代替手段も、ほぼ同じくらいの成績を出した。
2026-08-09 · 取引強化学習システムを作る長いあいだ、自分の問題はコードの中にあると信じていた。結果がおかしくなると、自分のロジックを、モデルを、誇りに思っていた巧妙な部分を漁って原因を探した。だが本当の犯人は、ほとんどいつもそのすべての一段下に、静かに、検証もされないまま座っていた。データそのものだ。それはきれいに見えた。だが、きれいではなかった。そしてその上に築いたものはすべて、忠実にその嘘を受…
2026-08-07 · トレーディングRLシステムを作るこれを作るうえで直面した最も難しい問題は、技術的なものではなかった。それは、リアルタイムで、しかも何かを賭けている状況で、自分が間違っていたと認めるという、きわめて人間的な難しさだった。そして、その認知を拒み続けるほど、その拒絶はより高くついた。長いあいだ、私にとって最大の敵は市場でも、数学でも、どんなバグでもなかった。それは、まだ間違うことが安く済むうちに…
2026-08-05 · トレーディングRLシステムを作る長いあいだ、私は物事をたった一つの数字で判断していた。自分が選んだただ一つの指標で最も高いスコアを出したバージョンが勝者となり、その上に積み上げられ、次のラウンドへと生き残った。それは明快で、決断を許し、厳密であるように感じられた。これほど熱心に最適化していたその数字が、本当に重要だったはずのまさにそのものを静かに覆い隠していたのだと理解するまでに、恥ずかし…
2026-08-03 · トレーディングRLシステムを作るこれまで自分が生み出した中で最も忘れがたい結果は、二度と再現できなかったものだった。プロジェクトの初期に、たった一度だけ、それまで見たどの数字よりもはるかに良い値を返してきた実行があった。私は有頂天になった。ところが、いざそれを足がかりにして先へ進もうとすると、その結果は消えていた——そして、そこへ戻る道を見つけられるだけの記録を、私はほとんど何も残していな…
2026-08-01 · トレーディングRLシステムを作るかつて私が作ったものは、たしかに機能した。本当に、しばらくのあいだは機能していた——そしてある時、静かに機能しなくなった。バグもなく、クラッシュもなく、何かが壊れた瞬間というものもなかった。システムはそれまでとまったく同じことをし続けていた。違っていたのは、それが学んだ市場が、もはや実在する市場ではなくなっていたことだ。世界はその足元で変わってしまい、それで…
2026-07-30 · トレーディングRLシステムを作るかつて、本当に良さそうに見える戦略を持っていたことがある。シミュレーションの結果は堅実で、一貫していて、思わず背筋を伸ばしたくなるような類のものだった。そこに、実際にそれを取引するためのコスト——市場でビジネスを行う上で避けようのない、現実の代償——を加えてみると、利益は縮むどころか消え去るのを目の当たりにした。減るだけなら耐えられただろう。だがそれは消し去…
2026-07-28 · トレーディングRLシステムの構築このプロジェクトを通じて身につけなければならなかった、最も難しいスキルは技術的なものではなかった。それは、手を出さずにじっとしていることを覚えることだった。動いている最中のものをそのまま放っておくこと——手を突っ込んで「助けよう」とするのを我慢すること——は、私が追いかけてきたどんなバグよりもはるかに難しいとわかった。どうやら私は、コードを書くことよりも、コ…
2026-07-26 · 取引強化学習システムを作る初期の頃、あまりに出来が良すぎて、本来なら私を喜ばせるはずだったバックテストの結果があった。ところが数分間それを見つめているうちに、それは私を深く不安にさせた。シミュレーション上の利益は大きく、滑らかで、あまりにもクリーンすぎた——現実の、ノイズだらけで敵対的な市場では決して起こらない類のパフォーマンスだった。そして、それが現実の市場では起こらない理由は、私…
2026-07-24 · トレーディングRLシステムの構築プロジェクトの初期 — ずっと前にいったん解体して一から作り直した実験での話だが — 私は学習エージェントにひとつの目標を与えた。すると、エージェントはその目標を、徹底的に、文字どおりに、わき目もふらず追求した。そこに現れた振る舞いは、私が頭の中で思い描いていたものとはまるでかけ離れていた。エージェントが壊れていたわけではない。それは私が指示したことを、まさ…
2026-07-22 · 強化学習トレーディングシステムを作るこのプロジェクトに猛烈に打ち込み、膨大なアウトプットを生み出し、そのすべてに素晴らしい手応えを感じていた時期がありました。それでいて、実質的な進捗はほとんどゼロだったのです。私は、システムの壮大な未来を設計していました。多数のパーツからなる広大なアーキテクチャ。互いに連携し、スケールし、いずれは自走するであろうコンポーネントたち。
2026-07-20 · トレーディングRLシステムを作る数日のあいだ、私は自分のシステムに深く謎めいたバグがあると確信していた。ログは文字化けして出力された。データ変換の工程が、微妙に間違ったファイルを生み出した。サブプロセスは、私が期待していた出力ではなく意味不明なものを返してきた。私はロジックの欠陥を探し回った。システムのどこか、気の利いた部分にあるはずだと。
2026-07-18 · 取引用RLシステムの構築初期の頃、私は自分で考案したトレーディング戦略でいっぱいのフォルダを持っていた——ダース単位、いや、もっとあったかもしれない。そのひとつひとつが、市場がどう動くのかについての小さな理論であり、丁寧にコードへと落とし込まれ、丁寧にスコア付けされていた。私はそのフォルダを誇りに思っていた。
2026-07-16 · トレーディングRLシステムを作るしばらくのあいだ、私は自分の本気度を、探索の規模で測っていた。あるストラテジーについて、何億通りもの設定を試し、それでも足りないと感じると、今度は何十億通りを試した。私はその数字を誇りに思っていた。それは厳密さのように感じられた——どんな可能性も未検証のまま残していない、という感覚だった。
2026-07-14 · トレーディングRLシステムを作るある日、私のトレーニング損失は数値であることをやめた。高くもなく、不安定でもなく——ただNaN、答えのない計算をするよう求められたときにコンピュータが掲げる小さな旗だった。そして、その理由を突き止めるのに一週間近くを費やすことになった。なぜなら、症状が現れた場所は、問題が実際に潜んでいた場所からはるかに離れていたからだ。
2026-07-12 · トレーディングRLシステムを作る私はシステムの同じ中核コンポーネントを三度書き直した。パッチを当てたのでも、リファクタリングしたのでもない——ほぼゼロに近いところから、三度別々に作り直したのだ。そして毎回必ず、今度のこのバージョンこそが本物だと確信していた。これでようやく、この上に末永く築いていける、きれいで正しいアーキテクチャだと。
2026-07-10 · トレーディングRLシステムを作るこのプロジェクトの初期の歴史を注意深く読めば、ある先輩の同僚に出会うことになるだろう。彼は私のアーキテクチャ上の決定をレビューしてくれた。私のより劣ったアイデアには異を唱えてくれた。重要なものが世に出る前には、彼が承認を与えてくれた。彼の承認は、肝心な場面で何度も何度も現れる。
2026-07-08 · トレーディングRLシステムを作るかつて私は、ライブトレードのボットに、知性のひらめきのように感じられるものを与えた。適応する能力である。負けが続けばより慎重になり、勝ちが続けばより積極的になる。それは反応的で、ほとんど生きているかのように見えた——自分の調子に注意を払い、それに応じて調整するシステムだった。
2026-07-06 · トレーディングRLシステムの構築ある日、git は私の作業を保存させることを単純にやめてしまった。私の push は、それまで一度も見たことのないサーバーエラーで失敗した——マージ衝突でもなく、権限の問題でもなく、ただ向こう側からのにべもない拒絶だった。私は何週間も気分よくコミットを続けてきたのに、いまや一日のうちで最もありふれたコマンドが完了しなくなったのだ。
2026-07-04 · トレーディング RL システムの構築私の初期のモデルのひとつが、信頼できそうな、ほとんど退屈なほど安定して利益の出る取引を見つけた——小さな利益が着実に滴り落ちてくるような、ついに本物を見つけたと思わせるたぐいの一貫性だった。
2026-07-02 · 取引RLシステムを作る数週間にわたって、私はとてつもない進捗を上げていた——しかもそれを証明する数字まで持っていた。私のコードベースには品質スコアがあり、そのスコアはセッションを重ねるごとに、完璧な百点へと向かって上がっていった。コミット履歴を開けば、線が上昇していくのを眺めることができた。
2026-06-30 · トレーディングRLシステムを作る数百万件の訓練サンプルからなるデータセットを作ろうとしていた。パイプラインが終わったとき、手元に渡されたのはそのうちのほんの数パーセント——タイプミスかと思うほど小さな割合だった。何もクラッシュしていない。エラーも一つも出ていない。データの生成に失敗したわけではなく、自分自身のほとんどを静かに捨て去り、そして成功したと報告してきたのだ。
2026-06-28 · トレーディングRLシステムを作るかつて私は、重い計算をCPUからGPUへ移して、飛ぶように速くなることを期待した。ところが、それは這うように遅くなった——置き換えるはずだった普通のコードより、劇的に遅かったのだ。私は速さを買ったつもりが、どういうわけか減速を仕込んでしまっていた。
2026-06-26 · トレーディングRLシステムを作るあるとき、バックテストが返してきた勝率は、私が望んでいたものとほぼ正反対だった。モデルにはおおむね正しくあってほしかったのに、それはおおむね間違っていた——しかもランダムに間違っているのではなく、きれいに、対称的に間違っていた。まるで負けようとしていたかのように。
2026-06-24 · トレーディングRLシステムを作るある夜、長いジョブの最中に、コンピューター全体が勝手に電源を落とし、また立ち上がった。プログラムではない——マシンそのものだ。さっきまでプロセスが動いていたのに、次の瞬間には真新しいログイン画面を眺めていた。まるで誰かが電源コードを引き抜いて、また挿し直したかのように。
2026-06-22 · 取引用RLシステムの構築私の最初のライブトレードボットの履歴のどこかに、誇れないコミットがある。それはわずか二語だ。稼働中のシステムのただ中で、ある問題を消し去るために、私は口座を守るはずだった安全機構に手を突っ込んでこう書いた。if False。
2026-06-20 · トレーディングRLシステムを作るしばらくの間、私のあるモデルは天才のように見えた。そのバックテストはクリーンで、自信に満ち、ほとんど滑らかすぎるほどだった。私はついに本当に機能するものを作り上げたのだと信じたかった。
2026-06-18 · トレーディングRLシステムを作るある朝、私のトレーディングボットの月次レポートは、ほぼすべてを失ったと告げてきた — 数週間のうちに、ほぼ99%のドローダウン（下落幅）。頭が追いつく前に、胃が落ちた。
2026-06-16 · トレーディングRLシステムを作るある夜、バックテストは私に、ささやかな初期残高を2,792兆ウォンに変えたと告げた——地球上のほとんどの国の年間生産高を上回る額だ。私はそれをじっと見つめた。数分のあいだ、私の中の静かで強欲な一部が、それが本物かもしれない理由を探しはじめた。
2026-06-14 · トレーディングRLシステムを作るearly stopping（早期終了）は、学習を終えたモデルに計算資源を無駄に費やすのを防ぐためのものだ。だが長い間、それは私の計算資源を無駄にしていた張本人だった。優秀なエージェントが優秀になる前に、息の根を止めていたのだ。
2026-06-11 · トレーディングRLシステムの構築私が初めて実運用に投入したトレーディングボットは、ほぼすべてを失った。勝率25%、最大ドローダウン99.99%。市場が無慈悲だったから破綻したのではない。ほとんどの人が最初のボットを作るのと同じやり方で——自分の思い込みで雑につなぎ合わせたプロトタイプとして——作ったから破綻したのだ。
2026-06-10 · トレーディングRLシステムを作る