Hata, Ne Kadar Çok Aradığımdı

Bir süre boyunca, kendi ciddiyetimi aramamın büyüklüğüyle ölçtüm. Bir stratejinin yüz milyonlarca konfigürasyonunu test ettim ve sonra, bu yetersiz hissettirdiğinde, milyarlarcasını. Bu sayıdan gurur duyuyordum. Titizlik gibi hissettiriyordu — hiçbir olasılığı incelenmemiş bırakmıyormuşum gibi.

Bu, titizliğin tersine daha yakındı. Aramanın salt büyüklüğü bir avantaj bulmama yardımcı olmuyordu. Bir serap imal ediyordu ve onu ne kadar büyütürsem, serap o kadar inandırıcı hale geliyordu.

Bir uyarı olması gereken gurur

Aramamın ölçeğinden, birinin kaç saat çalıştığından bahsedebileceği gibi bahsederdim: çabanın, titizliğin, problemi ciddiye almanın kanıtı olarak. Değerlendirilen yüz milyonlarca kombinasyon. Sonra daha fazlası. Bu kadar büyük bir sayıyı işaret edip, esasen, bakın ne kadar kapsamlı baktım demenin gerçek bir tatmini var.

Tatmin, problemin ta kendisiydi. Sessizce aramanın büyüklüğünü sonucun kalitesiyle karıştırmıştım ve bu iki şey yalnızca alakasız değildir — bir noktadan sonra, zıt yönlere çekerler.

Devasa bir aramanın aslında yaptığı şey

İşte rahatsız edici mekanizma. Tarihin herhangi bir sabit dilimini alın ve ona karşı yeterince farklı strateji deneyin, bazıları muhteşem görünecektir — iyi oldukları için değil, milyonlarca denemeden, birkaçının salt şans eseri geçmişin kendine özgü kazalarıyla hizalanması kaçınılmaz olduğu için. Ne kadar çok konfigürasyon test ederseniz, bu tesadüflerden birini bulacağınızdan o kadar emin olursunuz ve en şanslı tesadüf o kadar uç görünecektir.

Yani devasa bir arama, güvenilir biçimde en iyi gerçek stratejiyi yüzeye çıkarmaz. Güvenilir biçimde yüzeye çıkardığı şey, en iyi uyan tesadüftür — üzerinde arama yaptığınız tam verinin rastgele tuhaflıklarına en hassas biçimde şekillenmiş konfigürasyon. Ve o tesadüfü size, gördüğünüz en güzel sonuçları giydirerek sunar.

Bu tuzağın bir adı var

Bunların hiçbiri yeni değil. Tüm istatistik içindeki en yıpranmış tuzaklardan biridir ve küçük bir isimler müzesine sahiptir: çoklu karşılaştırmalar, veri tarama, p-hacking. Özü her zaman aynıdır. Tek bir hipotezi test edin, güçlü bir sonuç bilgi taşır. Aynı veriye karşı bir milyarını test edin, salt şans eseri görünüşte istisnai bir sonuç bulma olasılığı çok yüksek hale gelebilir — orada gerçek bir şey olsun ya da olmasın. Yeterince denemeyle, “salt şansla istisnai” artık uzak bir ihtimal olmaktan çıkar.

Bir milyar hipotezlik bir deney yürütüyordum ve kazananı sanki tek, zorlukla elde edilmiş bir keşifmiş gibi okuyordum. Öyle değildi. Çok büyük bir odadaki en gürültülü sesti.

Neden aşırı uyumun tersi gibi hissettirdi

Acımasız kısım, ne kadar erdemli hissettirdiğiydi. “Taş üstünde taş bırakma” iyi bir tavsiye olması gerekiyor. Ama tek bir sabit veri kümesine karşı taş üstünde taş bırakmamak, eninde sonunda şans eseri hazine biçiminde olan bir taşı çevireceğinizi garanti etmenin en kesin yollarından biridir. Tek bir örneğe karşı kapsamlılık, titizlikle aynı şey değildir. Çoğu zaman bu, sadece kendinize kanma şansını giderek daha fazla satın almak ve sonra bunlardan biri işe yaradığında etkilenmektir.

Dikkatli olduğumu sanıyordum. İşleri kötüleştiren tek yönde dikkatliydim.

İpucu: kazanan asla temasta hayatta kalmadı

İmza, onu aramayı öğrendiğimde, genellikle aynıydı. Devasa aramayı kazanan konfigürasyon, ona karşı seçildiği veride inanılmaz görünüyordu ve sonra, üzerinde seçilmediği veriyle karşılaşmasının hemen ardından parçalanıyordu. Bu çöküş salt kötü şans olmayabilir. Aramanın bir tesadüf bulduğunun yaygın bir uyarı işaretidir — örneklem içinde güçlü, çünkü örneklem içi tam olarak uymak üzere optimize edildiği şeydir, ve örneklem dışında daha zayıf, çünkü tesadüf güvenilir biçimde tekrarlanmayabilir. (Koşullarda gerçek bir kayma ya da sıradan bir hata da bir çöküşe yol açabilir; devasa bir arama üzerindeki seçilim yalnızca baş şüphelidir.)

Bir hafifletme: aramayı kısıtla, doğrulama verisini koru

Onarımın iki yarısı vardı. İlki, aramanın büyüklüğünü bir erdem olarak görmeyi bırakmaktı — verileri sadece neyin uyduğunu bulmak için tarayan uçsuz bucaksız kör taramalar yerine, bir konfigürasyonun işe yaramasını beklemek için bir nedenle yönlendirilen daha küçük, daha kasıtlı keşifler yürütmek. İkincisi ve daha önemlisi, herhangi bir kazananın, seçilirken görmesine asla izin verilmeyen veride sağlamlık kanıtı göstermesinde ısrar etmekti — temiz bir ayrılmış kümenin bile, çok sık başvurulduğunda yavaşça temiz olmaktan çıktığını bilerek.

Bu ikinci kural oyunun büyük bölümüdür. Önemli olan soru “geçmişte bulabileceğim en iyi görünen şey nedir?” değildir. Yeterince hesaplama gücüne sahip herkes geçmişte harika görünen bir şey bulabilir; geçmiş sonludur ve yeterince büyük bir arama eninde sonunda onun kazalarına uyacaktır. Önemli olan soru “bulduğum en iyi şey, şekillendirilmiş olmasının imkânsız olduğu bir veri diliminde hayatta kalıyor mu?” sorusudur. Devasa aramalarımın ortaya çıkardığı neredeyse her şey bu soruda başarısız oldu ve bu başarısızlık, ürettikleri en yararlı sonuçlar arasındaydı.

Daha fazla hesaplama gücü daha fazla gerçek değildir

Sakladığım ders, bu alanda neredeyse karşı konulamaz hissettiren bir içgüdüye sessiz bir düzeltmedir: bir avantaj bulamıyorsanız, sadece daha sıkı aramanız gerektiği — daha fazla konfigürasyon, daha fazla hesaplama gücü, daha fazla kaba kuvvet. Bazı problemler için bu içgüdü doğrudur. Gürültülü veride gerçek, kalıcı bir avantaj bulma problemi içinse, çoğu zaman tersine daha yakındır. Daha fazla kaba kuvvet sizi mutlaka gerçeğe daha yakına getirmez. Bazen sadece gürültüye yarışmada daha fazla katılım hakkı verir — ve gürültü, yeterince katılım hakkı verildiğinde, bir şey kazanma eğilimindedir.

Bir aramanın benim için yaptığı en dürüst şeylerden biri, devasa sayıda denemeden sonra, hayatta kalan hiçbir şeyle geri dönmekti. Bunun aramanın bir başarısızlığı olmadığını anlamam utanç verecek kadar uzun sürdü. Bu, aramanın, nihayet, bana gerçeği söylemesiydi.

— Sinyal yok, getiri yok, yatırım tavsiyesi değildir.