Bir İşareti Ters Çevirip Ona İçgörü Dediğim Gün

Bir keresinde bir geriye dönük test, umduğumun neredeyse tam tersi olan bir kazanma oranıyla geri döndü. Modelin çoğunlukla haklı olmasını istediğim yerde, çoğunlukla yanılıyordu — ve rastgele bir biçimde değil, sanki kaybetmeye çalışıyormuş gibi tertemiz, simetrik bir biçimde yanılıyordu.

Nedenini sormak yerine, yaklaşık bir saat boyunca dahiyane hissettiren bir şey yaptım. Mantığı buna uyacak şekilde ters çevirdim. Eğer model güvenilir bir biçimde yanılıyorsa, diye düşündüm, o zaman söylediğinin tersini yapmak güvenilir bir biçimde doğru olmalı. Küçük bir değişiklik, ve kaybettiren bir kural, kâğıt üzerinde, kazandıran bir kurala dönüştü. Bir keşif yaptığım için kendimi tebrik ettim.

Bu bir keşif değildi. Tek karakterlik bir düzenlemeyle kendime yalan söylemeye başladığım andı.

Tam olarak yanlış olan sayı

Şüphe uyandıran şey, sonucun kötü olması hiçbir zaman değildi. Kötü sonuçlar normaldir; işin büyük kısmı budur. Şüphe uyandıran şey, sonucun bu kadar düzenli, ayna görüntüsü gibi bir biçimde kötü olmasıydı — geriye dönüp bakıldığında, gerçekten “ters” çalışan bir stratejiden ziyade altta daha sıradan bir şeyin bozuk olduğuna işaret edebilen türden bir simetri.

Ama simetri, kolay bir kazanca işaret ettiğinde baştan çıkarıcıdır. Dağınık, kötü bir sonuç sizi hata ayıklamaya iter. Düzgünce ters çevrilmiş bir sonuç ise bir kestirme yol fısıldar: düşündüğünden daha yakınsın — sadece çevir onu.

Tek karakterlik düzeltme

Ben de onu çevirdim. Koşulu tersine çevirdim — bir eşitsizliği ters çevirdim — ve kaybetmekte olan aynı mantık şimdi, geriye dönük testte, kazanıyordu. Sorunu alt etmiş gibi hissederek değişikliği işledim. Düzeltmenin tamamı bu cümleden daha küçüktü.

O küçüklük bir uyarı olmalıydı. Gerçek avantaj bulması zor, korunması daha da zordur. Tek bir ters çevrilmiş karakter başarısızlığı başarıya dönüştürür gibi göründüğünde, dürüst varsayım gizli bir gerçek bulduğunuz değildir. Gizli bir hata bulduğunuz ve sadece onun hangi tarafında durduğunuzu değiştirdiğinizdir.

İşareti ters çevirmek neden dâhilik gibi hissettirdi

Mantık neredeyse karşı konulamazdır: eğer bir tahminleyici tutarlı bir biçimde yanılıyorsa, onu tersine çevirmek onu tutarlı bir biçimde haklı kılar. Bir ters-dâhi. Karşıt görüşçü bir altın madeni. Güvenilir bir biçimde yanlış olan bir modeli alıp onu basitçe baş aşağı okumayı kim istemez ki?

O akıl yürütmedeki kusur tutarlı sözcüğüdür. Modelin gerçekten bir şey tahmin ettiğini varsayar — sadece yanlış yönde. Ve o varsayım, hiçbir zaman kontrol etmediğim tek şeydi.

Asıl bozuk olan neydi

Model ters çalışmıyordu. Neredeyse hiç tahmin etmiyordu. Çıktıları yozlaşmıştı — dar, bilgilendirici olmayan bir aralığa sıkıştırılmış, kendisine ne gösterilirse gösterilsin neredeyse aynı şeyi söylüyordu. Bir sinyali öğrenip onu yanlış yöne çevirmemişti. Bir sinyali öğrenmekte başarısız olmuştu ve hafif, anlamsız bir eğilimle gürültüye yakın bir şey üretiyordu.

Çoğunlukla yazı gelen kısa bir dizi atış, istikrarlı, sömürülebilir bir önyargıyı kanıtlamaz — pekâlâ bozuk ya da güvenilmez bir para da olabilir. Gürültülü bir sinyali nasıl okuduğunuzu ters çevirmek sinyali bilgilendirici kılmaz. Sadece gürültüyü yeniden etiketler.

Tersine çevirmek durumu daha kötü yaptı

Geriye dönük testin sonunda bana kabul ettirdiği kısım bu. Mantığı ters çevirdikten sonra, performans iyi bir şeye doğru yukarıya yansımadı. Kötü kaldı — ve bazı ölçütlere göre daha da kötüleşti. Tersine çevrilecek bir şey yoktu. Gürültüyü almış, onu ters çevirmiş ve yine gürültü elde etmiştim, artık bir niyetlilik kostümü giymiş halde.

Kendimi zeki hissettiren o kısa, güzel sonuç, daha önce hakkında yazdığım türden bir seraptı: sizi yalnızca önemli olan tek soruyu sormaktan alıkoyacak kadar uzun süre size yaltaklanan bir sayı — model gerçekten herhangi bir şey öğrenmiş miydi?

Asıl hata bendeydi

Tek karakterlik ters çevirme aslında hiçbir zaman bir kod değişikliği değildi. Bir kategori hatasıydı. Bir belirtiyi — kötü bir kazanma oranını — sanki ayarlayabileceğim bir stratejiymiş gibi ele almıştım, oysa o aslında yapmayı reddettiğim bir teşhisti. Modelin çıktısının neden öyle göründüğünü sormak yerine, sayı yeşile dönene kadar bir eşitsizliği geriye dönük teste karşı optimize ettim.

İşte aşırı uyumun en saf, en insani biçimi budur. Aşırı uyum için bin parametreye ihtiyacınız yoktur. Tek bir işaretle de yapabilirsiniz, eğer onu anladığınız nedene değil de istediğiniz sonuca göre seçmeye razıysanız.

Şaşırtıcı bir sonuç bir cevap değil, bir sorudur

Bundan çıkardığım disiplin söylemesi basit ama uygulaması gerçekten zor: bir sonuç beklediğinizin tersi çıktığında, bu bir cevap değil, bir sorudur. Eğilim, sayıyı doğru gösteren en küçük değişikliğe uzanmaktır — bir işareti ters çevirmek, bir kuralı tersine almak, bir karşılaştırmayı değiştirmek. O en küçük değişiklik çoğu zaman en tehlikeli olanıdır, çünkü görünüşü düzeltirken nedeni tamamen el değmemiş halde bırakır.

Şimdi, bir şey bana ters döndüğünde, zarif tersine çevirmeye direnmeye ve bunun yerine çirkin soruyu sormaya çalışıyorum: “bu sayıyı doğru yöne nasıl çeviririm?” değil, “burada herhangi bir yöne işaret eden gerçek bir sinyal var mı?” Çoğu zaman henüz yoktur. Ve ters çevrilmiş bir işaret onu imal edemez.

Baş aşağı okunan, kaybeden bir model yine de kaybeden bir modeldir. Tersine çevirmenin değiştirdiği tek şey, bunu öğrenmenizin ne kadar süreceğidir.

— Sinyal yok, getiri yok, yatırım tavsiyesi değildir.