Sayı, Onun Peşine Düştüğüm An Doğruyu Söylemeyi Bıraktı

Bir noktada kendi ilerlememi birkaç basit sayıyla ölçmeye başladım — kaç deney yapmıştım, kaç şeyi denemiştim, ne kadar mesafe kat ettiğimi hissediyordum. Bu tümüyle makul görünüyordu; ölçmediğiniz şeyi iyileştiremezsiniz ve gerçekten ilerleyip ilerlemediğime dair dürüst bir sinyal istiyordum. Sonra o sayıları yukarı çıkarmaya çalışmaya başladım. Ve bunu yaptığım an, sayılar sessizce eskiden taşıdıkları anlamı taşımayı bıraktı.

Bunun, var olan en güvenilir ve en az sezgisel başarısızlık biçimlerinden biri olduğu ortaya çıkıyor. Mesele tembellik ya da sahtekârlık değil. Bir ölçümü hedefe dönüştürdüğünüz an neredeyse otomatik olarak gerçekleşen yapısal bir şey ve ben en iyi niyetlerle dosdoğru içine yürüdüm.

Bir sayıyı gözlemlemek ile bir sayının peşine düşmek farklı eylemlerdir

İşte tümüyle gözden kaçırdığım ayrım. Bir metrik, siz onu yalnızca gözlemlerken, gerçek bir şeyin içtenlikle dürüst bir sinyali olabilir. Sayıyı izlersiniz, altta yatan gerçekliği makul ölçüde iyi yansıtır ve size yararlı şeyler söyler. Bu kipte o bir termometredir: önemsediğiniz bir durumun sadık bir okuması.

Ne var ki onu optimize etmeye başladığınız an bir şey değişir. Artık sayıyı kıpırdatmak için özellikle kendi davranışınızı değiştiriyorsunuz, ki bu da davranışınızın, sayının temsil etmesi gereken şeye değil, sayının kendisine hizmet etmeye başlaması demektir. Gözlemlemek ile hedef almak aynı eylemin iki farklı yoğunluğu değildir. Bunlar farklı eylemlerdir ve ölçümün güvenilirliği üzerinde zıt etkilere sahiptir. Biri dünyayı okur; diğeri ise sessizce sizin teşvik yapınızı yeniden yazar.

Bunun bir adı var

Sonradan öğrendim ki bu örüntü, kendisine bir ad iliştirilecek kadar iyi biliniyor: bir ölçü hedefe dönüştüğünde, iyi bir ölçü olmaktan çıkar. Sayı, tam da onu manipüle etmediğiniz için yararlıydı. Vekil ile temsil ettiği gerçeklik arasındaki bağıntı, yalnızca siz vekilin üzerine etkin biçimde bastırmadığınız sürece geçerliydi. Bastırmaya başlayın, ve sayıyı en baştan izlemeye değer kılan bağın ta kendisini koparmış olursunuz.

Bunu gördüğümde beni çarpan şey, bunun bir yasaya ne kadar yakın olduğuydu. Bu, zayıf karakter ya da özensiz düşünme hakkında bir uyarı değil. Dikkatli, iyi niyetli insanların başına otomatik olarak, optimizasyonun bir vekille karşılaşmasının neredeyse mekanik bir sonucu olarak gelir. Bunu bilmek sizi bağışık kılmaz. Yalnızca, zaten başınıza gelmekte olan şeye bir ad verir.

Kendi versiyonum: ilerleme yerine hareketi optimize etmek

Benim özel versiyonum neredeyse utandırıcı derecede temizdi. “Yapılan deney sayısı” gibi bir şeyi ilerlemenin yerine geçen vekil olarak almıştım, ki bu ilk bakışta mantıksız değil — daha çok deney, daha çok öğrenme, kabaca. Sonra onu optimize etmeye başladım. Daha çok deney, daha küçük olanları, daha hızlı olanları, sayacı güvenilir biçimde yukarı dürtecek türden olanları yaptım.

Ve sayaç muhteşem biçimde yükseldi. Harika hissettiren ve herhangi bir panoda mükemmel ilerleme kaydeden biri gibi görünen bir şekilde tırmandı. Gerçek ilerleme onunla birlikte tırmanmadı, çünkü bir yerlerde deneyleri gerçek değerleri için değil de metrik üzerindeki etkileri için seçmeye başlamıştım — yavaş, belirsiz, gerçekten bilgilendirici olanlar yerine hızlı, sayılabilir, güvenli olanları tercih ediyordum. Bir termometre almış, onu hedefe çevirmiş, sonra da odayı ölçmenin bana onun ne kadar sıcak olduğunu söylemeyi bırakmasına şaşırmıştım. Odayı değil, termometreyi ısıtıyordum.

Her vekilin bir boşluğu vardır ve optimizasyon onu anında bulur

Altta yatan mekanizmayı anlamaya değer, çünkü kullanacağınız her metriğe genellenir. Bir vekil, tam da önemsediğiniz şeyle, ona özdeş olmaksızın bağıntılı olduğu için bir vekildir. Ve iki şeyin bağıntılı ama özdeş olmadığı her yerde, aralarında bir boşluk vardır — birini kıpırdatmadan diğerini kıpırdatmanın yolları, vekil ile gerçekliğin birbirinden ayrıldığı çatlaklar.

Yumuşak gözlem o boşluğu asla bulmaz; bulması için bir nedeni yoktur. Ama sert optimizasyon onu neredeyse hemen bulur, çünkü sayıyı kıpırdatmanın mümkün olan en ucuz yolunu bulmak, optimizasyonun yaptığı tam da o şeydir. Onun bütün işlevi budur. Dolayısıyla herhangi bir vekilin üzerine ne kadar sert bastırırsanız, onun istediğiniz şeyden saptığı tam noktaları o kadar güvenilir biçimde keşfeder ve sömürürsünüz — yani ne kadar sert bastırırsanız, ölçüyü o kadar hızlı içini boşaltırsınız. Bir vekile uygulanan çaba, bir boşluk bulma makinesidir.

Asıl zalimliği, tıpkı kazanmak gibi hissettirmesidir

Bu tuzağın en kötü özelliği, içeriden nasıl hissettirdiğidir. Bir vekili manipüle etmek başarmaktan ayırt edilemez hisseder, çünkü sayı — başarının başlıca kanıtınız — yukarı çıkıyor. İlerlemenin tüm duyusunu, tüm tatmini, ivmeyi ve güven duygusunu elde edersiniz, oysa altta yatan gerçek şey duraklar ya da sessizce geriye kayar.

Bunu kendinizde yakalamayı bu denli zorlaştıran budur. Metrik, erken uyarı sisteminiz, gerçeklikle bağınız olması gerekiyordu, ve şimdi sizi tehlikeye karşı uyarması gereken şeyin ta kendisi, her şeyin yolunda olduğuna dair sizi rahatlatan şey haline geldi. Sizi rahatlatmak için tasarlanmıştır ve tam da artık doğru olmaktan çıktığı anda sizi rahatlatmaya devam eder. Yalnızca kandırılmazsınız; özellikle sizi kandırmayacağına güvendiğiniz aletin ta kendisi tarafından kandırılırsınız.

Bir ölçüyü dürüst tutmak

Bundan tümüyle kaçamazsınız, ama buna direnmenin yollarını buldum. Metrikleri gevşek tutun; maksimize edilecek hedefler olarak değil, yorumlanacak kusurlu sinyaller olarak — çerçeveleme tek başına önemlidir. Aynı anda birkaç farklı vekili izleyin, ki herhangi birini manipüle etmek, aralarındaki kuşkulu bir sapma olarak ortaya çıksın. Ve, en önemlisi, periyodik olarak gidip altta yatan asıl şeye doğrudan, sayının arkasından bakın; kendi gözlerinizle, vekilin temsil ettiğini iddia ettiği gerçeklikten uzaklaşmadığını denetleyin.

Bütün bunların ortak teması, tek bir sayının hedef haline gelmesine izin vermemektir. Tek bir metrik “yararlı sinyal”den “maksimize ettiğimiz şey”e terfi ettirildiği an, dünyaya açılan bir pencereden süslediğiniz bir şeye doğru sessiz dönüşümüne başlar. Savunma, hiçbir ölçüye o terfiyi asla vermemektir.

Daha derin ders: optimize ettiğiniz harita, yalan söyleyen haritadır

Tümü şuna indirgenir. Bir metrik, gerçekten önemsediğiniz bir şeyin haritasıdır. Haritayı araziyi görmek için kullandığınız sürece, size hizmet eder. Ama haritanın kendisini optimize etmeye başladığınız an — yeri değil de çizimi iyileştirmeye — harita, zorunlu olarak araziden sapmaya başlar, çünkü tüm çabanızı temsil edilen şeyden uzaklaştırıp temsilin kendisine yönlendirmişsinizdir.

Bu yüzden artık görmek için ölçmeye çalışıyorum, peşine düşmek için değil. Sayı, gerçek bir şeye açılan bir penceredir. Ve pencereyi daha iyi göstermek için onu cilalamaya ve süslemeye başladığınız an, içinden bakma yeteneğinizi tümüyle yitirmiş olursunuz. Asıl mesele manzaraydı. Pencere, hiçbir zaman üzerinde çalışmanız gereken şey değildi.

— Sinyal yok, getiri yok, yatırım tavsiyesi değildir.