Kendi En İyi Sonucumu Tekrar Üretemedim

Ürettiğim en çok aklımı kurcalayan sonuç, bir daha asla üretemediğim sonuçtu. Başlangıçta, daha önce gördüğüm her şeyden çok daha iyi bir sayıyla geri dönen tek bir koşum vardı. Çok sevinmiştim. Sonra, onun üzerine bir şeyler inşa etmeye gittiğimde, ortadan kaybolmuştu — ve geri dönüş yolumu bulabileceğim kadarını dahi yazmamıştım. Sonraki haftaları, kendi yarattığım ve sonra dikkatsizce kaybettiğim bir hayaletin peşinden koşarak geçirdim.

Bu, tüm projenin daha öğretici başarısızlıklarından biri olmaya devam ediyor, çünkü ders aslında piyasalar veya modeller hakkında değildi. Bilim yapmak ile yalnızca sayı üretmek arasındaki fark hakkındaydı.

Geri getiremediğim sonuç

İlk günlerde, henüz gerçek bir disiplinim yokken, deneyleri gelişigüzel yürütüyordum. Aynı anda birkaç şeyi değiştirir, çıktıya şöyle bir göz atar, birkaç şey daha değiştirir ve devam ederdim. Hangi yapılandırmanın hangi sonucu ürettiğini özenle kaydetmiyordum; sadece hızlıca yineliyor ve önemli kısımları hatırlayacağıma güveniyordum. Hatırlamadım.

Bu yüzden bir koşum geri kalanlardan çarpıcı biçimde daha iyi geri döndüğünde, henüz boyutunu kavrayamadığım bir sorunum vardı. Onu tekrar üretmeye, doğrulamaya ve üzerine inşa etmeye gittim — ve başaramadım. Aynı koşullar olduğunu sandığım şeyleri, kabaca, hafızamdan tekrar çalıştırdım. Sihir bir daha asla orada olmadı. Gerçekten heyecan verici bir şeyi tam olarak bir kez üretmiş, sonra da onu, anahtarını farkında olmadan fırlatıp attığım bir kapının ardına kilitlemiştim.

Tekrar üretemediğiniz bir sonuç, sonuç değildir

Zorlu farkındalık, nihayet geldiğinde, hem iç karartıcı hem de aydınlatıcıydı. İstediğinizde tekrar üretemediğiniz bir sayı size neredeyse hiçbir şey söylemez. O harika sonuç gerçek bir iyileşme miydi? Rastgele zarların şanslı bir atışı mıydı? O tek seferlik, beni pohpohlamak için ortaya çıkmış bir hata mıydı? Onu üreten tam koşulları tekrar çalıştırmanın hiçbir yolu olmadan, bu olasılıkları birbirinden ayırt etmenin hiçbir yolu yoktu.

Ve bunlar son derece farklı şeyler. Biri, üzerine bir yıllık çalışma inşa etmeye değecek bir keşif. Bir diğeri, hemen unutmam gereken bir gürültü. Üçüncüsü, izini sürüp düzeltmem gereken bir hata. Özensiz kurulumumda hepsi, herhangi biri olabilecek tek bir tekrar üretilemeyen sayıda birbirine karışmıştı — ve ben ciddi bir çabayı bunun üzerine yatırmanın eşiğindeydim. Yeniden oluşturamadığınız bir bulgu kanıt değildir. Tesadüfen tanık olduğunuz bir söylentidir.

İşleri tekrar üretilemez kılan gizli durum

Takdir etmeyi başaramadığım şey, bir sonucu kaç görünmez şeyin sessizce belirlediğiydi. Her şeyi başlatan rastgele tohum. Verinin tam sürümü, o gün temizlenmiş ya da temizlenmemiş olan her şeye kadar. Yapılandırmadaki her değer. O belirli andaki kodun tam durumu — hiçbir yere işlemediğim değişiklikler dahil. Şeylerin çalıştığı sıra.

Bunlardan herhangi birini değiştirin, sessizce dahi olsa, kazara dahi olsa, ve sonuç kayabilir. Ben hiçbirini sabitlememiştim. “Deneyim” hareket halindeki parçalardan oluşan çalkalanan bir çorbaydı, ve ben onun çıktısını, kalibre edilmiş bir cihazdan alınan temiz, tekrarlanabilir bir ölçümmüş gibi ele alıyordum. Hiç de öyle değildi. Tam olarak kontrol etmediğim ve kaydetme zahmetine girmediğim bir sistemdeki tek seferlik bir olaydı.

Determinizm vermeniz gereken bir karardır

Rahatsız edici gerçek şu ki, yeniden üretilebilirlik kendi kendine gerçekleşmez. Karmaşık bir sistemin varsayılan durumu değildir; varsayılan olan kaos, sürüklenme ve sessiz tekrar üretilemezliktir. Aynı şeyi iki kez çalıştırıp aynı yanıtı alabilmek istiyorsanız, bu özelliği kasıtlı olarak mühendislikle inşa etmeniz gerekir.

Bu, rastgeleliğin en azından kontrol altında olması için tohumları sabitlemek demektir. Üzerinde tam olarak neyi eğitip test ettiğinizi bilmeniz için veriyi sürümlemek demektir. Bir sayının asla yetim kalmaması için, her bir sonucun yanında tam yapılandırmayı ve tam kodu kaydetmek demektir. Bir koşumu, istediğiniz zaman, bilerek, birebir aynı şekilde tekrar çalıştırabileceğiniz bir şeye dönüştürmek demektir. Bunların hiçbiri gösterişli bir iş değil. Ama hepsi, bilim ile bilim kılığına sokulmuş eğitimli tahmin arasındaki farktır.

Onu düzelten sıkıcı disiplin

Nihayet benimsediğimde çare, neredeyse aşağılayıcı derecede sıkıcıydı. Her deneyi, bir kayıttan yeniden inşa edilebilmesi gereken bir şey olarak ele almaya başladım. Hangi veri. Hangi kod. Hangi ayarlar. Neyin neyi ürettiği. Bir sonuç onu yeniden oluşturmaya yetecek kadar bilgiye bağlı değilse, benim açımdan o sonuç var olmuyordu.

Bu, ilk başta saf bürokrasi gibi geldi — gerçek, heyecan verici işin önüne geçen bir ek yük. Ama ek yük değildi. Çılgın, unutulup gidecek çırpınışlarımı gerçekten birikebilecek bir şeye dönüştüren tam olarak buydu. Önceden, ben başka şeye geçtiğim an her sonuç buharlaşıyordu. Sonrasında, sonuçlar güvenebileceğim, karşılaştırabileceğim ve üzerine inşa edebileceğim bir kayda istifleniyordu. Bürokrasi, bilimin ta kendisiydi.

Bunun neden burada neredeyse her yerden daha çok önemli olduğu

Bu disiplini görmezden gelmenin böyle bir alanda neden özellikle acımasız olduğunun bir nedeni var. Ortam olağanüstü gürültülüdür, bu da rastgele şansın sürekli olarak hiçbir anlam ifade etmeyen güzel sayılar ürettiği anlamına gelir. Şans eseri tesadüfler burada nadir değildir; istikrarlı bir çiseleme gibidirler. Bir sonucu tekrar üretemiyorsanız, gerçek bir sinyali bu şanslı kazalardan birinden ayırmanın hiçbir yolu yoktur — ve şanslı kazaların peşinden koşmak, onları keşif sanmak, aylarca süren çabayı hiçliğe akıtmanın bildiğim en verimli yollarından biridir.

Tekrar üretilemeyen en iyi sonuç, mükemmel bir yemdir. Tam olarak bir atılım gibi hissettiren ve çok daha sık olarak yalnızca size bir kez gülümseyen gürültü olan türden bir şeydir.

Daha derin ders: hafızalara değil, kayıtlara güven

Bundan nihayetinde çıkardığım şey, yalnızca hafızamda ya da bir ekran görüntüsünde yaşayan herhangi bir sonuca karşı derin bir güvensizliktir. Hafıza kendini düzenler. Yukarı yuvarlar, uyarıları unutur, sayıyı hatırlar ve koşulları kaybeder. Yeniden inşa edilebilir bir soy hattı olmayan bir sonuç bulgu değildir; bir anekdottur, ve anekdotlar tam olarak bu alanın insanları mahvetmek için kullandığı şeydir.

Bu yüzden artık heyecan verici herhangi bir sonuç hakkında sorduğum ilk soru “ne kadar iyi?” değil. “Onu istediğimde, birebir, geri getirebilir miyim?” sorusudur. Yanıt hayırsa, ne kadar iyi göründüğünün henüz bir önemi yok, çünkü elimde tam olarak ne olduğunu aslında bilmiyorum. Bir sonuç tekrar üretilene kadar, sahip olduğum bir keşif değildir. Sadece bir zamanlar gördüğüm bir sayıdır, ve bir zamanlar gördüğüm sayılar burada hiçbir şey etmez.

— Sinyal yok, getiri yok, yatırım tavsiyesi değildir.