Kendi Kuyruğunu Kovalayan Bot

Bir zamanlar canlı işlem botuma bir zeka kıvılcımı gibi hissettiren bir şey verdim: uyum sağlama yeteneği. Bir dizi kayıptan sonra daha temkinli olurdu; bir dizi kazançtan sonra ise daha agresif. Tepki veriyormuş gibi görünüyordu, neredeyse canlı gibi — kendi durumuna dikkat eden ve buna göre kendini ayarlayan bir sistem.

Aslında inşa ettiğim şey, gürültüye tepki veren ve buna öğrenme adını takan bir makineydi. Çoğunlukla küçük örneklemden kaynaklanan gürültüye yanıt olarak sıkılaşıp gevşiyordu ve her ayarlama bir sonra olanı şekillendirdiği için, zamanını endişeyle kendi kuyruğunu kovalayarak geçiriyordu.

Zeki gibi hissettiren özellik

Bu fikir, makul oluşuyla baştan çıkarıcıydı. Bot az önce art arda birkaç kez kaybetmişse, koşullar elbette elverişsizdi ve daha fazlasını riske atmadan önce standartlarını yükseltmeliydi. Bir kazanma serisindeyse, koşullar iyiydi ve daha ileri gitmeyi göze alabilirdi. Ortama uyum sağla. Geri bildirime yanıt ver. Kendi durumuna göre ayarlanan bir sistemden daha mantıklı ne olabilir ki?

Ondan memnun olduğumu hatırlıyorum. Bot, sabit bir kurallar dizisinden çok, muhakeme yeteneği olan bir şey gibi hissettiriyordu.

Aslında neye uyum sağlıyordu

Sorun, “geri bildirim” olarak neyin sayıldığıydı. Bot, çok az sayıda yakın sonuca dayanarak ayarlanıyordu — yalnızca bir avuç işlem. Ve bir avuç işlem, genellikle bundan sonra ne geleceğine dair güvenilir bir çıkarımı destekleyecek kadar kanıt taşımaz.

Art arda birkaç kayıp, belirsiz bahislerden oluşan herhangi bir dizide olabilecek en sıradan şeylerden biridir. Yakından bakıldığında rastlantısallığın göründüğü biçim budur. Ama bot, koşullardaki anlamlı bir değişiklik ile şansın tamamen normal bir şekilde kümelenmesi arasındaki farkı söyleyemiyordu, bu yüzden her kısa seriyi bir mesaj olarak ele alıyor ve buna yanıt olarak davranışını dikkatle değiştiriyordu.

Gürültüye tepki vermek tıpkı öğrenmek gibi hissettirir

İçeriden bakıldığında, aşırı tepki ile uyum sağlamayı birbirinden ayırmak zordur. Bot, dar bir anlamda, “piyasaya yanıt veriyordu.” Ama gerçekte yanıt verdiği şey varyanstı — şans unsuru taşıyan herhangi bir süreçte ortaya çıkan kazançların ve kayıpların rastgele kümelenmesi — ve bu varyansı yeniden içgörü olarak etiketliyordu.

Bu, hem insan hem de otomatik birçok işlem mekanizmasının kalbindeki tuzaktır: bir dizi yakın sonuç son derece bilgilendirici gibi hissettirir ve çoğunlukla gürültüdür. Bir sistem bu sonuçlara göre harekete geçmek için ne kadar hızlı davranırsa, gerçek bir şey yerine o kadar sadakatle gürültüyü izler.

Kendini pekiştiren kısım

İşler daha da kötüleşti, çünkü ayarlamalar ölçülen şeyin ta kendisine geri besleniyordu. Kayıplardan sonra temkinli olmak daha az işlem demekti, bu da bir sonraki avuç dolusu sonucun daha da küçük ve daha düzensiz olması demekti, bu da botun tepki verdiği sinyalde daha büyük dalgalanmalar demekti, bu da daha keskin ayarlamalar demekti. Sistem, kendi çarpıttığı bir sayıya yanıt veriyordu — dışarıda kendisini sabitleyecek pek az şey olan bir döngü.

Bir geri bildirim döngüsü, ancak sabitlendiği şey kadar kararlıdır. Benimki çoğunlukla kendi yakın şansına sabitlenmişti, yani çok az şeye sabitlenmişti. Bu yüzden salınıyordu: temkinli, sonra cesur, sonra yine temkinli; her salınım, dünyaya değil, kendinden önceki salınıma bir tepkiydi.

Küçük örneklemler neden yalan söyler

Tüm bunların altında tek bir gösterişsiz istatistiksel gerçek yatıyor: küçük örneklemler ortalamaya yakınsamaz, salınır. “Sayılar bana söyleyecek” rahatlığının tamamı, şansın birbirini götürmesine yetecek kadar sayıya sahip olmaya dayanır. Bir avuç işlem ise bunun tam tersi bir rejimdir — şanstan ağır biçimde etkilenir; burada birkaç iyi veya kötü sonuç ortalamayı neredeyse her yere sürükleyebilir.

Kısa bir yakın pencereye hızla yanıt veren herhangi bir kural — arkasında bağımsız olarak doğrulanmış bir sinyal ya da gerçek bir değişiklik tespiti olmadan — çoğunlukla şansa yanıt veriyordur. Özelliği zeki gibi hissettiren şeyin ta kendisi olan tepkisellik, burada onu yanlış kılan şeyin büyük bir parçasıydı. Bu tür bir tepki ne kadar hızlı olursa, batıl inanca o kadar yaklaşır.

Çözüm: daha yavaş tepki ver, ya da hiç verme

O prototipte yapılan onarım, botun reflekslerini elinden almaktı — kısa bir sonuç serisinin davranışını değiştirmesine artık hiç izin vermemekti. Aklımda tuttuğum daha geniş ders ise daha basit: kısa sonuç dizilerinin yönlendirdiği uyumlardan şüphe et. Bir sistem gerçekten ayarlanacaksa, ayarlamanın kanıtı, son birkaç şans atışını izlemek yerine makul biçimde bir anlam taşıyacak kadar büyük ve yeterince yavaş toplanmış olmalı.

Bir sistemi tepki vermede daha yavaş hale getirmenin onu daha iyi yapabilmesi biraz sezgilere aykırıdır. Ama tepki hızı, yalnızca tepki verilecek gerçek bir sinyal olduğunda bir erdemdir. Kısa vadeli girdi çoğunlukla gürültü olduğunda, eklediğin tepkiselliğin büyük kısmı yalnızca kandırılmanın daha hızlı bir yoludur.

Her uyum zeka değildir

Bundan çıkardığım en derin şey, artık tuttuğum bir ayrımdır: tepki vermek ve öğrenmek, aynı yüzü taşıyabilseler de aynı eylem değildir. Öğrenme, büyük bir kanıt gövdesinden istikrarlı bir örüntü çıkarır. Tepki vermek ise yalnızca en son olan şeyi yansıtır. Son birkaç sonucuna anında ayarlanan bir sistem ille de zekileşmiş olmaz. Batıl inançlı hale gelmiş olabilir — rastlantılara yanıt olarak küçük ritüeller gerçekleştirir ve bir şey fark ettiğine inanır.

“Koşullara uyum sağlıyor” bir özellik gibi kulağa gelir. Bazen, kendi kuyruğunu kovalayan bir sistemin kibar bir tarifidir. Soru hiçbir zaman yalnızca bir şeyin uyum sağlayıp sağlamadığı değildir. Soru, uyum sağladığı şeyin hiç gerçek olup olmadığıdır.

— Sinyal yok, getiri yok, yatırım tavsiyesi değildir.