Bot yang Mengejar Ekornya Sendiri

Saya pernah memberi bot trading live saya sesuatu yang terasa seperti percikan kecerdasan: kemampuan untuk beradaptasi. Setelah serangkaian kerugian, ia akan menjadi lebih berhati-hati; setelah serangkaian kemenangan, lebih agresif. Ia tampak responsif, nyaris hidup — sebuah sistem yang memperhatikan bagaimana kinerjanya dan menyesuaikan diri sesuai dengan itu.

Yang sebenarnya saya bangun adalah sebuah mesin yang bereaksi terhadap derau dan menyebutnya pembelajaran. Ia mengetat dan mengendur sebagai respons terhadap apa yang sebagian besar adalah derau sampel kecil, dan karena setiap penyesuaian membentuk apa yang terjadi berikutnya, ia menghabiskan waktunya dengan cemas mengejar ekornya sendiri.

Fitur yang terasa cerdas

Gagasan itu menggoda dalam kewajarannya. Jika bot baru saja kalah beberapa kali berturut-turut, tentu kondisinya tidak menguntungkan, dan ia seharusnya menaikkan standarnya sebelum mempertaruhkan lebih banyak. Jika ia sedang dalam rentetan kemenangan, kondisinya bagus, dan ia bisa saja bersikap lebih berani. Beradaptasi dengan lingkungan. Merespons umpan balik. Apa yang bisa lebih masuk akal daripada sebuah sistem yang menyesuaikan diri dengan bagaimana kinerjanya?

Saya ingat merasa puas dengannya. Ia membuat bot terasa kurang seperti seperangkat aturan yang kaku dan lebih seperti sesuatu yang memiliki pertimbangan.

Apa yang sebenarnya ia adaptasi

Masalahnya adalah apa yang dianggap sebagai “umpan balik”. Bot menyesuaikan diri berdasarkan sejumlah kecil hasil terkini — hanya segelintir trade. Dan segelintir trade biasanya membawa terlalu sedikit bukti untuk menopang inferensi yang andal tentang apa yang akan datang.

Beberapa kerugian berturut-turut adalah salah satu hal paling biasa yang bisa terjadi dalam rangkaian taruhan yang tidak pasti mana pun. Itulah wujud keacakan jika dilihat dari dekat. Tetapi bot tidak bisa membedakan antara perubahan kondisi yang bermakna dan pengelompokan keberuntungan yang sepenuhnya normal, sehingga ia memperlakukan setiap rentetan pendek sebagai pesan dan dengan patuh mengubah perilakunya sebagai responsnya.

Bereaksi terhadap derau terasa persis seperti belajar

Dari dalam, reaksi berlebihan sulit dibedakan dari adaptasi. Bot itu, dalam makna yang sempit, “merespons pasar”. Tetapi apa yang sebenarnya ia respons adalah varians — pengelompokan acak kemenangan dan kerugian yang terjadi dalam proses apa pun yang mengandung unsur kebetulan — dan melabeli ulang varians itu sebagai wawasan.

Inilah jebakan di jantung banyak perangkat trading, baik manusia maupun otomatis: serangkaian hasil terkini terasa luar biasa informatif padahal sebagian besar adalah derau. Semakin cepat sebuah sistem bertindak atas hasil-hasil itu, semakin setia ia melacak derau alih-alih sesuatu yang nyata.

Bagian yang memperkuat diri sendiri

Keadaannya menjadi lebih buruk, karena penyesuaian-penyesuaian itu mengumpan balik ke hal yang sedang diukur. Menjadi berhati-hati setelah kerugian berarti lebih sedikit trade, yang berarti segelintir hasil berikutnya menjadi lebih kecil dan lebih tak menentu, yang berarti ayunan yang lebih besar dalam sinyal yang direspons bot, yang berarti penyesuaian yang lebih tajam. Sistem itu merespons sebuah angka yang ia sendiri distorsikan — sebuah lingkar dengan sedikit hal di luarnya untuk menjangkarkannya.

Sebuah lingkar umpan balik hanya sestabil hal yang menjadi jangkarnya. Lingkar saya sebagian besar terjangkar pada keberuntungannya sendiri yang terkini, yang artinya, terjangkar pada amat sedikit hal. Maka ia berosilasi: berhati-hati, lalu berani, lalu berhati-hati lagi, setiap ayunan adalah reaksi terhadap ayunan sebelumnya alih-alih terhadap dunia.

Mengapa sampel kecil berbohong

Di balik semua ini ada satu fakta statistik tunggal yang tidak menarik: sampel kecil tidak merata, ia berayun. Seluruh kenyamanan dari “angka-angka akan memberitahu saya” bertumpu pada adanya cukup banyak angka agar keberuntungan saling meniadakan. Segelintir trade adalah rezim yang sebaliknya — sangat dipengaruhi oleh kebetulan, di mana beberapa hasil baik atau buruk dapat menyeret rata-rata ke mana saja.

Aturan apa pun yang merespons dengan cepat terhadap jendela terkini yang pendek — tanpa sinyal yang divalidasi secara independen atau semacam perilaku deteksi-perubahan yang nyata di baliknya — sebagian besar merespons kebetulan. Responsivitas, hal yang membuat fitur ini terasa cerdas, justru sebagian besar adalah yang membuatnya keliru di sini. Semakin cepat reaksi semacam itu, semakin dekat ia ke takhayul.

Perbaikannya: bereaksi lebih lambat, atau tidak sama sekali

Perbaikan, dalam prototipe itu, adalah mengambil refleks bot — berhenti membiarkan rentetan hasil yang pendek mengubah perilakunya sama sekali. Pelajaran yang lebih luas yang saya pegang lebih sederhana: curigai adaptasi yang didorong oleh rangkaian hasil yang pendek. Jika sebuah sistem hendak menyesuaikan diri sama sekali, bukti untuk menyesuaikan diri itu seharusnya cukup besar, dan dikumpulkan cukup perlahan, agar masuk akal bermakna alih-alih melacak beberapa lemparan keberuntungan terakhir.

Agak berlawanan dengan intuisi bahwa membuat sebuah sistem lebih lambat bereaksi dapat membuatnya lebih baik. Tetapi kecepatan reaksi hanyalah keutamaan ketika ada sinyal nyata untuk direspons. Ketika masukan jangka pendek sebagian besar adalah derau, banyak dari responsivitas yang Anda tambahkan hanyalah cara yang lebih cepat untuk tertipu.

Tidak semua adaptasi adalah kecerdasan

Hal terdalam yang saya ambil dari ini adalah sebuah pembedaan yang kini saya pegang erat: bereaksi dan belajar bukanlah tindakan yang sama, meski keduanya bisa mengenakan wajah yang sama. Belajar mengekstrak pola yang stabil dari sekumpulan besar bukti. Bereaksi hanya mencerminkan hal terkini yang baru saja terjadi. Sebuah sistem yang seketika menyesuaikan diri dengan beberapa hasil terakhirnya belum tentu menjadi cerdas. Ia mungkin telah menjadi takhayul — melakukan ritual-ritual kecil sebagai respons terhadap kebetulan, yakin bahwa ia telah memperhatikan sesuatu.

“Ia beradaptasi dengan kondisi” terdengar seperti sebuah fitur. Pada sebagian waktu, itu adalah deskripsi yang sopan untuk sebuah sistem yang mengejar ekornya sendiri. Pertanyaannya tidak pernah hanya apakah sesuatu beradaptasi. Pertanyaannya adalah apakah hal yang ia adaptasi itu pernah nyata.

— Tidak ada sinyal, tidak ada imbal hasil, bukan nasihat investasi.