Angka Itu Berhenti Mengatakan Kebenaran Begitu Saya Mengejarnya

Pada suatu titik saya mulai mengukur kemajuan saya sendiri dengan beberapa angka sederhana — berapa banyak eksperimen yang sudah saya jalankan, berapa banyak hal yang sudah saya coba, seberapa luas wilayah yang saya rasa sudah saya jelajahi. Ini tampak sepenuhnya masuk akal; Anda tidak bisa memperbaiki apa yang tidak Anda ukur, dan saya menginginkan sinyal yang jujur tentang apakah saya benar-benar bergerak maju. Lalu saya mulai berusaha membuat angka-angka itu naik. Dan begitu saya melakukannya, angka-angka itu diam-diam berhenti berarti seperti yang dulu mereka maknai.

Ternyata ini adalah salah satu mode kegagalan yang paling bisa diandalkan dan paling tidak intuitif yang ada. Ini bukan soal kemalasan atau ketidakjujuran. Ini adalah hal struktural yang terjadi nyaris secara otomatis pada saat Anda mengubah sebuah pengukuran menjadi sebuah tujuan, dan saya melangkah lurus ke dalamnya dengan niat sebaik mungkin.

Mengamati sebuah angka dan mengejar sebuah angka adalah dua tindakan yang berbeda

Inilah perbedaan yang sepenuhnya saya lewatkan. Sebuah metrik, selama Anda hanya mengamatinya, bisa menjadi sinyal yang benar-benar jujur tentang sesuatu yang nyata. Anda mengawasi angka itu, ia merefleksikan realitas yang mendasarinya dengan cukup baik, dan ia memberi tahu Anda hal-hal yang berguna. Dalam mode itu, ia adalah sebuah termometer: pembacaan yang setia dari sebuah keadaan yang Anda pedulikan.

Namun begitu Anda mulai mengoptimalkannya, sesuatu berubah. Sekarang Anda mengubah perilaku Anda sendiri secara khusus untuk menggerakkan angka itu, yang berarti perilaku Anda mulai melayani angka itu alih-alih hal yang seharusnya diwakili oleh angka tersebut. Mengamati dan menargetkan bukanlah dua intensitas dari tindakan yang sama. Keduanya adalah tindakan yang berbeda, dengan efek yang berlawanan terhadap tingkat keterpercayaan pengukuran itu. Yang satu membaca dunia; yang lain diam-diam menulis ulang insentif Anda.

Hal ini punya nama

Belakangan saya belajar bahwa pola ini cukup terkenal hingga punya nama yang melekat padanya: ketika sebuah ukuran menjadi sebuah target, ia berhenti menjadi ukuran yang baik. Angka itu berguna justru karena Anda tidak mengakalinya. Korelasi antara proksi dan realitas yang diwakilinya bertahan hanya selama Anda tidak secara aktif menekan proksi itu. Mulailah menekan, dan Anda memutuskan tepat tautan yang membuat angka itu layak diawasi sejak awal.

Yang mengejutkan saya tentang hal ini, begitu saya melihatnya, adalah betapa hampir menyerupai hukum. Ini bukan peringatan tentang karakter yang lemah atau pemikiran yang ceroboh. Ini terjadi pada orang yang teliti dan berniat baik, secara otomatis, sebagai konsekuensi yang nyaris mekanis dari pertemuan antara optimasi dan sebuah proksi. Mengetahuinya tidak membuat Anda kebal. Ia hanya memberi Anda sebuah nama untuk hal yang sudah terjadi pada Anda.

Versi saya sendiri: mengoptimalkan gerakan alih-alih kemajuan

Versi spesifik saya nyaris memalukan saking jelasnya. Saya telah mengambil sesuatu seperti “jumlah eksperimen yang dijalankan” sebagai pengganti kemajuan, yang sekilas tidak tidak masuk akal — lebih banyak eksperimen, lebih banyak pembelajaran, kurang lebih begitu. Lalu saya mulai mengoptimalkannya. Saya menjalankan lebih banyak eksperimen, yang lebih kecil, yang lebih cepat, jenis yang akan dengan andal menaikkan hitungannya.

Dan hitungan itu naik dengan indah. Ia melonjak dengan cara yang terasa luar biasa dan terlihat, di dasbor mana pun, seperti seseorang yang membuat kemajuan hebat. Kemajuan yang sebenarnya tidak ikut melonjak, karena di suatu titik saya mulai memilih eksperimen berdasarkan efeknya terhadap metrik alih-alih berdasarkan nilai sebenarnya — mengutamakan yang cepat, bisa dihitung, dan aman ketimbang yang lambat, ambigu, dan benar-benar informatif. Saya telah mengambil sebuah termometer, mengubahnya menjadi tujuan, lalu merasa bingung kenapa mengukur ruangan berhenti memberi tahu saya seberapa hangat ruangan itu. Saya memanaskan termometernya, bukan ruangannya.

Setiap proksi punya celah, dan optimasi menemukannya seketika

Mekanisme yang ada di baliknya layak dipahami, karena ia berlaku umum untuk setiap metrik yang akan pernah Anda gunakan. Sebuah proksi adalah proksi justru karena ia berkorelasi dengan hal yang Anda pedulikan tanpa identik dengannya. Dan di mana pun dua hal berkorelasi tetapi tidak identik, ada celah di antara keduanya — cara-cara untuk menggerakkan yang satu tanpa menggerakkan yang lain, jeda tempat proksi dan realitas berpisah.

Pengamatan yang lembut tidak pernah menemukan celah itu; ia tidak punya alasan untuk itu. Tetapi optimasi yang keras menemukannya nyaris seketika, karena menemukan cara termurah yang mungkin untuk menggerakkan angka itu adalah persis hal yang dilakukan optimasi. Itulah seluruh fungsinya. Jadi semakin keras Anda menekan proksi mana pun, semakin andal Anda menemukan dan mengeksploitasi tempat-tempat persis di mana ia menyimpang dari apa yang sebenarnya Anda inginkan — yang berarti, semakin keras Anda menekan, semakin cepat Anda mengosongkan ukuran itu. Upaya yang diterapkan pada sebuah proksi adalah mesin pencari celah.

Kekejamannya adalah bahwa rasanya persis seperti menang

Fitur paling buruk dari jebakan ini adalah bagaimana rasanya dari dalam. Mengakali sebuah proksi terasa tak terbedakan dari berhasil, karena angka itu — bukti utama kesuksesan Anda — sedang naik. Anda mendapatkan sensasi kemajuan secara penuh, segala kepuasan, momentum, dan keyakinan, sementara hal yang sebenarnya mendasarinya mandek atau diam-diam tergelincir mundur.

Inilah yang membuatnya begitu sulit ditangkap dalam diri sendiri. Metrik itu seharusnya menjadi sistem peringatan dini Anda, koneksi Anda dengan realitas, dan kini justru hal yang seharusnya memperingatkan Anda akan masalah adalah hal yang meyakinkan Anda bahwa semuanya baik-baik saja. Ia dirancang untuk menenangkan Anda, dan ia terus saja menenangkan Anda pada saat persis ketika ia berhenti menjadi benar. Anda bukan sekadar tertipu; Anda tertipu oleh instrumen yang Anda percayai justru agar tidak menipu Anda.

Menjaga sebuah ukuran tetap jujur

Anda tidak bisa sepenuhnya lolos dari ini, tetapi saya memang menemukan cara-cara untuk menahannya. Pegang metrik dengan longgar, sebagai sinyal yang tidak sempurna untuk ditafsirkan ketimbang target untuk dimaksimalkan — pembingkaiannya saja sudah penting. Awasi beberapa proksi yang berbeda sekaligus, sehingga mengakali salah satunya akan muncul sebagai divergensi yang mencurigakan di antara mereka. Dan, yang paling penting, secara berkala pergi dan lihat langsung hal yang sebenarnya mendasarinya, di balik angka itu, untuk memastikan dengan mata Anda sendiri bahwa proksi itu tidak hanyut menjauh dari realitas yang diklaimnya wakili.

Benang merah dari semua itu adalah menolak membiarkan satu angka menjadi tujuan. Pada saat satu metrik dinaikkan pangkat dari “sinyal yang berguna” menjadi “hal yang kami maksimalkan,” ia memulai transformasi diam-diamnya dari sebuah jendela ke dunia menjadi sebuah benda yang Anda hias. Pertahanannya adalah tidak pernah memberi ukuran mana pun kenaikan pangkat itu.

Pelajaran yang lebih dalam: peta yang Anda optimalkan adalah peta yang berbohong

Semuanya bermuara pada ini. Sebuah metrik adalah peta dari sesuatu yang sebenarnya Anda pedulikan. Selama Anda menggunakan peta itu untuk melihat wilayahnya, ia melayani Anda. Tetapi begitu Anda mulai mengoptimalkan peta itu sendiri — memperbaiki gambarnya alih-alih tempatnya — peta itu mulai, mau tak mau, menyimpang dari wilayahnya, karena Anda telah mengalihkan seluruh upaya Anda ke representasinya dan menjauh dari hal yang direpresentasikan.

Jadi sekarang saya berusaha mengukur untuk melihat, bukan untuk mengejar. Angka itu adalah jendela menuju sesuatu yang nyata. Dan pada saat Anda mulai memoles dan menghias jendela itu agar tampak lebih bagus, Anda telah kehilangan kemampuan untuk melihat menembusnya sama sekali. Pemandangannya itulah seluruh intinya. Jendela itu tidak pernah dimaksudkan menjadi hal yang Anda kerjakan.

— Tanpa sinyal, tanpa imbal hasil, bukan nasihat investasi.