쫓기 시작한 순간, 그 숫자는 진실을 말하기를 멈췄다

언젠가부터 나는 내 진척도를 몇 가지 단순한 숫자로 측정하기 시작했다. 실험을 몇 번이나 돌렸는지, 몇 가지를 시도해봤는지, 얼마나 많은 영역을 다루고 있다고 느끼는지 같은 것들로 말이다. 이건 지극히 합리적으로 보였다. 측정하지 않는 것은 개선할 수 없고, 나는 내가 실제로 나아가고 있는지에 대한 정직한 신호를 갖고 싶었으니까. 그러다 나는 그 숫자들을 끌어올리려 애쓰기 시작했다. 그리고 그렇게 한 순간, 그 숫자들은 조용히 본래 의미하던 바를 의미하기를 멈췄다.

알고 보니 이것은 존재하는 실패 양상 중에서도 가장 확실하면서도 가장 직관에 반하는 것 중 하나였다. 게으름이나 부정직함의 문제가 아니다. 측정값을 목표로 바꾸는 순간 거의 자동으로 일어나는 구조적인 현상이며, 나는 더없이 선한 의도를 품은 채 그 안으로 곧장 걸어 들어갔다.

숫자를 관찰하는 것과 숫자를 쫓는 것은 다른 행위다

내가 완전히 놓치고 있던 구분은 이렇다. 어떤 지표는 그저 관찰만 하고 있을 때에는 실제 무언가에 대한 진정으로 정직한 신호일 수 있다. 숫자를 지켜보면 그것이 근원적 현실을 상당히 잘 반영하고, 유용한 것들을 알려준다. 그 모드에서 그것은 온도계다. 내가 신경 쓰는 어떤 상태를 충실하게 읽어내는 장치인 것이다.

하지만 그것을 최적화하기 시작하는 순간, 무언가가 바뀐다. 이제 나는 그 숫자를 움직이기 위해 특정하게 내 행동을 바꾸고 있고, 이는 내 행동이 그 숫자가 대변하기로 했던 대상이 아니라 그 숫자 자체에 봉사하기 시작한다는 뜻이다. 관찰과 겨냥은 같은 행위의 두 가지 강도가 아니다. 그것들은 서로 다른 행위이며, 측정의 신뢰성에 정반대의 효과를 미친다. 하나는 세계를 읽고, 다른 하나는 당신의 인센티브를 조용히 다시 쓴다.

이것에는 이름이 있다

나중에야 나는 이 패턴이 거기에 이름이 붙을 만큼 잘 알려져 있다는 것을 알게 되었다. 어떤 측정값이 목표가 되면, 그것은 좋은 측정값이기를 멈춘다. 그 숫자가 유용했던 것은 바로 당신이 그것을 농간하지 않았기 때문이다. 대리 지표와 그것이 대변하던 현실 사이의 상관관계는 당신이 그 대리 지표를 적극적으로 밀어붙이지 않는 동안에만 유지되었다. 밀어붙이기 시작하면, 애초에 그 숫자를 지켜볼 가치가 있게 만들었던 바로 그 연결고리를 끊어버리게 된다.

일단 보고 나니 이것이 얼마나 법칙에 가까운지가 충격적이었다. 그것은 나약한 성격이나 허술한 사고에 대한 경고가 아니다. 그것은 신중하고 선의를 가진 사람들에게도, 최적화가 대리 지표를 만났을 때의 거의 기계적인 귀결로서, 자동으로 일어난다. 그것을 안다고 해서 면역이 생기는 것은 아니다. 단지 이미 당신에게 일어나고 있는 그것에 붙일 이름을 줄 뿐이다.

내가 겪은 버전: 진척이 아니라 움직임을 최적화하기

내가 겪은 구체적인 버전은 거의 민망할 만큼 전형적이었다. 나는 “돌린 실험의 수” 같은 것을 진척의 대용물로 삼았는데, 이는 표면적으로는 불합리하지 않다. 실험이 많을수록 학습도 많을 테니까, 대략은. 그러다 나는 그것을 최적화하기 시작했다. 더 많은 실험을, 더 작은 것을, 더 빠른 것을, 카운트를 확실하게 밀어 올릴 만한 종류의 실험을 돌렸다.

그리고 카운트는 아름답게 올라갔다. 그것은 기분 좋게 느껴지는 방식으로, 그리고 어떤 대시보드에서든 누군가가 훌륭한 진척을 내고 있는 것처럼 보이는 방식으로 솟아올랐다. 실제 진척은 그와 함께 오르지 않았다. 그 어딘가에서 나는 실험을 그것의 실제 가치가 아니라 지표에 미치는 효과를 기준으로 고르기 시작했기 때문이다. 느리고 모호하지만 진정으로 유익한 실험보다, 빠르고 셀 수 있고 안전한 실험을 선호하게 된 것이다. 나는 온도계를 목표로 바꿔놓고는, 방을 측정하는 일이 방이 얼마나 따뜻한지 더 이상 알려주지 않는다는 데 혼란스러워했다. 나는 방이 아니라 온도계를 데우고 있었던 것이다.

모든 대리 지표에는 여유 공간이 있고, 최적화는 그것을 즉시 찾아낸다

그 밑에 깔린 메커니즘은 이해할 가치가 있다. 당신이 앞으로 사용할 모든 지표에 일반화되기 때문이다. 대리 지표가 대리 지표인 까닭은 바로 그것이 당신이 신경 쓰는 대상과 동일하지는 않으면서 상관되어 있기 때문이다. 그리고 두 가지가 상관되어 있되 동일하지 않은 곳이라면 어디에나 그 둘 사이에 여유 공간이 있다. 하나를 움직이지 않고도 다른 하나를 움직이는 방법들, 대리 지표와 현실이 어긋나는 틈새들 말이다.

부드러운 관찰은 결코 그 여유 공간을 찾아내지 않는다. 그럴 이유가 없으니까. 하지만 강한 최적화는 그것을 거의 즉시 찾아낸다. 숫자를 움직이는 가능한 한 가장 값싼 방법을 찾아내는 것이 바로 최적화가 하는 일이기 때문이다. 그것이 최적화의 기능 전부다. 그러니 어떤 대리 지표든 세게 밀어붙일수록, 그것이 당신이 실제로 원했던 것과 갈라지는 바로 그 지점들을 더 확실하게 발견하고 착취하게 된다. 다시 말해, 세게 밀어붙일수록 그 측정값을 더 빨리 텅 비게 만든다. 대리 지표에 가해진 노력은 여유 공간을 찾아내는 기계다.

잔인한 점은, 그것이 정확히 이기는 것처럼 느껴진다는 것이다

이 함정의 가장 고약한 특징은 그것이 안에서 어떻게 느껴지는가다. 대리 지표를 농간하는 것은 성공하는 것과 구별되지 않게 느껴진다. 그 숫자가, 즉 당신이 가진 성공의 일차적 증거가 올라가고 있기 때문이다. 당신은 진척의 온전한 감각을, 그 모든 만족감과 추진력과 안도감을 얻는다. 그러는 동안 실제 근원적 대상은 정체되거나 조용히 뒷걸음친다.

이것이 바로 스스로에게서 이를 포착하기가 그토록 어려운 이유다. 그 지표는 당신의 조기 경보 시스템이자 현실과의 연결고리여야 했는데, 이제 당신에게 문제를 알려야 할 바로 그것이 모든 게 괜찮다고 당신을 안심시키는 그것이 되어 있다. 그것은 당신을 위로하도록 설계되어 있고, 그것이 더 이상 진실이 아니게 된 바로 그 순간에도 계속 당신을 위로한다. 당신은 그저 속는 것이 아니다. 당신은 결코 당신을 속이지 않으리라 특별히 믿었던 바로 그 도구에 의해 속는다.

측정값을 정직하게 유지하기

이것을 완전히 벗어날 수는 없지만, 나는 저항하는 방법들을 찾아냈다. 지표를 느슨하게 쥐어라. 극대화할 목표가 아니라 해석해야 할 불완전한 신호로서 말이다. 그 틀 짓기 하나만으로도 차이가 난다. 여러 개의 서로 다른 대리 지표를 한꺼번에 지켜봐라. 그래야 어느 하나를 농간하는 것이 그것들 사이의 수상한 괴리로 드러난다. 그리고 가장 중요하게는, 주기적으로 숫자 뒤에 있는 실제 근원적 대상을 직접 가서 들여다봐라. 대리 지표가 그것이 대변한다고 주장하는 현실로부터 멀어지지 않았는지 당신 자신의 눈으로 확인하라.

그 모든 것을 관통하는 공통의 실은, 하나의 숫자가 그 목표가 되도록 내버려두기를 거부하는 것이다. 단 하나의 지표가 “유용한 신호”에서 “우리가 극대화하는 대상”으로 승격되는 순간, 그것은 세계로 향한 창에서 당신이 장식하는 물건으로의 조용한 변신을 시작한다. 방어책은 그 어떤 측정값에게도 결코 그 승격을 부여하지 않는 것이다.

더 깊은 교훈: 당신이 최적화하는 지도가 곧 거짓말하는 지도다

이 모든 것은 결국 이것으로 환원된다. 지표는 당신이 실제로 신경 쓰는 무언가의 지도다. 당신이 영토를 보기 위해 그 지도를 사용하는 한, 그것은 당신에게 봉사한다. 하지만 당신이 지도 그 자체를 최적화하기 시작하는 순간, 즉 그 장소가 아니라 그림을 개선하기 시작하는 순간, 그 지도는 필연적으로 영토로부터 갈라지기 시작한다. 당신이 모든 노력을 표현된 대상으로부터 거두어 표현 그 자체로 돌려놓았기 때문이다.

그래서 나는 이제 쫓기 위해서가 아니라 보기 위해서 측정하려 애쓴다. 그 숫자는 실제 무언가로 향한 창이다. 그리고 그 창을 더 좋아 보이게 만들려고 닦고 장식하기 시작하는 순간, 당신은 그것을 통해 보는 능력을 아예 잃어버린 것이다. 풍경이 전부의 목적이었다. 창은 결코 당신이 작업해야 할 대상이 아니었다.

— 신호도, 수익도 없으며, 투자 자문이 아닙니다.