나는 생존자만 연구하고 있었다

오랫동안 나는 눈앞의 데이터로부터 자신만만하게 결론을 끌어냈고, 그만큼 오랫동안 그 데이터에 대한 가장 중요한 사실을 알아차리지 못했다. 그 데이터는 이미 걸러진 것이었다. 생존이라는 체에 걸러진 것이었다. 가장 중요한 사례들은 내가 그것을 들여다보기도 전에 조용히 그림에서 제거되어 있었고, 그것들이 사라진 탓에 나는 그것들을 고려해야 한다는 생각조차 하지 못했다.

이것은 유명한 편향 중 하나다. 누구나 들으면 고개를 끄덕이고, 그러고 나서 거의 모든 사람이 — 나를 포함해 — 곧장 그 함정에 빠지고 마는 그런 편향이다. 그것을 안다는 것과 그것으로부터 보호받는다는 것은 전혀 다른 일이었다.

이 오류의 전형적인 형태

이것을 가장 잘 보여주는 사례는 전시(戰時)에서 나온다. 그 형태가 너무나 깔끔하기에 추상적인 차원에서 떠올려볼 만하다. 임무에서 돌아온 항공기를 연구해 어디에 장갑을 덧댈지 결정한다고 상상해 보라. 돌아온 비행기들이 어디에 손상을 잔뜩 입었는지 살펴보면, 당연한 수순은 바로 그 지점을 보강하는 것이다.

이것은 정확히 틀렸다. 당신이 연구하는 비행기들은, 정의상, 돌아오는 데 성공한 것들이다. 그것들에서 보이는 손상은 비행기가 입고도 살아남을 수 있는 손상이다. 정말로 치명적인 지점에 피격당한 비행기들은 당신 앞에 놓여 검사받지 못한다. 애초에 돌아오지 못했기 때문이다. 당신이 가장 막아야 할 손상이야말로 결코 보이지 않는 손상이다. 그 증거가 스스로 표본에서 빠져나갔기 때문이다. 생존자들은 당신을 정확히 잘못된 방향으로 이끈다.

나의 버전, 같은 실수

이 분야에서 그 함정은 다른 옷을 입고 있지만 골격은 동일하다. 오늘날 연구할 수 있도록 여전히 남아 있는 것들은, 필연적으로, 살아남은 것들이다. 지금 존재하는 자산들은 0으로 가지 않았고, 사라지지 않았으며, 언젠가 역사 속 어딘가에서 조용히 자취를 감추지 않은 것들이다. 만약 내가 지금 내 앞에 있는 것만 연구한다면, 나는 죽지 않았다는 단 하나의 특성으로 미리 선별된 집단을 연구하는 셈이다.

그리고 그렇게 선별된 표본을 근거로, 죽음을 매우 분명히 포함하는 세계에 관한 결론을 끌어내곤 했다. 사실상 나는 승자의 특성을 학습해 놓고, 그것을 참가자의 특성인 양 다루고 있었다. 마치 둘이 같은 집단이라는 듯이. 그러나 둘은 같지 않다. 그 둘 사이의 차이는 내가 들여다보지 않던 무덤이었다.

죽은 자들은 데이터에 나타나지 않는다

진정으로 교활한 부분은 그 메커니즘이다. 실패한 것들은 스스로 당신의 데이터셋에서 빠져나간다. 터져버린 것, 상장폐지된 것, 아무것도 아닌 것이 되어 잊힌 것 — 그것들은 그저 더 이상 당신 앞에 없다. 그리고 당신 앞에 없기에, 그것들은 당신의 결론에 아무런 무게도 행사하지 못한다. 정작 그것들이야말로 일이 실제로 어떻게 잘못되는지에 관한 가장 중요한 증거 덩어리인데도 말이다.

그래서 당신의 데이터는 조용히 큐레이션되어 있다. 그것도 당신이 가장 이해해야 할 바로 그 결과들에 의해 큐레이션되어 있다. 재앙은 스스로를 편집해 지운다. 남는 것은 이런저런 방식으로 살아남은 것들의 말끔한 모음이다. 그리고 당신의 진짜 질문이 리스크에 관한 것이라면, 생존자들의 말끔한 모음은 연구하기에 몹시 오해를 부르는 대상이다. 리스크란 다름 아닌 살아남지 못한 것들의 이야기이기 때문이다.

낙관은 기본 출력값이다

이것을 특히 위험하게 만드는 것은 이 편향이 일관된 방향을 갖는다는 점이다. 그것은 당신의 결론을 무작위로 흩뜨리지 않는다. 매번, 예외 없이, 같은 쪽으로 밀어붙인다. 생존자 편향은 언제나 모든 것을 실제보다 더 안전하고, 더 수익성 있고, 더 신뢰할 만한 것으로 보이게 만든다. 당신이 시작하기도 전에 재앙들이 이미 시야에서 제거되었기 때문이다.

이는 생존자 위에 세워진 어떤 분석이든 체계적으로 장밋빛으로 물들어 있다는 뜻이다. 그리고 그 색조는 내부에서 감지하기가 거의 불가능하다. 빠져 있는 것을 볼 수는 없기 때문이다. 부재는 스스로를 드러내지 않는다. 백 개의 실패가 있어야 할 자리의 빈 공간은 그냥 빈 공간과 똑같아 보인다. 당신이 가진 데이터 속의 그 무엇도 당신이 갖지 못한 데이터에 대해 자발적으로 알려주는 일은 없다. 당신이 물어볼 줄 알아야 한다.

거기 없는 것은 분석할 수 없다

그래서 그 해법이 그토록 직관에 반하고, 가진 데이터를 영리하게 다루는 것만으로는 당신을 구하지 못하는 것이다. 문제는 당신이 가진 데이터에 있지 않다. 문제는 당신이 갖지 못한 데이터에 있다. 편향된 표본에 아무리 엄밀함을 들이부어도 그 편향은 제거되지 않는다. 편향은 표본 안에 살지 않기 때문이다. 그것은 표본과 현실 사이의 간극에 산다. 당신은 생존자를 흠 하나 없이 분석하고도 세계에 대해서는 완전히 틀릴 수 있다. 생존자는 애초에 세계의 전부였던 적이 없기 때문이다.

유일한 진짜 해결책은 적극적으로 나아가 죽은 자들을 찾아내는 것이다. 실패한 것들, 더 이상 존재하지 않는 것들, 스스로를 제거해 버린 사례들을 일부러 찾아 나서서, 손수 그 그림 속에 되돌려 놓는 것이다. 이것은 진정으로 더 어렵다. 그것들은 숨어 있기 때문이다 — 그것이야말로 이 문제의 본질이다. 그것들은 당신에게 다가오지 않는다. 당신이 부재를 찾아 나서야 한다. 부재를 찾는다는 것은 부자연스러운 일이다.

침묵을 헤아리기

여기서 나온 실천적 규율은, 내가 이제 끊임없이 던지려 애쓰는 하나의 질문이다. 이 그림에서 무엇이 빠져 있으며, 그것은 왜 빠져 있는가? 어떤 데이터셋이 깨끗하고 고무적으로 보일 때마다, 올바른 반사작용은 고무됨을 느끼는 것이 아니다. 그것이 그렇게 보이는 까닭이 현실이 진짜로 고무적이어서인지, 아니면 내가 들여다보러 도착하기 전에 풀 죽게 만드는 사례들이 조용히 제거되어서인지를 묻는 것이다.

침묵을 알아차리고 헤아리는 법 — 눈에 띄게 거기 없는 것들에 무게를 부여하는 법 — 을 배운 것은 내가 들인 더 중요한 습관 중 하나가 되었다. 부재에 주의를 기울이는 것은 기묘한 기술이다. 부재란 그 본성상 간과하기 쉽기 때문이다. 그러나 스스로의 실패를 편집해 지우는 세계에서, 제거된 것의 형태를 감지해내는 능력은 싸움의 대부분을 차지한다.

더 깊은 교훈: 부재하는 증거가 가장 중요하다

이 모든 것에서 내가 끝내 얻은 것은, 가장 가치 있는 증거란 흔히 제거되어 버린 증거라는 사실이다. 다름 아닌 그것이 실패를 대변하기에 제거된 것이다. 무덤은 승자의 원(圓)이 결코 담지 못할 만큼 리스크에 관한 정보를 훨씬 더 많이 품고 있다 — 그러나 무덤은 침묵한다. 그것은 결코 당신을 부르지 않을 테니, 당신이 그 안으로 걸어 들어가기를 선택해야 한다.

그래서 이제 고무적인 패턴을 볼 때, 내 첫 질문은 “이게 얼마나 고무적인가?”가 아니다. “이게 이만큼 좋아 보이려면 누가, 무엇이 사라져야 했는가?”이다. 살아남아 당신에게 도달하는 그림은, 거의 언제나, 당신이 가장 연구해야 할 바로 그 결과들에 의해 편집되어 있다. 가장 어렵고 가장 중요한 작업은 잘려나간 것을 재구성하는 일이다.

— 시그널도, 수익도 없습니다. 투자 자문이 아닙니다.