Число перестало говорить правду в тот момент, когда я начал за ним гнаться

В какой-то момент я начал измерять собственный прогресс несколькими простыми числами — сколько экспериментов я провёл, сколько всего я перепробовал, какой объём я, как мне казалось, охватываю. Это выглядело совершенно разумно: нельзя улучшить то, что не измеряешь, и мне хотелось получить честный сигнал о том, действительно ли я двигаюсь вперёд. А потом я начал стараться, чтобы эти числа росли. И в тот самый момент они тихо перестали означать то, что означали раньше.

Это, как выясняется, один из самых надёжных и наименее интуитивных способов всё испортить. Дело не в лени и не в нечестности. Это структурное явление, которое происходит почти автоматически в ту секунду, когда измерение превращается в цель, — и я угодил в него прямиком, с самыми лучшими намерениями.

Наблюдать за числом и гнаться за числом — это разные действия

Вот различие, которое я полностью упустил. Метрика, пока ты за ней просто наблюдаешь, может быть по-настоящему честным сигналом о чём-то реальном. Ты смотришь на число, оно довольно неплохо отражает лежащую под ним реальность и сообщает тебе полезные вещи. В этом режиме оно термометр: достоверный показатель состояния, которое тебе важно.

Однако в ту секунду, когда ты начинаешь его оптимизировать, что-то меняется. Теперь ты меняешь собственное поведение именно ради того, чтобы сдвинуть число, а это значит, что твоё поведение начинает служить числу, а не той вещи, которую число должно было представлять. Наблюдение и нацеливание — это не две степени интенсивности одного и того же действия. Это разные действия, оказывающие противоположное влияние на достоверность измерения. Одно читает мир; другое тихо переписывает твои стимулы.

У этого есть имя

Позже я узнал, что этот феномен достаточно известен, чтобы за ним закрепилось имя: когда мера становится целью, она перестаёт быть хорошей мерой. Число было полезным именно потому, что ты его не подкручивал. Корреляция между прокси и реальностью, которую оно представляло, держалась лишь до тех пор, пока ты активно не давил на прокси. Начни давить — и ты разрываешь ту самую связь, ради которой за числом вообще стоило следить.

Что меня поразило в этом, едва я это увидел, — насколько близко оно к закону. Это не предостережение о слабом характере или небрежном мышлении. Оно случается с аккуратными, добросовестными людьми, автоматически, как почти механическое следствие встречи оптимизации с прокси. Знание о нём не делает тебя неуязвимым. Оно лишь даёт тебе имя для того, что с тобой уже происходит.

Моя собственная версия: оптимизация движения вместо прогресса

Моя конкретная версия была почти неловко чистой. Я взял что-то вроде «количества проведённых экспериментов» как замену прогрессу, что само по себе не лишено смысла — больше экспериментов, больше обучения, грубо говоря. А потом я начал это оптимизировать. Я проводил больше экспериментов, поменьше, побыстрее — таких, которые надёжно подталкивают счётчик вверх.

И счётчик рос великолепно. Он карабкался вверх так, что это ощущалось чудесно и выглядело — на любой панели мониторинга — как человек, делающий отличный прогресс. Настоящий прогресс вместе с ним не рос, потому что где-то по дороге я начал выбирать эксперименты ради их влияния на метрику, а не ради их реальной ценности — отдавая предпочтение быстрым, поддающимся подсчёту, безопасным перед медленными, неоднозначными, по-настоящему информативными. Я взял термометр, превратил его в цель, а потом удивлялся, почему измерение комнаты перестало говорить мне, насколько в ней тепло. Я нагревал термометр, а не комнату.

У каждого прокси есть зазор, и оптимизация находит его мгновенно

Лежащий в основе механизм стоит понять, потому что он обобщается на любую метрику, которую тебе когда-либо доведётся использовать. Прокси является прокси именно потому, что он коррелирует с тем, что тебе важно, не будучи ему тождественным. А везде, где две вещи коррелируют, но не тождественны, между ними есть зазор — способы сдвинуть одну, не сдвигая другую, щели, в которых прокси и реальность расходятся.

Мягкое наблюдение этот зазор никогда не находит; у него нет причины его искать. Но жёсткая оптимизация находит его почти сразу, потому что отыскать самый дешёвый способ сдвинуть число — это ровно то, чем оптимизация занимается. В этом вся её функция. Так что чем сильнее ты давишь на любой прокси, тем надёжнее ты обнаруживаешь и эксплуатируешь те самые места, где он расходится с тем, чего ты на самом деле хотел, — иначе говоря, чем сильнее давишь, тем быстрее ты выхолащиваешь меру. Усилие, приложенное к прокси, — это машина по поиску зазоров.

Жестокость в том, что это ощущается в точности как победа

Худшая черта этой ловушки — то, как она ощущается изнутри. Подкручивание прокси неотличимо по ощущению от настоящего успеха, потому что число — твоё главное свидетельство успеха — растёт. Ты получаешь полное ощущение прогресса, всё удовлетворение, импульс и уверенность, в то время как реальная вещь под ним буксует или тихо сползает назад.

Именно это делает ловушку такой трудной, чтобы поймать её в самом себе. Метрика должна была быть твоей системой раннего предупреждения, твоей связью с реальностью, а теперь то самое, что должно сигнализировать о беде, — это то, что убеждает тебя, будто всё в порядке. Она устроена так, чтобы тебя успокаивать, и она продолжает успокаивать тебя ровно в тот момент, когда перестала быть правдой. Тебя не просто обманули; тебя обманул тот инструмент, которому ты доверял именно потому, что он не должен был тебя обманывать.

Как сохранить меру честной

Полностью от этого не уйти, но я всё же нашёл способы сопротивляться. Держи метрики свободно, как несовершенные сигналы, которые нужно интерпретировать, а не как цели, которые нужно максимизировать, — одна только эта рамка уже важна. Следи за несколькими разными прокси одновременно, чтобы подкрутка любого из них проявлялась как подозрительное расхождение между ними. И, самое главное, периодически иди и смотри напрямую на саму реальную вещь, что стоит за числом, чтобы собственными глазами проверить, что прокси не отдрейфовал от реальности, которую он якобы представляет.

Общая нить во всём этом — отказ позволить одному числу стать той самой целью. В тот момент, когда единственная метрика повышается из «полезного сигнала» до «того, что мы максимизируем», она начинает своё тихое превращение из окна в мир в вещь, которую ты украшаешь. Защита в том, чтобы никогда не давать ни одной мере такого повышения.

Более глубокий урок: карта, которую ты оптимизируешь, — это карта, которая лжёт

Всё сводится вот к чему. Метрика — это карта того, что тебе на самом деле важно. Пока ты используешь карту, чтобы видеть местность, она тебе служит. Но в ту секунду, когда ты начинаешь оптимизировать саму карту — улучшать рисунок, а не место, — карта неизбежно начинает расходиться с местностью, потому что ты перенаправил всё своё усилие в изображение и прочь от изображаемой вещи.

Поэтому теперь я стараюсь измерять, чтобы видеть, а не чтобы гнаться. Число — это окно в нечто реальное. И в тот момент, когда ты начинаешь полировать и украшать окно, чтобы оно выглядело красивее, ты вообще теряешь способность смотреть сквозь него. Весь смысл был в виде из окна. Окно никогда не предполагалось как то, над чем ты работаешь.

— Никаких сигналов, никакой доходности, не инвестиционная рекомендация.