自動化したら、理解できなくなった

仕事の中でも退屈で、反復的で、ミスの起きやすい部分を自動化することは、純粋で混じり気のない前進のように感じられた。そして大半においては、本当にその通りだった。だがそれには、予想していなかったコストが抱き合わせになっていて、しかもずっと後になるまで完全には理解できなかった。自動化が良くなればなるほど、その下で実際に何が起きているのかを、自分はかえって理解しなくなっていったのだ。私は労働だけでなく、気づかないうちに、自分自身の理解のかなりの部分までも自動化して手放してしまっていた。

これは書くのが気まずい教訓だ。なぜなら、わかりやすい反応は「だったら自動化しなければいい」というもので、それこそがまさに間違った結論だからだ。自動化は良いものだ。問題はそれよりも繊細で、単純なトレードオフのふりをすると、本当の罠を見落としてしまう。

自動化すべき、当たり前で正しいケース

まずは自動化に公平でありたい。自動化を支持する根拠は強く、本物だからだ。同じこまごました作業を手作業で何度も繰り返すのは遅い。それはまた、人為的なミスの、信頼できて尽きることのない供給源でもある。手作業のプロセスを百回目にやるとき、一回目よりもミスをしやすくなっているものだ。自動化すれば作業は速くなり、はるかに一貫したものになり、限られた注意力を、本当に思考を要することのために解放できる。

それはすべて真実で、もう一度同じ選択をするだろう。私は自動化が誤りだと主張しに来たのではない。誰も私に話してくれなかった、あの特有の静かなコスト――わかりやすい利点の内側に隠れていて、後になってからしか姿を現さないコストを描き出しに来たのだ。

自動化はあなたをループから外す

その仕組みはこうだ。何かを手作業でやるとき、あなたはそれを見ざるを得ない。すべての手順が、好むと好まざるとにかかわらず、あなたの注意を通過していく。そしてほとんど副作用のように、あなたはその物事への直観を積み上げていく――何が正常に見えるか、途中の値がおおよそどうあるべきか、何かがかすかにおかしい匂いがするのはいつか、という肌感覚だ。学ぼうとしているわけではない。ただすべての反復にその場で立ち会うことだけで、それを吸収していくのだ。

そのプロセスを自動化すれば、付随する理解の流れ全体が、音もなく干上がっていく。手順は相変わらず実行されるが、もうあなたを通過しない。あなたは見るのをやめる――しかも意図的にやめる。見なくて済むことこそが、そもそもの目的だったのだから。自動化を価値あるものにしたまさにその要素、つまり人間をループから外すという行為が、人間の理解をループから外す行為でもある。利便性と盲目は、同じひとつの行為なのだ。

本当の危険はサイレント障害だ

私が最も過小評価していた結果は、自動化されたものの壊れ方だった。手作業のプロセスは、たいてい派手に壊れる。なぜなら、それが壊れるとき、あなたはちょうどその場に立っているからだ。間違った数字、止まった手順、どこか正しく見えない出力を目にして、あなたはその瞬間に反応する。

自動化されたプロセスは、ほとんど定義からして、静かに壊れる。なぜなら、それを作った目的そのものが、本来なら気づいたであろう人間を取り除くことだったからだ。だからそれは壊れたまま走り続けることができる――間違った結果を、自信たっぷりに、疲れも知らずに生み出しながら、誰かがたまたま近くで詳しく見るまで、とても長い間そうしていられる。自動化は手を挙げて「混乱しています」とは言ってくれない。ただ静かに、間違ったことを、大規模に、すべてが順調なときと同じ青信号の落ち着きでやってのける。あなたが気づくころには、認めたいよりもずっと長い間、それは間違い続けていることが多い。

「動いた、だから正しかった」という誘惑

サイレント障害の上に重なるのが、自動化が育てる特有の偽りの自信だ。すなわち、動いた、ゆえに正しかった、というものだ。これはもっともらしく聞こえるが、深く間違っている。「エラーを投げずに実行された」ことと「正しいことをした」ことは、まったく別の主張であり、その両者の隙間こそ、最悪の問題が住み着く場所なのだ。

自動化された成功は、手作業の成功よりもさらに誘惑的だと判明する。それがまさに、起きるところをあなたが見ていなかったからだ。手作業なら、少なくとも結果が形になっていくのを目にし、それに不安を感じる機会がいくらかあった。自動化では、最後の青信号だけが見え、青信号というのは途方もなく安心させてくれる。あなたは信じきって先へ進む。その安心させてくれる信号が、出力が正しかったかどうかについては何ひとつ語っていないことなど、まったく知らないまま。

自動化したスキルは、失うスキルだ

これらすべての下には、もっと緩やかで、もっと悲しいコストがある。あるタスクを自動化すると、あなたはそれについて徐々にスキルを失っていく。ちらりと見ただけで「これは微妙に間違っている」と感じ取れるようにしてくれた、あの手に染みついた習熟――その習熟は練習からしか生まれないのに、あなたは自分の練習をたった今取り除いてしまった。それは使われないことで、節約できた時間に感謝するのに忙しいあいだに、静かに衰えていく。

そしてこれが、本当に残酷な罠を仕掛ける。自動化がついに壊れる瞬間――十分な時間が経てば、それは必ず壊れる――は、まさにあなたがそれを診断する装備を最も欠いている瞬間なのだ。なぜなら、あなたはその何か月もの間、その作業を自分でやらずに過ごしてきたのだから。あなたは、緊急事態が最も高い能力を要求するちょうどそのときに、自分の能力が最も低くなるように物事をお膳立てしてしまったのだ。自動化はあなたがそれを最も必要としないときに最も強く、あなた自身の理解は、それを突然最も必要とするまさにそのときに最も弱かった。

労働を自動化せよ、理解を自動化するな

私にとっての解決策は、自動化をやめることではなかった。それは愚かな自己破壊だろう。解決策は、完全に放棄することなく自動化することだった。自動化を、不透明ではなく観測可能なものとして作ること――何をしているのかを隠すのではなく表に出すように、そして静かに航行し続けるのではなく、何かがおかしければ派手に壊れて、文句を言うように作ることだ。混乱したときにそれを伝えられない自動化は、利便性の装いをまとった負債だ。

そして同じくらい重要なこととして、やらなくてもいいのに、ときどき意図的に手作業でその作業をやることだ――まさに理解を生かし続けるため、直観を錆びつかせないため、正常が実際どう見えるのかと触れ続けるために。取り除く価値があったのは労働の部分だ。理解は決して雑用ではなかったし、それは私が能動的に努力して保ち続けなければならない部分なのだ。

より深い教訓――理解を守れ

結局のところそれは、最初に理解しておきたかったたったひとつの区別に行き着く。あなたは作業を安全に自動化できる。だが作業の理解を安全に自動化することはできない――なぜなら、自動化が静かに狂ったときにそれに気づかせてくれるのは、理解だけだからだ。この二つは、自動化を作っているときには同じものに感じられるが、まったく同じものではない。

本当のパラドックスは、システムを信頼するようになればなるほど、実はそれをチェックできる能力がより必要になるということだ――それなのに利便性は、来る日も来る日も、まさに正反対のことをするよう、つまりもっと信頼してもっとチェックしないよう、ついには本当にチェックする能力さえなくなるまで、あなたを誘惑する。だから今、私は自分自身の理解を、自動化して手放すことを断固として拒む唯一のものとして扱おうとしている。機械には労働をくれてやればいい。理解は私のもとに残す。なぜなら、それこそが、機械が嘘をついているときに気づく部分だからだ。

— シグナルなし、リターンなし、投資助言ではありません。