Lỗi Nằm Ở Chỗ Tôi Đã Tìm Kiếm Ráo Riết Đến Mức Nào

Trong một thời gian, tôi đo lường mức độ nghiêm túc của chính mình bằng quy mô của cuộc tìm kiếm. Tôi đã thử hàng trăm triệu cấu hình của một chiến lược, rồi sau đó, khi chừng đó cảm thấy chưa đủ, là hàng tỷ. Tôi tự hào về con số ấy. Nó cảm giác như sự nghiêm cẩn — như thể tôi không bỏ sót một khả năng nào chưa được xem xét.

Nó lại gần với điều ngược lại của sự nghiêm cẩn hơn. Bản thân quy mô khổng lồ của cuộc tìm kiếm không giúp tôi tìm ra lợi thế. Nó đang chế tạo ra một ảo ảnh, và càng làm nó lớn lên, ảo ảnh ấy càng trở nên thuyết phục.

Niềm tự hào lẽ ra phải là một lời cảnh báo

Tôi từng nhắc đến quy mô của cuộc tìm kiếm theo cách mà bạn có thể nhắc đến số giờ mình đã làm việc: như bằng chứng của sự nỗ lực, của sự kỹ lưỡng, của việc xem vấn đề một cách nghiêm túc. Hàng trăm triệu tổ hợp đã được đánh giá. Rồi nhiều hơn nữa. Có một sự thỏa mãn thực sự khi chỉ vào một con số lớn như thế và nói, về bản chất là, hãy xem tôi đã tìm kiếm cặn kẽ đến nhường nào.

Sự thỏa mãn ấy chính là vấn đề. Tôi đã lặng lẽ nhầm lẫn quy mô của cuộc tìm kiếm với chất lượng của kết quả, và hai thứ đó không chỉ đơn thuần là không liên quan — vượt qua một ngưỡng nào đó, chúng kéo về hai hướng ngược nhau.

Một cuộc tìm kiếm khổng lồ thực sự làm gì

Đây là cơ chế khó chịu ấy. Lấy bất kỳ lát cắt cố định nào của lịch sử và thử đủ nhiều chiến lược khác nhau lên nó, thì một số trong chúng sẽ trông ngoạn mục — không phải vì chúng tốt, mà bởi vì, trong hàng triệu lần thử, vài cái nhất định sẽ tình cờ ăn khớp với những sự ngẫu nhiên riêng biệt của quá khứ chỉ thuần túy bởi may mắn. Bạn càng thử nhiều cấu hình, bạn càng chắc chắn sẽ tìm thấy một trong những sự trùng hợp may mắn này, và cái trùng hợp may mắn nhất sẽ trông càng cực đoan.

Vậy nên một cuộc tìm kiếm khổng lồ không đáng tin cậy trong việc làm lộ ra chiến lược thực sự tốt nhất. Cái mà nó đáng tin cậy làm lộ ra là sự trùng hợp khớp nhất — cấu hình được nhào nặn chính xác nhất theo những đặc tính ngẫu nhiên của đúng tập dữ liệu mà bạn đã tìm kiếm trên đó. Và nó trình ra sự trùng hợp ấy cho bạn, khoác lên mình những kết quả đẹp đẽ nhất mà bạn từng thấy.

Cái bẫy này có một cái tên

Chẳng có gì trong số này là mới. Nó là một trong những cái bẫy mòn vẹt nhất trong toàn bộ thống kê học, với cả một bảo tàng nhỏ những cái tên: so sánh bội (multiple comparisons), nạo vét dữ liệu (data dredging), p-hacking. Cốt lõi của nó luôn luôn như nhau. Hãy kiểm định một giả thuyết, và một kết quả mạnh sẽ mang theo thông tin. Hãy kiểm định một tỷ giả thuyết trên cùng một tập dữ liệu, và xác suất tìm thấy một kết quả trông có vẻ ngoại lệ chỉ thuần túy bởi ngẫu nhiên có thể trở nên rất cao — bất kể có điều gì thực sự ở đó hay không. Với đủ nhiều lần thử, “ngoại lệ chỉ nhờ may mắn” thôi không còn là chuyện khó xảy ra.

Tôi đang chạy một thí nghiệm một-tỷ-giả-thuyết và đọc cái thắng cuộc như thể nó là một khám phá đơn nhất, giành được bằng bao gian khó. Nó không phải vậy. Nó là tiếng ồn lớn nhất trong một căn phòng rất rộng.

Vì sao nó cảm giác như điều ngược lại của overfitting

Phần tàn nhẫn nằm ở chỗ nó cảm giác đầy đức hạnh đến thế nào. “Lật từng hòn đá, không bỏ sót hòn nào” lẽ ra phải là một lời khuyên tốt. Nhưng việc lật từng hòn đá trên một tập dữ liệu cố định duy nhất là một trong những cách chắc chắn nhất để bảo đảm rằng rốt cuộc bạn sẽ lật được một hòn đá tình cờ, bởi ngẫu nhiên, có hình dạng giống như kho báu. Sự kỹ lưỡng trên một mẫu duy nhất không giống với sự nghiêm cẩn. Thường thì nó chỉ là việc mua cho mình ngày càng nhiều cơ hội bị lừa, rồi sau đó lại trầm trồ khi một trong số chúng mang lại kết quả.

Tôi tưởng mình đang cẩn thận. Tôi đã cẩn thận theo đúng cái hướng khiến mọi thứ tệ đi.

Dấu hiệu: kẻ thắng cuộc chẳng bao giờ sống sót khi va chạm

Đặc trưng thường là như nhau, một khi tôi học được cách để ý đến nó. Cấu hình thắng được cuộc tìm kiếm khổng lồ trông tuyệt vời trên dữ liệu mà nó đã được chọn lọc dựa trên đó, rồi sau đó sụp đổ chẳng bao lâu sau khi nó gặp dữ liệu mà nó không được chọn dựa trên. Sự sụp đổ ấy có thể không phải chỉ là vận rủi đơn thuần. Nó là một dấu hiệu cảnh báo phổ biến rằng cuộc tìm kiếm đã tìm ra một sự trùng hợp — mạnh ở trong mẫu (in-sample), bởi trong mẫu chính xác là cái mà nó được tối ưu để khớp vào, và yếu hơn ở ngoài mẫu (out-of-sample), bởi sự trùng hợp ấy có thể không lặp lại một cách đáng tin cậy. (Một sự dịch chuyển thực sự trong điều kiện hoặc một lỗi đơn thuần cũng có thể gây ra sụp đổ; sự chọn lọc trên một cuộc tìm kiếm khổng lồ chỉ là một nghi phạm hàng đầu.)

Một biện pháp giảm thiểu: ràng buộc cuộc tìm kiếm, bảo vệ dữ liệu kiểm định

Việc sửa chữa có hai nửa. Nửa thứ nhất là ngừng coi quy mô của cuộc tìm kiếm như một đức hạnh — là chạy những cuộc khám phá nhỏ hơn, có chủ đích hơn, được dẫn dắt bởi một lý do nào đó để kỳ vọng rằng một cấu hình sẽ hoạt động, thay vì những cú quét mù quáng mênh mông chỉ đơn thuần đào bới dữ liệu để lấy bất cứ thứ gì khớp. Nửa thứ hai, và quan trọng hơn, là khăng khăng đòi bất kỳ kẻ thắng cuộc nào phải cho thấy bằng chứng về độ bền vững trên dữ liệu mà nó chưa từng được phép thấy trong khi nó đang được chọn lọc — đồng thời biết rằng ngay cả một tập giữ-lại (holdout) sạch sẽ, nếu được tham vấn quá thường xuyên, cũng dần dần thôi không còn sạch nữa.

Quy tắc thứ hai ấy chiếm phần lớn của cuộc chơi. Câu hỏi quan trọng không phải là “thứ trông đẹp nhất mà tôi có thể tìm thấy trong quá khứ là gì?” Bất kỳ ai có đủ năng lực tính toán đều có thể tìm thấy một thứ trông tuyệt vời trong quá khứ; quá khứ là hữu hạn, và một cuộc tìm kiếm đủ lớn rốt cuộc sẽ khớp vào những sự ngẫu nhiên của nó. Câu hỏi quan trọng là “thứ tốt nhất mà tôi tìm được có sống sót qua một quãng dữ liệu mà nó không thể nào đã được nhào nặn để khớp vào hay không?” Gần như mọi thứ mà những cuộc tìm kiếm khổng lồ của tôi đào lên đều trượt câu hỏi đó, và sự thất bại ấy nằm trong số những kết quả hữu ích nhất mà chúng từng tạo ra.

Nhiều năng lực tính toán hơn không có nghĩa là nhiều sự thật hơn

Bài học tôi giữ lại là một sự đính chính lặng lẽ cho một bản năng cảm giác gần như không thể cưỡng lại được trong lĩnh vực này: rằng nếu bạn không tìm thấy lợi thế, thì bạn chỉ đơn giản cần tìm kiếm ráo riết hơn — nhiều cấu hình hơn, nhiều năng lực tính toán hơn, nhiều sức mạnh vét cạn hơn. Với một số bài toán, bản năng ấy là đúng. Với bài toán tìm ra một lợi thế thực sự, bền lâu trong dữ liệu nhiễu, nó thường gần với điều ngược lại hơn. Nhiều sức mạnh vét cạn hơn không nhất thiết đưa bạn đến gần sự thật hơn. Đôi khi nó chỉ trao cho nhiễu thêm nhiều lượt ghi danh vào cuộc thi — và nhiễu, khi có đủ nhiều lượt ghi danh, có xu hướng thắng được một thứ gì đó.

Một trong những điều trung thực nhất mà một cuộc tìm kiếm từng làm cho tôi là quay trở về, sau một số lần thử khổng lồ, mà không có gì sống sót cả. Tôi đã mất một khoảng thời gian dài đến mức xấu hổ mới hiểu ra rằng đây không phải là một thất bại của cuộc tìm kiếm. Đó là cuộc tìm kiếm, cuối cùng, đang nói cho tôi biết sự thật.

— Không tín hiệu, không lợi nhuận, không phải lời khuyên đầu tư.