工具-用資訊消除不確定性

🎯 什麼情境該想到我

當你面對一個「很不確定、抓不準」的問題，手上資料一大堆卻越看越亂、算不出答案的時候。核心洞見：資訊量＝不確定性的多少（資訊熵 H = -Σp·log p）。

先估「不確定性有多大」：要搞清楚的事越模糊、可能性越多，需要引入的資訊就越多（世界盃 32 強誰奪冠＝5 位元的資訊）。
靠「引入相關資訊」把它消掉，而不是玩公式：不確定性 U，引入資訊 I，剩下 U’ = U − I；只有 I 夠大、且與問題相關，才能真正消除不確定性。（二戰佐爾格一則「日本將南下」的 1 位元情報，價值抵過千軍萬馬。）
資訊不夠時，去「找更多相關資訊」：可以是直接關於目標的，也可以是與它相關的其他線索（相關資訊也能降低不確定性）。
別做最糟的事——引入人為假設：在既有資料上硬套公式、憑主觀臆斷，等於「蒙」，結果只會更糟。沒有新資訊，任何公式都消不掉不確定性。

註：站內沒有《數學之美》的原書檔。以下補充的公式與數字都可以自己推導或重算（計算以 Python 驗證，2026-09-25），不引用原書頁碼。

$H (X) = - \sum_{i} p_{i} lo g_{2} p_{i} （單位：位元）$

例 1：世界盃 32 強誰奪冠

每隊機率相同（1/32）： $H = lo g_{2} 32 = 5$ 位元——也就是最多問 5 個「是／否」問題（每次把候選砍半）就能知道答案。
機率不同時熵會變小：假設 4 支強隊各有 15%、其餘 28 隊平分 40%，算出來 $H \approx 4.09$ 位元。你已經知道的事（誰比較強），本身就是資訊。

例 2：硬幣

公平硬幣：1 位元。
九成正面的硬幣： $H = - (0.9 lo g_{2} 0.9 + 0.1 lo g_{2} 0.1) \approx 0.47$ 位元——結果幾乎猜得到，所以告訴你結果帶來的資訊很少。

直覺：熵量的是「你還有多不確定」。越平均、越猜不到，熵越高。

猜一個 1～100 的數字，每次只能問「比 X 大嗎？」，最少要幾次？每個問題最多帶來 1 位元資訊，而總共要消除 $lo g_{2} 100 \approx 6.64$ 位元，所以至少 7 次——二分搜尋剛好達到這個下限。

推論：一個好問題，是讓兩種答案機率盡量接近的問題。問「是 37 嗎？」只有 1% 的機會帶來大量資訊，平均帶來的資訊遠少於 1 位元。

除錯就是在消除「bug 在哪裡」的不確定性。設 bug 在模組 A 或 B 的機率各半（1 位元的不確定性），你有一個測試：

實務判準：下一步要做什麼實驗？選那個「不同假設下結果差異最大」的。git bisect 每次選正中間的 commit，就是在最大化每一步的資訊量（見工具-系統化除錯）。

$H (X ∣ Y) \leq H (X)$ ——知道 Y 之後，對 X 的不確定性平均不會增加（等號只在 X 與 Y 無關時成立）。這就是卡片第 3 條「相關資訊也能降低不確定性」的數學版本。但注意是「平均」：某一個特定的觀察結果，可能讓你暫時更困惑。

關鍵是資訊要「相關」；引入一堆無關資訊（德軍在北非的動向）解決不了你真正的問題（日本的意圖）。先問：這條資訊跟我要判斷的事有關嗎？
熵只量「不確定性」，不量「重要性」：一條只有 1 位元、但決定生死的情報（卡片中佐爾格的例子），和 1 位元的閒聊資訊量相同。資訊理論告訴你不確定性減少了多少，判斷值不值得減少要靠別的標準。