探索統計學和機率的基礎知識，包括變異數、標準差、大數法則及貝氏定理等核心概念。了解如何應用這些理論於日常決策，避免統計謬誤，並提升思考能力與策略。
參考資料
- 基礎知識
- 變異數 (variance)
- 標準差 (standard deviation)
- 大數定律 (Law of large numbers)
- 條件機率 貝氏定理 (Conditionl Probability)
- 概念解释
- 應用意義
- 範例：檢驗準確率、實際有服用興奮劑的機率
- 應用貝氏定理 在工作、創業
- 貝氏統計的灰階思考框架
- 貝氏統計不只是公式，而是一套分析框架
- 先驗機率（Prior）：將先備知識納入決策
- 忽略先驗機率的謬誤（檢察官謬誤）
- 後驗機率：用新資料不斷更新認知
- 量化不確定性：分佈而非單一數值
- 貝氏統計三大優勢情境
- 常態分佈 Normal Distribution
- 統計謬誤
- 基本比率謬誤（Base Rate Fallacy）
- 辛普森悖論（Simpson's paradox）
- 倖存者偏見（Survivorship Bias）
基礎知識
變異數 (variance)
- 用來測量分布的離散程度。
- 變異數是各資料點到平均值的距離平方的平均值。
- 如果分布中，所有資料點數值都相同，則變異數為0。如果一半的資料值為4、另一半為10，則平均每個資料點與平均值的距離為3，變異數等於9
標準差 (standard deviation)
- 標準差 = 變異數的平方根
大數定律 (Law of large numbers)
- 同一件事做很多次，總體平均收益會接近期望值
- 在一個無限遊戲中，永遠要選數學期望高的選項，即使這個選項未必能為你帶來成功
- 使個體的不確定性被轉化為群體的確定性
- 頂尖的專業投資人之所以頂尖，是因為他獨有的投資原則的數學期望比其他人高，同時他對大數定律的信仰比別人強
Example：詐騙電話
- 會受騙的人不多，所以單一 一次詐騙的成功率不高
- 但只要嘗試夠多次，排除掉「不容易被騙的人」，找出「容易被騙的人」，用力騙一次，把錢騙到手
條件機率 貝氏定理 (Conditionl Probability)
Intro
- P（A|B)
- 「『事件A』在『事件B發生的條件下』發生的機率」
P(A|B) = P(A)P(B|A) / P(B)
概念解释
- P(A|B)：已知 B 發生後，A 發生的機率（事後機率 / 後驗概率）
- P(A)：A 的事前機率（先驗概率）
- P(B|A)：已知 A 發生後，B 的條件機率（可能度）
- P(B)：B 的事前機率（邊際概率）
應用意義
- 貝葉斯定理的核心思想是：當獲得新資訊（B 發生）時，我們可以使用這個定理來更新對某一事件（A）的概率估計。
- 在決策、診斷、推理等領域中，貝葉斯定理幫助我們用新證據逐步修正先前的信念或判斷。
範例：檢驗準確率、實際有服用興奮劑的機率
事件描述：
- A: 運動員有服用興奮劑的事件
- B: 檢驗結果為陽性的事件
- ~B: 檢驗結果為陰性
- P(A) = 2%， 運動員有服用興奮劑的 機率
- P(B|A) = 95%
- 檢驗測試的正確率 = 95%
- = 實際上有服用興奮劑的情況下，測試結果為陽性的機率
- = 實際上沒有服用興奮劑的情況下，檢驗結果為陰性的機率
- P(A|B)，即「在測試結果為陽性的情況下，實際上有服用興奮劑的機率」
有 19+49 = 68 人被檢測為陽性
檢驗結果為陽性，且實際上有服用興奮劑的機率 = P(A|B) = 19 / 68 = 28%
解讀：
- 如果某人的檢測呈陽性，這人真正服用興奮劑的可能性只有19/68 = 28%——其他72%的陽性檢測是假指控。雖然藥物檢測可以宣稱「95%準確」，但檢測呈陽性的大多數人事實上是未服用者
- 這種明顯的矛盾在現實生活中會造成問題：因為運動員沒有通過藥物檢測，便遭人隨意指責
根據貝氏定理，P(B) = (0.02 * 0.95) / 0.28 = 6.8%
P(B) = 測試結果為陽性的機率 = 6.8%
注意：
- P(B|A) = 檢驗測試的正確率 = 有服用興奮劑，且檢測呈陽性的機率 = 95%
- P(A|B) = 檢驗結果為陽性，且實際上有服用興奮劑的機率 = 28%
應用貝氏定理 在工作、創業
- 貝氏定理可以：
- 「使用領域知識、新獲得的資料證據 」，來不斷「更新你現有的認知」，「綜合所有資訊」去描述世界的狀態
- 隨著你不斷更新「搜集新的資料」，貝氏統計不會決定你的預測結果，反而是「更新你的認知」，知道「這個預測結果的 未知風險 有多大」
- 我們並非總是能拿到很多樣本作為參考，貝氏統計在你搜集到少少資料點的時候，就幫你清楚量化估計的「不確定性」有多大，讓你有個標準可以決定「該不該採用這項估計做決策」。貝氏統計的參數估計分佈讓你知道你還有多少「不知道」。
- 結論：「正確的事情，重複做」
- 用貝氏定理不斷復盤、改進自己的流程，從而總結出那些「會帶來成功機率大的事情」，也就是「正確的事情」
- 然後透過重複做這些正確的事情，在每一輪競爭中戰勝競爭對手，獲得下一輪融資，最終贏得巨大成功。
貝氏統計的灰階思考框架
來源：為何要用貝氏統計？讓決策持續進化的灰階思考 (好豪筆記)
貝氏統計不只是公式，而是一套分析框架
- 貝氏統計並不只是特定的數學公式，而是一套分析框架，幫助你在模型加入個人觀點、讓統計模型隨著新的資料取得不斷進化、並且量化你對決策究竟有多麽「不確定」
- 貝氏統計帶有「灰階思考」的哲學：不管你有多少資料、有多相信自己的認知，最後都會給你對估計的分佈、而不是「是或否」這種二分法回答
- 就算你從分佈看得出某個事件最有可能發生，其他事件發生的機率也不會是零，你需要有意識地注意到它們不是不可能發生
先驗機率（Prior）：將先備知識納入決策
- 先驗機率是你目前對世界的認知，可以來自過去累積的經驗、也可以只是一個直覺，它不需要 100% 正確
- 領域知識以及商業經驗對分析影響重大，貝氏方法讓你利用先驗機率有架構地加入這些智慧
- 關於「主觀性」的疑慮：資料科學的許多環節本來就存在人類主觀判斷的元素（例如清理離群值時，判斷標準也是主觀決定的），因此不需害怕在模型中加入想法
忽略先驗機率的謬誤（檢察官謬誤）
- 範例：你認識一個看起來十分內向的新朋友小明，他更可能是數學博士還是商學院學生？
- 刻板印象會讓我們猜數學博士，但全世界數學博士總數量遠少於商學院學生
- 就算數學博士的內向人比例較高，考慮到兩個群體的總數差異，小明依然較可能是商學院學生
- 這就是忽略先驗機率（基本比率）所犯下的謬誤
後驗機率：用新資料不斷更新認知
- 貝氏統計會告訴你，模型認為參數估計的「分佈」有何變化，這個分佈會隨著每次搜集新的資料不斷更新
- 核心概念：一開始我們對世界存在某種認知。得到新資料後，我們更新認知，並且更加相信（或更不相信）原本的認知
- 貝氏統計不會決定預測結果，而是更新你的認知
量化不確定性：分佈而非單一數值
- 貝氏統計的輸出是參數估計的分佈，而不是單一個估計值，因此可以同時看出對估計的不確定性
- 又瘦又高的分佈表示模型較有信心；又寬又矮的分佈表示模型較為不確定
- 在資料量小、而且決策影響力重大的時候，量化「不確定」顯得格外重要
- 貝氏統計在搜集到少量資料點的時候，就能幫你清楚量化估計的不確定性有多大，讓你有個標準決定該不該採用這項估計做決策
貝氏統計三大優勢情境
- 你需要把領域知識加入統計模型中
- 你的決策影響大、但資料量小，特別需要清楚知道每次新資料如何「更新」模型
- 你不只要預測，還需要知道預測的未知風險多大
常態分佈 Normal Distribution
統計謬誤
基本比率謬誤（Base Rate Fallacy）
範例：Google的搜索引擎市場有多大，究竟要怎麼定義？
辛普森悖論（Simpson's paradox）
問題到底出在哪裡？出在分群組原則上。某些特定的分群組原則確實有可能導致「在總評中弱勢的一方在分組比較中反而占優勢」這種情況的出現。
倖存者偏見（Survivorship Bias）
所有成功的企業家都是商業世界的倖存者，只學習這些倖存者是不可能得出正確結論的。要想找到真正的成功祕訣，你應該在全部樣本中抽樣統計，去採訪一下那些創業失敗的人。當你這樣做了之後，你可能會發現，他們也挺堅持的，只是堅持的事情不對。