參考資料
- 模型 Intro
- 模型的 3 項共同特徵
- 用模型思考可以做到的事
- 資料→資訊→知識→智慧
- 模型的 7 大功能
- 各種模型適用的問題情境
- 模型 - 3 種類型/方法
- 1. 具體化 (Embodiment Approach)
- 2. 類比 (Analogy Approach)
- 3. 另類實境法 (Alternative Reality Approach)
- 多模型思維的理論基礎
- (直接說結論) 我們可以視情況隨機應變 “運用少數幾個模型” 養成多模型思維,用來嘗試分析真實世界中的複雜問題
- (我還沒看懂這是啥) 分類模型 (Categorization Model)
- (可略過不看) 結論 - 多模型思維的理論基礎
- (可略過不看) 推導 - 同時用多個模型的優點 (多數決的智慧會大過單獨一個人的智慧)
- (可略過不看) 模用單一大模型 vs 用多個小模型
- 人群行為模型
- 人群行為模型 - Intro
- 幾種不同類型的人群行為模型
- 根據情境和目標決定該選擇哪種方式來建立人群模型
- 人的特性 (影響了模型的預測準確率)
- <1> 人群行為模型 - 理性決策模型 (Rational-Actor Model)
- 理性決策模型 - Intro
- 理性決策模型的假設 & 論點
- <3> 人群行為模型 - 規則為本模型 (rule-based model)
- (理性決策) 最佳化為本模型 vs 行為規則則為本模型
- 行為規則可來自:固定規則 or 適應規則
- 固定規則 範例 - 零智慧規則(zero intelligence rule)
- 適應規則 範例:艾法洛酒吧模型 El Farol Model
- 微觀巨觀迴路 (Micro-macro Loop)
- <4> 人群行為模型 - 人類的各種偏誤
- <5> 常態分佈 (Normal Distribution)
- 背景:常態分佈 v.s. 長尾分佈
- 常態分佈 基礎
- 中央極限定理
- 常態分布 :
- 常態分佈的應用
- 群體裡的個數愈多,則平均標準差會愈小
- 顯著性檢定
- 六個標準差方法 (Six sigma Method)
- 對數常態分佈 - Intro
- 常見的 對數常態分佈範例:
- 長尾分佈 (Long-tailed Distribution)
- 長尾分佈 - Intro
- 長尾分佈 - 範例:
- <6> 長尾分佈 - 偏好依附模型 (Preferential Attachment Model)
- 可用來解釋這些情境:
- <7> 長尾分佈 - 自我組織臨界模型 (Self-Organized Criticality Model)
- 可用來解釋這些情境:
- 冪律分布 (Power-law Distribution)
- 齊夫分佈(Zipf distribution)
- 齊夫分佈 範例
- <8> 線性迴歸模型
- 線性回歸模型 Intro
- 相關性 vs 因果 (correlation vs causation)
- 大係數思維
- 新現實思維 (new-reality thinking)
- 範例:成功是源於 運氣 or 實力
- <10> 標準經濟生產模型
- 柯布道格拉斯模型 Cobb-Douglas Model
- 簡化的成長模型 (我還沒看懂)
- <12> 貢獻度模型
- 合作賽局模型 (Cooperative Game Model)
- 最後上車值 ( LOTB Value, Last-on-the-bus Value)
- 夏普利值 (Shapley Value)
- LOTB Value 與 Shapley Value 的範例
- 投票賽局 (Voting Game)
- 網路模型
- 網路結構 - 統計指標
- 常見的網路結構
- <1> 隨機網路
- <2> 地理網路
- <3> 冪律網路
- <4> 小世界網路
- 網路如何成形
- <>範例:電力網
- <13> 範例:友誼悖論
- 範例:六度分隔
- 網路的穩定性
- 情況:節點隨機消失
- 選擇性移除節點
- 填補社群中的結構洞
- 傳播模型:廣播、擴散、傳染
- <14> 廣播模型 Broadcast Model
- <15> 擴散模型 Diffusion Model
- 巴斯模型
- <16> SIR 傳染模型 (SIR Model of Contagion)
- <17> 熵 (Entropy) - 不確定性模型
- 資訊熵 (Information Entropy) (這個章節我看不懂)
- 用熵值分辨四種不同種類的結果 (平衡、循環、隨機狀態、複雜狀態)
- 三種最大熵值分佈 (這個章節我看不懂)
- 熵值 vs 變異數 (variance)
- 隨機過程 - 白努力的甕模型 & 隨機漫步模型
- 白努力的甕模型 (Bernoulli Urn model)
- 隨機漫步模型 (Random Walk Model)
模型 Intro
模型是什麼
- 是 ”用數學和圖表來呈現事情現象” 的結構,可以用數學或 程式碼來描述一個模型
- 不同模型強調不同的因果關係
模型的 3 項共同特徵
- 簡化、刪去不必要的細節
- 把 現實 抽象化 (i.e. 抽象化 現實)
- 形式化,使用精確定義
- 使用數學算式,不使用文字描述
- 用機率分佈來描述世界
- 模型簡化了真實世界的情況、刪去了細節,所以不 100% 代表真實世界,
用模型思考可以做到的事
- 可以確保邏輯一致、維持嚴謹的思路,避免只用直覺做判斷
- 在資訊爆炸的時代,用高效率吸收處理更多資訊
- 運用邏輯思考去 處理問題 (problem)、提出假設、推理出事情的發生原因、做出決策
可以同時利用多個模型
- 來解釋複雜的現象
- 同時可以發現各個模型可能有的盲點,
- 若只使用單獨一個模型,可能會忽略現實世界的重要因素
資料→資訊→知識→智慧
- 資料:原始的、未經整理的事件 or 現象
- E.g. 出生人數、降雨量
- 資訊:整理過後的資料
- E.g. 降雨量與湖水水位高低的連動關係
- 知識:
- 把資訊組織成 “已被證實正確性的真實信念”,至少包括
- 相關性
- 因果關係
- 邏輯寬係
- 知識 常常以 模型 的形式呈現
- 智慧:
- 遇到一個問題時,選擇取用 正確的資訊、正確的知識、正確的模型
模型的 7 大功能
這七大功能的英文首字母組成了REDCAPE(紅披風)
- 推理 (Reason)
- 找出重要的角色、因素
- 描述這些因素如何互相影響,推論出因果關係、導致事情發生的原因
- 解釋 (Explain)
- 為經驗/現象 提供可被驗證的原因解釋
- 策劃 (Design)
- 選擇制度、政策、制定方向
- 溝通 (Communicate)
- 建立通用的表達方式,改善溝通的成效
- 行動 (Act):
- 指引該做什麼選擇和行動
- 預測 (Predict):
- 對未來、未知的現象做出量化及分類預測
- 探索 (Explore):探討各種可能和假設
其他參考資料
各種模型適用的問題情境
模型 | 說明 | 適用場景範例 |
---|---|---|
<1> 人群行為模型 - 理性決策模型 | 用來預測人會進行什麼行動、怎麼做事情、分配預算 ...etc,並假設人會依據「取得最佳化」的結果來做行動 | 預測人群 “把多少比例的花費放在住房上”,會使整體花費能產生 “最大的效用” |
<2> 人群行為模型 - 行為規則為本模型 | 假設人們有特定的行為,以行為做為基礎。人不一定會將 “最大化報酬/效用” 作為行為依據。 行為規則可來自:固定規則 or 適應規則 | |
<3> 人群行為模型 - 心理偏誤 | 損失趨避 1. 人面對 潛在收益 時,會採取 風險趨避 (risk-averse) 2. 人面對 潛在損失 時,卻會採取 風險追求 (risk-loving) 雙曲折現 (Hyperbolic Discounting) 1. 人面對眼前的未來,會有較強的折現效應 (相較於比較遠的未來) | 1. 人面對 潛在收益、潛在損失時,不同的風險承受意願 2. 人面對 近期未來 vs 長期未來的利益時,有不同的折現效應 |
<4> 常態分佈 | 針對隨機且獨立事件的平均值加總,分析各個 “值” 的發生機率。 並且,這些值幾乎沒有 “大數值事件” (e.g. 大地震、搜林大火),反而都是小數值事件 | 1. 一群人的身高分佈 2. 飛機準時到達的機率 |
<5> 對數常態分佈 | 如果獨立隨機變數 相乘 產生的隨機變數為 對數常態分布 (而非常態分布) 代表可能出現更多的大數值事件,而小數值事件發生的機率則比常態分布還多 | 1. 英國農莊大小 2. 地球礦物集中度 3. 從感染疾病到出現症狀的時間 4. 許多國家的收入分布 |
長尾分佈:非獨立事件、有極端大數值的事件。 人會受別人的行為影響自己的決策。並且往往導致大者恆大、贏家全拿 | 1. 各個城市人口分佈 2. 書籍銷量 3. 音樂下載量 | |
<7> 長尾分佈 - 自我組織臨界模型 | 森林會自然而然達到臨界密度上限 (巨觀變數值),不會再變得更密了。 當有突發事件發生 (e.g. 森林大火),巨觀變數值 (e.g. 森林密度) 會大幅減少 | 1. 交通阻塞 2. 戰爭的死亡人數 3. 地震、火災、雪崩的規模 地震規模、戰爭死亡人數和書籍銷售量,這些事件大部分發生的數值都很小,但有時候會突然出現龐大數字 |
<8> 線性回歸模型 | 可說明幾個變數之間的相關性 (但無法直接證明是否存在因果關係) | |
<9> 非線性回歸模型 - 凸函數 - 指數成長模型 | 斜率遞增 | 1. 人口成長速度 2. 股價成長 3. 房價成長 4. 放射性物質衰退 5. 人遺忘事情的速度 |
<10> 非線性回歸模型 - 指數成長模型 - 凹函數 | 斜率遞減 擁有的東西愈多,每增加一單位東西而新帶來的價值變得愈少 | 1. E.g. 吃炸雞會很爽,但是連續吃到第 5 塊炸雞時,就沒有吃第 1 塊時那麼爽了 2. E.g. 遠距離戀愛的相處方式可能更令人感覺幸福 |
<11> 非線性回歸模型 - 指數成長模型 - 凹函數 - 標準經濟生產模型 | 用 勞動力 和 資本 預估 產出、邊際產出 | 1. 用 勞動力 和 資本 預估 產出。預測邊際產出 在何時會達到飽和 |
<12> 貢獻度模型 | 不同人在群體中,會因為他在什麼群體、在多大的群體、他是第幾個加入此群體的人...等因素決定他對這群體帶來的貢獻度 | 1. 計算某成員在此時此刻加入某群體能帶來的邊際貢獻度 2. 計算各個政黨在國會議事投票中擁有的 bargining power (國會中擁有的席次雖然和權力相關,但並非正好依席次比例分配) |
<13> 網路模型 - 友誼悖論 | 在任何網路中,平均來說,人的朋友們總是比他自己擁有更多朋友 | 友誼悖論在任何網路中都成立 1. E.g. 包含學術引用網路、電子郵件網路、性接觸網路、銀行網路和國際貿易網路。 2. E.g. 平均來說,一篇論文引用的文獻的被引用次數,遠遠大於你自己這篇論文的被引用次數 3. E.g. 一個國家的貿易夥伴,平均來說會和更多國家有貿易夥伴關係 |
<14> 傳播模型 - 廣播 | 人們從單一來源接收想法 or 感染疾病 | 1. 想法、謠言、新聞、資訊、科技” 透過 “電視、廣播或網路等媒體” 傳播給更多人 2. 政府、公司或報紙等資訊來源傳播資訊的過程 3. 由水源傳播出的環境汙染 |
<15> 傳播模型 - 擴散 | 藉由接觸而傳染疾病 or 資訊口耳相傳,並且假設不會痊癒 | 1. 人傳人的疾病 2. 許多產品、想法和創新突破 藉由人群的口耳相傳 |
<16> 傳播模型 - SIR 傳染模型 | 被傳染疾病之後,有機率會痊癒 | 1. 病人感染疾病疾病之後的痊癒情況 2. 某流行風潮 逐漸退流行、某資訊的價值逐漸變低 |
<17> 不確定性模型 | 1. 測量 “不確定性” 2. 用來比較兩種全然不同的現象,何者的 ”不確定性” 比較高 1. 分辨 “看似隨機的複雜模式” 2. 分辨 “看似固定模式、實則隨機的現象” | 1. 判斷紐西蘭選舉結果和聯合國不信任投票,何者不確定性高; 2. 比較股價和運動比賽結果,何者不確定性高 |
模型 - 3 種類型/方法
1. 具體化 (Embodiment Approach)
- 重點:
- 納入關鍵的重要因素
- 刪去不必要的維度和屬性
- E.g.
- 交通系統、氣候
2. 類比 (Analogy Approach)
- 重點:
- 針對 現實狀態 做 抽象化 (i.e.)
- 用 “現成的模型” 去模擬描述 “另一個不同的系統”
- E.g.
- 用 “疾病蔓延模型” 來模擬 “犯罪擴散”
3. 另類實境法 (Alternative Reality Approach)
- 重點:
- 故意不描述現實
- 嘗試提出 ”超越了物理現實和社會現狀的洞見”
多模型思維的理論基礎
(直接說結論) 我們可以視情況隨機應變 “運用少數幾個模型” 養成多模型思維,用來嘗試分析真實世界中的複雜問題
- “同時使用多個模型” 會比 “單獨使用其中任何一個模型” 更加精準
- 用任何單一方法來觀察世界,都不免忽略掉某些細節並產生盲點。
- 單模型思考者比較不容易預測到大型事件,例如市場崩潰或2011年的阿拉伯之春。
- 使用多模型思維的人,預測準確度高於僅使用單一模型的人。
- 養成多模型思維, 確實需要需要瞭解一個以上的模型,但我們 並不需要瞭解過多模型,只需要能把 少數幾個模型 妥善運用在 多個不同領域 即可。
- 用太多模型也未必比較好,因為隨著使用的模型變多,其產生的邊際效應會逐漸遞減
- 一對多:要能隨機應變、有創意地去 調整假設 、建構全新的類比,如此才能在各種新發生的場景中,為新的目標找到適宜的模型。
- 並非每個模型都適用於各種任務。如果一個模型無法解釋、預測和幫助推理,就不應使用該模型
- 並不代表多模型方法總是正確的,有時建構單一的大模型,反倒可能較有效
(我還沒看懂這是啥) 分類模型 (Categorization Model)
- Intro
- 把事情的狀態劃分到獨立的盒子裡面
- 一組物體中,用 一組屬性 對 其中每一個單獨物體 做定義
- 當然也可以同時用 多組屬性,給予每一個單獨物體 做不同的定義
- 範例:
- 將 100 筆就學貸款資料
- 依據 “學生科系類別” 區分成:文科學生、理工科學生
- 依據 “貸款金額” 區分成:大額貸款、小額貸款
- 最終能將 100 筆貸款資料區分成 2x2 = 4 種貸款類型
- 雖然增加模型數量能提高準確度(根據孔多塞陪審團定理可推得),但在模型數量超過一定額度之後,額外模型的邊際貢獻會大幅下降。
- 例如,谷歌發現請一位面試官評估求職者(與隨機挑選錄取者相比),雇用到平均水準以上求職者的機率,由50%增加到74%,增加第二位面試官可提高到81%、三位面試官可提高到84%、四位面試官86%,但二十位面試官 (太多了!!) 同時評估求職者,也只會將機率提高至略高於90%,邊際效應大幅下降。
(可略過不看) 結論 - 多模型思維的理論基礎
- 用 孔多塞陪審團定理 和 多樣性預測定理,做為一對多方法的邏輯基礎。
- 使用 分類模型 呈現模型差異度的極限,觀察多模型如何改善預測、行動、策劃等等能力。
- 然找出 多個 有用的相異模型 並不容易。如果能做到,則可以用接近完美的準確度來預測,然而實際上不太可能達成。
- 但是我們的目標為盡可能建構出 最多 有用的相異模型。
(可略過不看) 推導 - 同時用多個模型的優點 (多數決的智慧會大過單獨一個人的智慧)
- 孔多塞陪審團定理 (Condorcet Jury Theorem)
- 假設:
- 陪審團中每個陪審員做出正確判決的機率都大於 50%
- 且各個陪審員做出正確判決的機率,與別的陪審員做出正確判決的機率 之間是相互獨立的
- 則:
- 多數決的正確判決機率,會比 “只存在任何一位單獨陪審員” 更高
- 延伸結論:
- “同時使用多個模型” 會比 “單獨使用其中任何一個模型” 更加精準
- 多樣性預測定理
- 量化了 模型準確度 及 模型差異度 對於 模型平均精準度 的貢獻
- 背後的邏輯是正負相反的誤差會互相抵消。
- 如果其中一個模型預測太高而另一個太低,兩者之間就會產生預測差異度。
- 兩個模型的誤差相抵後,多模型平均值就會比任一個模型都還準確。
- 即使兩個模型 預測值 都太高了,預測平均的誤差(先平均再計算誤差)也會比預測誤差的平均(先計算個別模型誤差再平均)還要低。
(可略過不看) 更多論述:
- 然而 多樣性預測定理並不意味著任何一組多樣化模型都準確無誤。
- 如果一組多樣化模型裡的所有模型都有相同偏差,則平均也會帶有同樣偏差。
- 但是多樣性預測定理能夠確定任何多樣化模型(或人群)的集合,將比其中的平均個體還要準確,這個現象稱為「群眾的智慧」。
(可略過不看) 缺陷:
- 至少在預測方面,這兩個定理足以說服我們使用多模型方法。然而這兩個定理依然存在缺陷。
- 孔多塞陪審團定理指出如果使用的模型夠多,就幾乎不可能犯錯。
- 多樣性預測模型則指出如果能建構一組多樣化模型,其中的個別模型預測程度不要相差太多,就能將多模型誤差降至接近零。
(可略過不看) 模用單一大模型 vs 用多個小模型
- 回想模型的七大功能:推理、解釋、策劃、溝通、行動、預測和探索。
- 要達到 推理、解釋、溝通和探索 這四項功能,需要把問題先簡化,簡化問題才便於使用邏輯來解釋現象、溝通想法和探索可能性
- 有時候,提供太多資訊反而沒有用處,太過把問題複雜化
- 模型的 預測、策劃和行動 這另外三種功能,則是高擬真模型的強項──如果我們有大數據,當然應該善加利用。基本原則為:有愈多資料,就應該製作愈高精細度的模型
- 增加分類數量,可減少分類誤差。但是,愈多分類則會增加每個分類中,估值誤差發生的機率,統計上將這種現象稱為平均值的「變異數」增加
人群行為模型
人群行為模型 - Intro
- 討論:由 “人與人之間的差異性” 衍生出的各種問題
- 強調人在 “一致“ 中帶有 “多樣性“
幾種不同類型的人群行為模型
- 理性決策(rational choice) 或 以行為規則為本 (rule-based)
- 行為規則為本 之中又進一步區分為
- 根據 簡單固定規則(simple fixed rule) 的人群
- 或根據 適應規則 (adaptive rule) 的人群。
- 根據適應規則行動的人群會因為資訊、過去的成功經驗或觀察他人而改變行為。
- (然而各類人群之間並非涇渭分明,適應規則有時會被視為固定規則,而理性決策行動也可能遵循簡單固定規則。)
根據情境和目標決定該選擇哪種方式來建立人群模型
- 在 無關緊要的情境
- 通常會假設人們使用固定規則;
- (例如:選擇購買的外套顏色、表演後是否鼓掌)
- 若情境為 是否進行商業合作或信任對方
- 則會假設人們懂得學習和適應。
- 在 影響重大 的情境
- 則會假設擁有完整資訊、思考詳盡的人群,會做出最佳選擇。
- 建立人群模型,常不存在 “最佳解”。沒有任何一個建構人群模型的方法,在任何情境下都適用,因此我們需要使用許多不同方法來建構人群模型
- 例:理性決策模型 可能不夠符合實際情況,但是容易處理、足夠用來揭露誘因力量
- 例:簡單的行為規則為本 (e.g. 零智慧) 雖然不夠貼近現實,但很實用
- 但只要能找出幾個 “人們可能會做的行動” 就很夠用
人的特性 (影響了模型的預測準確率)
- 人群差異 - 每個人都是不同的
- 有時候我們必須依據統計邏輯,假設不同人的行為差異會互相抵銷
- 因認知依附缺乏 ( lack of cognitive attachment) 產生的錯誤:
- 通常隨機且獨立
- 因認知偏誤 產生的錯誤
- 通常系統化且相關
- E.g. 人通常對最近發生的事情有強烈印象,這種人群中共同的認知偏誤難以在不同人之間互相抵銷
- 人的渴望
- 能動性
- 某些情境下,把人當作有特定習慣。但有時候人最後選擇做的行動卻超乎我們的預期
- 人會調整自己的行為
- 人會自我學習、參考別人的經驗
- 當眼前發生的事情不如己願,人會調整自己的行為
<1> 人群行為模型 - 理性決策模型 (Rational-Actor Model)
理性決策模型 - Intro
- 用來預測人會進行什麼行動、怎麼做事情、分配預算 ...etc,並假設人會依據「取得最佳化」的結果來做行動
- 理性決策模型 適用的行動/場景:
- 人會得到的報酬僅取決於個人行動的「決定」,或是報酬同時取決於其他參與者行動的「賽局」
- 例如:
- 預測人群 “把多少比例的花費放在住房上”,會使整體花費能產生最大的效用
理性決策模型的假設 & 論點
- 最佳選擇:人們的行動如同在 取得最佳化 的結果
- 例如接飛盤時,你我並不需要寫下數學公式,仔細計算伸手接飛盤的理想時間,就接得到飛盤。而且,就算是狗也有能力接到飛盤。因此,不論人或狗的行為,都像在解決一道很困難的最佳化問題。
- 學習:即使人們確實會犯錯,但只要情境不斷重複,學習能力會引導人們逐漸趨近最佳行動
- 重大性:人在決定重要事務時,會蒐集資訊、仔細思考,目的是做出接近理想的決定
- 人們購買咖啡或電池時,可能不假思索,就多付30%的錢,但購買汽車或房子時,絕對不會多付30%的錢。
- 獨特性:“最佳行為” 往往只有一個,讓方便讓模型被檢驗
- 一致性:人如果學會某個模型之後,就不會輕易改變行為
- 基準:”最佳行為” 定義了人們 “認知能力的上限基準”
經濟學家,懷疑理性決策模型是否能夠廣泛使用,因為
- 人們的行為常違反獨立性和遞延性的假設,
- 「人總會做出最佳決定」是令人懷疑的說法
<3> 人群行為模型 - 規則為本模型 (rule-based model)
相關筆記
(理性決策) 最佳化為本模型 vs 行為規則則為本模型
- (理性決策) 最佳化為本模型(optimization-based model)
- 假設人們會嘗試將效用或報酬函數最大化,完全理性
- 以偏好和報酬為基礎
- 行為規則為本模型
- 假設人們有特定的行為,以行為做為基礎。
- 人不一定會將 “最大化報酬/效用” 作為行為依據
行為規則可來自:固定規則 or 適應規則
- 固定規則
- 人們永遠採用相同的行為規則。
- 理性選擇模型提供了人群認知能力的上限,而固定規則模型則提供了人群認知能力的下限
- 適應規則
- 人們則會選擇不同行為、發展新行為或模仿他人的行為,人們採用這些適應行動來提高報酬
- 適應規則 會使人自然而然產生 “接近最高效用 的結果”
- 人類的行為處在 “零智慧” 與 “完全理性” 之間
固定規則 範例 - 零智慧規則(zero intelligence rule)
- 接受 “任何能產生較高收益” 的交易。
- 使用零智慧規則就不會採取愚蠢的行動(例如:讓情緒影響了決策,導致降低效用)
適應規則 範例:艾法洛酒吧模型 El Farol Model
微觀巨觀迴路 (Micro-macro Loop)
- 微觀層級 會向上產生 巨觀層級現象,而 巨觀層級 又可能 “反向回饋” 去影響圍觀層級
- 平衡
- 循環
- 隨機結果
- 複雜狀態
- 我們不必假設每個人都採取最佳行為,才能達到平衡
- 人們會遵循 “簡單的規則” 來達到平衡
- 一旦真正達到平衡,就沒有任何人可以藉由改變行動來獲得利益了
- 在平衡狀態下,看起來正如同人們做出了最佳選擇,因為在平衡情境下,人們的行為確實就是最佳選擇
- 如果系統產生了個人可有其他較佳行動的穩定結果,則系統中的個人應當能想出較佳行動。
- 最佳行為可能是不切實際的假設,在複雜情境下更是如此。
行為規則則為本模型 產生的可能結果
平衡
<4> 人群行為模型 - 人類的各種偏誤
參考筆記: 行為金融學
<5> 常態分佈 (Normal Distribution)
背景:常態分佈 v.s. 長尾分佈
- 社會上的許多現象,例如銷售資料或投票總數這類加總資料,都可以看成 隨機事件的總和,呈現 常態分佈。
- 例:由常態分布可以得知,身高不會有極端差異,因此飛機設計師不用為三公尺高的人設計伸腳空間
- 例:防止抗爭發生最主要取決於安撫極端份子,而非降低不滿意的平均程度
- 另一種分布:長尾分佈
- 地震規模、戰爭死亡人數和書籍銷售量,這些事件大部分發生的數值都很小,但有時候會突然出現龐大數字。
- 例:加州人每年都會歷經超過一萬次地震,除非緊盯著茉莉花瓣是否抖動,不然不太可能會發現有地震。但有時也會有地殼板塊劇烈運動,造成高速公路斷裂和大樓坍塌的巨型地震。
- 瞭解系統產生的結果是 常態分佈 或 長尾分佈,十分重要
- 因為我們想知道電力網會不會有大規模停電危機,或是金融市場會不會造成超級貧富差距。利用分布知識,我們可以預測洪水是否將漫出堤壩、達美航空238班機準時抵達鹽湖城的機率,以及交通運輸中心成本超出預算一倍的機率。
常態分佈 基礎
中央極限定理
- 20 個以上的 獨立隨機變數 的平均值會近似於常態分佈
- 前提:
- 所有隨機變數之間是獨立的
- 變異數的大小有限
- 沒有任何小群組的變數貢獻了大部分的變異數
常態分布 :
- 平均值正負一個標準差之間包含 68% 的資料點、兩個標準差包含 95%、三個標準差包含 99%
- 任何大小的結果或事件都有機率發生,雖然大數值事件的發生機率極低──距離平均值五個標準差的事件,只有兩百萬分之一的發生機率
常態分佈的應用
群體裡的個數愈多,則平均標準差會愈小
- 所以:在愈小的群體,愈容易看到極好 or 極壞 的事件
- 例:
- 住在小城市,要不是非常安全、要不就非常危險
- 人口較少的國家,肥胖和癌症發生的機率特別高
顯著性檢定
- 如果觀測到的實際平均值落在假設平均值的兩個標準差之外,社會科學家就會認定這個假設是錯的
六個標準差方法 (Six sigma Method)
- 利用常態分佈提供品質管制的相關資訊
- 假設:產品誤差在 6 個標準差之內都算合格
參考筆記:
對數常態分佈 - Intro
- 若利用中央極限定理,則需要將獨立的隨機變數加總或平均,來得到常態分布。
- 如果隨機變數使用加法以外的方式互動,或者並非獨立,產生的分布就幾乎都不是常態分布。
- 如果獨立隨機變數 相乘 產生的隨機變數為 對數常態分布 (而非常態分布)
- 對數常態分布只能包含正數、同時擁有長尾型態,代表可能出現更多的大數值事件,而小數值事件發生的機率則比常態分布還多
- 對數常態分布的長尾,長度取決於隨機變數的變異數相乘結果。如果變異數很小,尾巴就會很短;如果變異數很大,尾巴就會非常長。理由就如同上一段提到的,一系列大數值相乘,會產生非常巨大的數值
常見的 對數常態分佈範例:
- 英國農莊大小
- 地球礦物集中度
- 從感染疾病到出現症狀的時間
- 許多國家的收入分布也很接近對數常態分布,但是很多國家的長尾端有太多高收入人群,導致偏離了對數常態分布。
範例:公司用不同方式對員工加薪,導致薪水數字呈現不同種類的分佈
長尾分佈 (Long-tailed Distribution)
長尾分佈 - Intro
- 非獨立事件、且通常為 “正回饋” 的數據,有 極端大數值 的事件
- 回饋 和 交互作用,會造成長尾分佈
- 世界上各種 國家/公司/人群 之間的相互連結和回饋持續增加,我們會看到愈來愈多呈現長尾分佈的事情
- 且其 “尾部” 會拉得更長
- 這代表:
- 不公平的事情其極端值得不公平程度會擴大
- ”大數值事件“ 通常只佔少數
- 大部分地震的規模都很大地震的雖然發生機率小,但一但發生時可能就會很嚴重
- 常態分布 vs 長尾分布
- 在 常態分布 中,幾乎看不到大數值事件。
- 在 長尾分布 中,雖然大數值事件也很少發生,但發生頻率已足夠得到關注,且我們必須為這些事件做好準備。就算是發生機率僅有百萬分之一的事件,也很值得注意
長尾分佈 - 範例:
- 一個國家中各個城市人口的數量
- 當大城市人口增加的同時,新建的公共設施和工作機會將吸引更多人遷入 (相較於其他較小的城市)
- 書籍銷售量、影片下載次數、學術論文引用次數
- 當有人購買《哈利波特》小說時,基於口碑,會讓其他人的購買機率增加
- 森林大火、水災、地震嚴重的程度
- 當一棵樹著火時,火勢會延燒到鄰近樹木
- 當醫生 vs 當 startup 企業家
- 假設當醫生的薪水:
- 呈現常態分佈
- 平均值較高
- 假設當 startup 企業家的薪水:
- 呈現長尾分佈
- 冪率分佈的指數絕對值 = 3
- “一個人可以嘗試新工作的次數” 決定了 “他能找到的工作的薪水有多高”
- 假設 A 是醫生,B 是 startup 企業家。A 持續換工作但持續當醫生,B 持續換工作但持續當醫生 startup 企業家,B 能獲得的薪水可能比 A 高
- 人去陌生的某國家,選擇中午午餐要吃什麼
- 如果只是短暫待幾天
- 人會傾向選擇 “網路上好評較多的餐廳” or “知名的連鎖餐廳”
- 如果是長住一陣子 (代表人需要吃很多次午餐,有很多次 “選擇餐廳” 的機會)
- 人會願意 嘗試許多不同型態的餐廳
- 物種滅絕
- 網路連結數目
- 戰爭傷亡人數
<6> 長尾分佈 - 偏好依附模型 (Preferential Attachment Model)
Intro
- 認為實體的成長率相當於實體的占比
- “單獨個人的行動” 會提高其他人做相同行動的機率
- 符合馬太效應:大者恆大、贏家通吃
可用來解釋這些情境:
- 各個城市人口分布 (當城市人口增加時,新建的公共設施和工作機會將吸引更多人遷入)
- 書籍銷量 (當有人購買《哈利波特》小說時,基於口碑,會讓其他人的購買機率增加,且很多人是看書店銷售排行榜來買書)
- 音樂下載量
- 大學大一新鮮人,選擇加入社團:
- 加入 「人數多的社團」的機率 高於 加入「人數少的社團」
- 選擇「加入現有社團」的機率 高於「自己去建立新的社團」
<7> 長尾分佈 - 自我組織臨界模型 (Self-Organized Criticality Model)
Intro
- 森林會自然而然會達到臨界密度,
- 因為如果密度較低,火災規模較小,則森林密度會逐漸增加
- 如果森林密度超過某個臨界值,則星星之火就可以燎原
- 巨觀變數值會在事件發生時 (沙堆崩塌或森林大火),迅速減少。
- 其他相仿的自我組織臨界模型(可以解釋太陽閃焰、地震和交通阻塞分布),也有類似的特徵
- 雖然「在事件發生時,造成原本不斷增加的巨觀層級變數值瞬間下降」是自我組織模型的必要條件
- 自我組織臨界狀態必定會發生變數值瞬間下降,但發生變數值瞬間下降並不代表一定是到達了自我組織臨界狀態
- 平衡系統也有這些特性,湖中的水隨時都在流進流出,但因為水流量十分平穩,湖水面的變化非常緩慢。自我組織達到臨界狀態的重要假設為:壓力慢慢增加時,就像水流入湖中般十分平穩,可是達到臨界狀態時,壓力會急遽下降,並且可能發生大數值事件
可用來解釋這些情境:
- 交通阻塞
- 戰爭的死亡人數
- 地震、火災、雪崩的規模
冪律分布 (Power-law Distribution)
- 事件發生機率和事件大小的負指數成正比。
- 冪律分布中,事件數值愈大,發生機率愈低,事件數值和發生機率呈現負相關。
- 在冪律分布中,小數值事件的發生機率比大數值事件高出許多。
- 並不是所有長尾的分布都是 冪律分布
- 例如:對數常態分布,就不是冪律分布
- 在雙對數坐標上繪製分布,可以簡單檢測分布是否為冪律分布
- 雙對數坐標圖將 事件大小 和 機率 都轉換為對數值,並將冪律分布轉換為一條直線
- 在雙對數坐標上的分布若為直線,就能證明是冪律分布
- 而如果直線逐漸下彎,則符合對數常態分布或指數分布(exponential distribution)
- 對數常態分布的曲線下彎率,取決於構成分布的變數的變異量。
- 如果增加對數常態分布的變異數,則尾巴會加長,讓雙對數坐標上的曲線更接近直線。
- 冪律分布的指數大小,決定了大數值事件的發生機率。
- 指數等於 1
- 例如:大小數值為100的事件,發生機率正比於1/100
- 如果指數絕對值為2或以下,冪律分布會缺乏定義良好的平均值。從指數絕對值1.5的冪律分布中抽出資料,平均值並不會收斂,而會不受限制的增加──如圖6.1左側,曲線往上竄升的情況
- 指數等於2 的冪律分布 稱為 齊夫分布(Zipf distribution)
- 事件發生機率與事件大小的平方成反比。
- 例如:大小數值為100的事件,發生機率正比於1/10000
- 假如指數增加到3,
- 例如:大小數值為100的事件,發生機率則正比於1/1000000
齊夫分佈(Zipf distribution)
Intro
- 指數等於2 的冪律分布,稱為 齊夫分布(Zipf distribution)
- 在齊夫分布中,事件排名 乘以 發生機率,會等於常數,這項規則稱為齊夫定律(Zipf's Law)。
齊夫分佈 範例
- 英文單字
- 最常見的英文單字the,出現機率約為7%
- 次常見的單字of,出現機率約為3.5%。
- 請注意,排名 “2” 乘以出現機率 “3.5%” 等於7%
- 如果災難事件發生機率呈現冪律分布、且指數接近2,則政府必須保留大量預備金,隨時準備支應災難支出。畢竟未雨綢繆,有備無患。如果政府決定維持大量預備金,則在還沒有發生大災難時,就不應隨意花費這筆資金或任意減稅
- 包含美國在內,許多國家的城市人口數目分布,近似於齊夫定律。
- 若使用美國2016年城市人口資料進行驗證,會發現每個城市排名乘以人口數,會接近八百萬
<8> 線性迴歸模型
線性回歸模型 Intro
- 線性迴歸 (Linear Regression)
- 找出讓 資料點 與 某條直線之間 距離達到最短 的那條直線 (迴歸線)
- 線性迴歸只是最初步的分析,大部分值得探討的現象皆非線性。
- 因此,迴歸模型大多會包含非線性項,例如:年齡平方、年齡平方根,甚至年齡對數。
- 為了考量非線性的影響,我們可以將數個線性模型連接排列。這些連接排列的線性模型形成的曲線,就如同排列長方形地磚來建構一條彎曲小徑
- y = mx + b
- x 是 自變數 (independent variable)
- y 是 應變數 (dependent variable)
- m 係數(coefficient)
- m 是正 or 負,說明 自變數 與 應變數 之間是正相關 or 負相關
- P 值 (係數顯著性)
- 代表 m 不等於 0 的機率
- 如果 p = 5%,代表 有 5% 機率 m = 0
- 顯著性的標準閾值
- 5%(以*表示)
- 1%(以**表示)
- 顯著性固然很重要(高顯著性可以確定自變數和應變數之間有相關性)
- 如果係數顯著性很高,但可能因為係數量值過小,所以其實影響微弱
- 不過,若是係數的量值很大、但顯著性過低,也不具參考價值。這通常發生在雜訊過多或忽略太多變數的資料數據中
- 若迴歸線與實際資料點愈吻合,R^2 (R 平方值) 愈大。如果完全吻合 R^2 = 100%
相關性 vs 因果 (correlation vs causation)
- 迴歸模型 可以說明 變數之間 的 相關性,但迴歸模型無法說明 是否真的存在 因果關係
- 但如果某兩個變數之間的相關性很低,則可以判斷兩者之間很可能沒有因果關係。所以可以藉此來剔除 “相對來說比較不合理的解釋”
- 為了避免產生偽相關的結論,我們可以建立訓練集(training set)和測試集(testing set)──在訓練集發現的相關性,如果在測試集中也成立,則相關性有極大的機率為真
- 若要證實因果關係,則需要進行實驗,也就是操作自變數、並觀察應變數是否改變。另外也可以尋找自變數和應變數之間,產生因果關係的天然實驗或自然現象
大係數思維
- 迴歸模型可以用來指導行動策略。
- 可以找有比較大
m係數
的變數來做行動,調整投入的資源、數量、時間長短...etc - 例:假設透過模型發現 “讀書的時數 和 考試分數 呈正相關“ 則我們應該要花更多時間讀書
- 但是隨著 “變數的數值” 增加,其產生效益大小可能會遞減 or 遞增
新現實思維 (new-reality thinking)
- 代表從事情的根本去做出改變、採取新的想法,而非只是在既有的選項之上調整
- 例:
- 大係數思維:為了改善交通,增加公車班次
- 新現實思維: 在公車之外,建造捷運
- 例
- 大係數思維:
- 新現實思維:
範例:成功是源於 運氣 or 實力
- 用迴歸模型估算汽車銷售員的業績和運氣有沒有高度正相關
- 汽車銷售員的銷售額(代表銷售員售車工作的成功程度)有很大的運氣成分。
- 則經理會期望「迴歸到平均值」,也就是這個月銷售績效超群的銷售員,下個月的績效很可能會向平均值靠近
- 藉此經理就可以使用模型來指導行動,例如:經理不會因為銷售員連續兩個月績效良好,就給銷售員加薪到「別家公司為了挖角而願意提供的更高薪資」水準。
- 但如果迴歸模型顯示汽車銷售額和運氣毫無關係,
- 代表只要看連續兩個月的績效就足以預測某個銷售員的未來績效
- 這種情況下,經理會願意為優秀銷售員加薪到可防範別人挖角的更高薪資水準
- 如果某 CEO 在 “運氣高度決定成功的產業" 工作,則董事不應該給予執行長獎金,
- 例如:石油公司的利潤取決於市場原油價格,這個變數並非公司所能控制
- 因此就算是在淨利暴增的年度,石油公司董事也不太會給予執行長獎金。
- 例如:廣告公司則完全相反,公司業績良好時,應當頒發給執行長巨額獎金。
- 簡而言之,實力值得獎勵,運氣則不需要。營運良好的公司,事實上的確很少獎勵運氣
- 例如:在幾乎完全依靠實力的比賽中,例如:跑步、游泳、下棋或網球,
- 如果大家的實力在伯仲之間,則運氣會成為決定比賽勝負的關鍵。
- 我們可以預期,在奧林匹克運動會這類競爭激烈的環境中,選手實力差距微乎其微,因此運氣往往決定比賽勝負。莫布新稱這種現象為實力悖論(paradox of skill)。
- 飛魚菲爾普斯(Michael Phelps)是歷史上最著名的游泳健將,菲爾普斯就受到實力悖論的來回捉弄。
- 2008年奧運會時,菲爾普斯在一百公尺蝶式比賽後段落後塞爾維亞選手查維奇(Milorad Čavić),但因為運氣好的關係,菲爾普斯率先碰觸到牆壁,贏得冠軍。
- 而2012年奧運會時,菲爾普斯在終點線前還領先南非選手克洛斯(Chad le Clos),但最後卻是克洛斯先碰觸到牆壁。菲爾普斯固然有堅強實力,但勝利和失敗卻受到運氣左右(編注:這運氣與選手在終點之前,手臂剛好擺動到哪個位置有關)
- 正成長、正回饋
- 曲線上任選一點取其切線斜率如果為正數,隨著自變數的數值增加,其切線斜率會愈來愈大
- E.g. 每單位銷售量產生的利潤 (因為 運費、存貨成本 會隨著公司規模變大而減少)
- 可用在:
- 人口成長速度
- 股價成長
- 房價成長
- 指數成長模型 - 72 法則
- R = 如果每週期的成長百分比
- 假設 R 是固定的,且 R < 15%
- 假設成長空間不受限制 (e.g. 細菌可以無限制在某個空間內持續繁殖)
- 則 翻倍需要的時間 = (72/R)
- E.g. 假設某股票股價每年成長 9%,則 大約需要 72/9 = 8年 才能翻倍
- 指數成長模型 - 半衰期模型
- 每經過 H 期間,就會有一半的物質衰變
- 放射性碳定年法 (radiocarbon dating)
- E.g. 人會用近乎於固定的速率 忘記自己原本記得的事情
- 在斜率遞減的曲線下,平均幸福度帶來的價值超過高低幸福度帶來價值的平均值
- 報酬遞減 (diminishing return)、負回饋
- 擁有的東西愈多,每增加一單位東西而新帶來的價值變得愈少
- E.g. 效用 (價值)
- E.g. 吃炸雞會很爽,但是連續吃到第 5 塊炸雞時,就沒有吃第 1 塊時那麼爽了
- E.g. 遠距離戀愛的相處方式可能更令人感覺幸福
- E.g. 房地產開發商邀請潛在客戶,在週末時免費入住海濱公寓。短短的週末時間不足以讓你完整享受海灘,因此就會更想要買下海濱公寓。但如果你在海灘待上整整十天,就會開始感到無聊
- 偏好多樣性 (preference for diversity)
- Multiple argument concave function
- 如果幸福是隨著休閒和金錢而增加的凹函數,則我們偏好金錢和休閒兼具的生活,而非有閒無錢或有錢無閒
- 風險趨避
- 人們希望能得到 “確定的結果” 而非 “可能是好的、也可能是壞的 驚喜”
- E.g. 人希望 100% 能得到 100塊錢,而非 有 50% 機率得到 200 元、另外 50% 機率一塊錢也拿不到
非線性迴歸模型 (凸函數 & 凹函數)
凸函數 (convex function)
<9> 指數成長模型
<10> 凹函數 (concave function)
<10> 標準經濟生產模型
- 產出(output)取決於勞動力和實體資本(physical capital
- 產出 同時為 勞動力 和 資本 的凹函數,
- 如果資本固定,工人數量愈多,邊際產出會逐漸減少
- 如果工人人數不變之下,增加更多機器或電腦,邊際產出也會逐漸愈少
- 產出在規模上應當呈現線性增加:若 勞動力 和 資本 加倍後,產出也應該要倍增
- 擁有一間工廠和六十名工人的掃帚製造公司,如果建造第二間工廠、同時雇用額外六十名工人,產出也應該增加為原來的兩倍
柯布道格拉斯模型 Cobb-Douglas Model
簡化的成長模型 (我還沒看懂)
- 當 新投入的投資 等於 折舊 時,每單位時間內產出的增加量 會達到長期均衡
<12> 貢獻度模型
合作賽局模型 (Cooperative Game Model)
- n 個玩家
- 聯盟
- 所有玩家的各種可能的子集合
- 價值函數 (value function)
- 定義每個聯盟的價值
最後上車值 ( LOTB Value, Last-on-the-bus Value)
- 最後一個成員 加入 團隊 (一個 已成形團隊) 時,他為團隊帶來的邊際貢獻值
- 團隊成員的 LOTB Value 在團隊已經形成的情況下,會是比較好的測量方法。
- LOTB Value 加總 不必然等於 合作賽局的總價值
- 如果價值函數呈現 規模報酬遞減,則 LOTB Value 的加總,會小於總價值
- 如果額外價值呈現 規模報酬遞增,則 LOTB Value 的加總,會大於總價值
- LOTB 滿足以下兩項
- 範例場景:
- LOTB值可以在成員威脅要離開團隊的情況下,用來測量該成員可以給團隊帶來多少價值
- 為了避免團隊成員離開團隊造成劇烈影響,聯盟通常希望能降低 LOTB Value
- 藉由增加聯盟規模,可以建立高價值聯盟,同時也能降低 LOTB Value
- 超收聯盟成員也可以讓任何一位成員的退出,不會影響聯盟價值,這可讓每位成員的 LOTB Value 降至零
- 在實務上,的確可以看到類似應用,例如,雇主會雇用額外的工人來降低工人權力;製造商會同時和多個互相競爭的中盤商合作;政府會同時和多個承包商簽訂合約
- 國會說客和黨主席想要通過法案(產生價值),但同時又想限制每位眾議員或參議員的權力
- 如果國會說客只拉攏到票數剛好能通過法案的眾議員或參議員,每位眾議員或參議員將會有巨大的 LOTB Value ,只要任何一位突然改變心意,就能翻轉法案結果
- 國會說客可以藉由拉攏遠超出投票門檻的眾議員或參議員,來降低聯盟成員的LOTB值
- 應用相同的邏輯,如果政黨在國會的席次只能勉強通過法案,則較難領導黨團成員,因為每位黨團成員的 LOTB Value 都很大。但如果席次遠遠超過投票門檻,則不會有任何黨團成員擁有太多權力
- 個人、組織、公司、政府或恐怖份子的權力,取決於離開合作的聯盟能帶來多大的傷害(LOTB Value)
- 經驗豐富的電腦駭客或有能力摧毀大量財富的個人,將擁有巨大權力。即便其實駭客或恐怖份子不會為社會創造任何正面價值
夏普利值 (Shapley Value)
- 把每個成員在所有可能加入團隊的順序嚇得邊際貢獻值,取平均值
- E.g. 在三人團隊中,計算第一人、第二人、第三人 在加入團隊時,”各自可帶來的額外價值” 的平均值
- 一名玩家的夏普利值計算方式為:找出所有人都加入聯盟的所有可能順序,並計算該名玩家加入聯盟時所帶來邊際貢獻的平均值。換句話說,可以想像依序將所有玩家加入聯盟,並計算每種順序中,每位玩家額外帶來的價值
- 一家公司的額外總價值,等於公司在各種不同領域的額外價值的加總
- 夏普利值除了可用來測量額外價值,在投票賽局中,夏普利值也可以用來測量權力 (e.g. 政黨在國會中席次代表的權力)
- 若是考量多家公司或其他跨國組織的價值,夏普利值可能會是比較好的測量方法 (相較於 LOTB Value),因為這些單位參與的賽局太多,難以輕易退出賽局
- 範例場景:
- 能源公司可能會參與能源生產賽局、能源分配賽局、不動產賽局、環境賽局、雇用賽局等等
- Shapley Value 是唯一滿足 4 條公理的測量方法
LOTB Value 與 Shapley Value 的範例
Notes
- 國會中擁有的席次雖然和權力相關,但並非正好依席次比例分配
投票賽局 (Voting Game)
- 使用夏普利值區分 議會席次 和 議案掌控權 之間的落差,將會發現兩者不一定完全相同。
- E.g. 政黨擁有20%席次,可能在某種情況下毫無權力,而在另一種情況 卻擁有總權力的三分之一
網路模型
使用合作賽局的觀點,來思考權力和價值,能提供很基本但相當實用的洞見,同時也能指導下一步的探討方向。在政治或商業領域,並非所有聯盟都能夠形成,但模型假設任何聯盟都可能存在。更複雜的模型會考量世界上的眾多相互連結關係,例如:顧問公司和金融公司會從科技公司購買軟體,科技公司和顧問公司會進行投資而向金融公司借款,而金融公司和科技公司也都需要雇用顧問。在這樣的網路中,每位成員都會帶來價值並擁有權力。若要計算上述狀況下的權力,則需要網路模型
使用統計方法,測量分支度(degree)、路徑長(path length)、集群係數(clustering coefficient)和社群結構(community structure),藉此說明網路結構的特色。然後討論常見的網路分類,諸如:隨機網路(random network)、軸輻式網路(hub-and-spoke network)、地理網路(geographic network)、小世界網路(small-world network)和冪律網路(power-law network)。再來會討論網路形成方式的邏輯,建構可產生巨觀網路結構的微觀層級流程。
之後要討論網路模型的功能,試圖回答「為什麼網路結構十分重要」這個問題。我們總共會聚焦於五項特色:友誼悖論(friendship paradox)、六度分隔(six degrees of separation)現象、弱連結(weak tie)的力量、探討節點或邊線消失對網路穩定性的影響,以及網路中的資訊整合。本章最後將探討網路如何影響模型結果
網路結構 - 統計指標
- Node 節點
- Edge 連結兩個節點之間的邊線
- 方向性邊線 directed
- 無方向性邊線 undirected
- Neighbor: 兩個有互相連結的 node
- Degree of a node 分支度:代表節點所連結的 edge 數量
- E.g. 社交友誼網路中,平均一個人有多少個朋友
- E.g. 社會網路的分佈比較平均。長尾分佈的例如: www 網路、學術論文引用網路
- Betweenness 中介度:
- 對某個指定節點而言,「會通過該節點 的 最短路徑數量」佔「所有最短路徑數量」的比值
- 在社會網路中,有愈高的 中介度 的人,往往掌握最多的珍貴資訊,所以往往也擁有較多的權利
- 路徑長:
- 從一個節點到另一個節點之間,最少需經過的 edge 數量
- 路徑長 與 分支度 成反比
- 通常來說,如果資訊經過愈多人傳遞,則資訊愈容易扭曲失真,因為路徑長與資訊損失有關
- 集群係數 :
- 一個節點的任兩個鄰居「同時也互為鄰居」的百分比
- 假設阿倫有10位朋友,則總共會有45組朋友配對。如果45組中的15組本身也互為朋友,則阿倫的集群係數為1/3。若所有45組朋友配對都恰好互為朋友,則阿倫的集群係數為1,這也是集群係數可能出現的最大值。整體網路的集群係數,等於個別節點集群係數的平均值
常見的網路結構
<1> 隨機網路
- 建構方法:隨機建立許多 node,並且任意兩兩一組 畫上 edge
如何判定某個網路結構是否為隨機網路:
- 分析網路最大困難就是網路的類型太多了。僅用幾個網路統計數字難以確定特定的網路結構,例如:十個節點且平均分支度為2的網路,可能就有數十億種。另一種歸納網路特徵的方法為:測試網路統計方法是否和常見網路結構有顯著不同,例如,學者可能會蒐集司法判例資料,若一位法官引用另一位法官的意見,則在兩位法官之間畫上邊線,形成網路。
- 這些網路圖像可能會呈現很有趣的結構和集群,如此便可 藉由比較上述網路和擁有相同數量節點和邊線的隨機網路的統計數字,測試網路是否為隨機形成。
- 隨機網路的集群係數等於隨機產生邊線的機率,因為一個節點的兩個鄰居有邊線連結的機率,與隨機兩個節點有邊線連結的機率完全相同
<2> 地理網路
- 地理網路:
- 當節點排成一圈時,每個節點都會連結到各方向最近節點的網路
- 各節點間的中介度和集群係數沒有差異
- 還有另一些地理網路會將節點放到棋盤上,每個節點會和東西南北四個鄰居連結。
- 大部分常見的地理網路分支度很低,往往節點只會連結到鄰近節點,且通常有相對高的平均路徑長。地理網路中
<3> 冪律網路
- 冪律網路的分支度呈現 冪率分佈
- 其中幾個 node 會有很多 edge,但是決大部分 node 的 edge 數量很少
<4> 小世界網路
- 小世界網路結合了地理網路和隨機網路的特色。
- 建構方式:先建構一個地理網路,然後隨機選擇一條邊線,並且將「邊線所連結的其中一個節點」改為「隨機的另一個節點」,藉此把地理網路重新連線。
- 如果重新連線的機率為0,則得到地理網路;重新連線的機率為1,則得到隨機網路。
- 在0與1之間,就會形成小世界網路。
- 小世界網路的特徵包含來自地理網路的小集群,並且會隨機連結到其他集群。
- 社交網路看起來就很類似小世界網路,每個人都有自己的朋友圈,但也會有圈外的朋友
網路如何成形
- Emerge 突現的網路
- E.g. 友誼網路、WWW 網路、電力網
- 取決於個別角色是否選擇建立連結
- 事先規劃好的網路
- E.g. 供應鏈
- 通常,如果某個 node 消失,仍然能維持穩定
<>範例:電力網
- 電力網的規劃,需要根據經濟和工程原則。
- 電力網必須要能夠運輸電力到家戶、商業機構和政府單位
- 不論是由營利公司或公用事業單位供電,都不存在建立高密度集群的誘因,因為這樣會降低效率。但是缺乏集群會降低網路穩定性。
- 此外,電力公司基於經濟或工程考量,也都會試著減少橫跨網路內部的長距離連結,
- 例如:他們不會建立直接連結芝加哥到達拉斯的電力網。
- 然而,友誼網路和商業網路則可以跨距離連結,芝加哥人可能會和達拉斯人成為朋友,新加坡公司也可能會和底特律公司進行貿易往來。
- 這些橫跨網路內部的長距離連結,能夠增加網路穩定性。
<13> 範例:友誼悖論
- 在任何網路中,平均來說,人的朋友們總是比他自己擁有更多朋友
- 網路中任何兩個 node 的 degree (分支度) 不同。平均來說,節點的 分支度 會比 其鄰居的分支度還低
- 友誼悖論在任何網路中都成立
- E.g. 包含學術引用網路、電子郵件網路、性接觸網路、銀行網路和國際貿易網路。
- E.g. 平均來說,一篇論文引用的文獻的被引用次數,遠遠大於你自己這篇論文的被引用次數
- E.g. 一個國家的貿易夥伴,平均來說會和更多國家有貿易夥伴關係
- 友誼悖論的邏輯可以延伸到任何與朋友數量相關的屬性上。
- E.g. 如果積極、快樂、聰明、富有、善良的人平均會有更多朋友,則平均來說,每個人的朋友都會更積極、快樂、聰明、富有、善良。
- 想像某網路中不快樂的人有90%結交四位朋友,10%結交十位朋友
- 快樂的人比例正好相反,10%結交四位朋友,90%結交十位朋友
- 一個人會有部分「擁有十位朋友」的朋友,而「擁有十位朋友」的這些朋友大部分都比較快樂,因此多數人的「朋友」都會比自己快樂
範例:六度分隔
- 友誼悖論 在任何網路中都成立,但是 六度分隔只有在特定類型的網路中才會成立
- 地球上任何兩個人,都可以透過小於等於 6 位朋友就能連結起來
- 簡化版本:
- 假設每個人都有小集群的圈內朋友(clique friend),圈內所有人彼此互相認識;而每個人還有圈外朋友,稱作隨機朋友(random friend)
- 從 圖10.3,可以看到某個人(以黑色圓圈表示)有五個圈內朋友和兩個隨機朋友。圖中同時也畫了黑色圓圈朋友的朋友(淺灰色圓圈)
- 隨機朋友R也可以視為弱連結,也就是把你連結到其他社群的朋友。弱連結(網路中的隨機朋友)扮演著很重要的資訊交流角色,因為隨機朋友讓擁有不同的興趣和資訊的社群互相連結。因此弱連結的力量就成為社會學家圈子裡討論的熱門話題
- 一個人三度分隔的朋友和圈內朋友有極大不同,住在不同城市、讀不同水準的學校、接收不同的資訊等等,三度分隔朋友間的差異十分巨大。朋友的朋友的朋友可能是室友媽媽的同事或姊姊男友的阿姨,你和他們之間的關係剛好足以建立基本信任。因此三度分隔朋友雖然差異巨大,但相對接近的關係能為你帶來極大助益。三度分隔朋友能夠提供新資訊和工作機會,有更大機會幫助你找到工作、協助你搬遷到新城市,或者成為生活或事業上的夥伴
網路的穩定性
- 網路穩定性:如果某個 node 或是 edge 消失,是否會造成網路崩潰
情況:節點隨機消失
討論網路穩定性問題時,我們首先要考量網路中連結最多的最大連通分支(giant component),在 節點隨機消失下,規模會如何變化。
圖10.4呈現了巨大的隨機網路和小世界網路中,最大連通分支在節點消失下的規模變化。
- 在隨機網路中,最大連通分支的規模首先會線性減少,但在節點消失機率達到某個關鍵值P*時,最大連通分支的規模會急劇下降
- 小世界網路則不會出現如此突發的變化,在地理區域集群中的大部分連結都依然存在,就算有多個節點同時消失,各集群依然能保持高度連結。小世界網路的這些特徵,再配合隨機連結,可以避免整個網路崩潰
- 缺乏區域集群 的 稀疏網路,很容易就會消失
- 電力網缺乏長距離連結和緊密集群,無法像小世界網路一樣維持高穩定性。
- 電力網中如果節點或連結損壞,並無法由集群中的其他連結或集群外的長距離連結來及時彌補。區域損壞可能會連鎖反應,造成整個網路崩潰。
- 相反的,長尾分支度分布的網際網路,隨機節點消失下的穩定性較高。長尾分支度分布意味著大部分的節點連結數量極低,就算這些節點消失了,網路還是能維持高度穩定性
選擇性移除節點
目前討論的前提都是節點隨機消失,接下來則要考量 選擇性移除節點 的影響。
- 我們以軸輻式網路為例思考,
- 但若選擇性直接移除樞紐節點,就能立即摧毀整個網路連結。
- E.g. WWW 網際網路 這類的節點分支度 長尾分布的網路將不再穩定。只要選擇性移除最高分支度節點,就能徹底摧毀整個網際網路。
- 如果隨機移除 軸輻式網路中 的節點,除非極小機率移除了樞紐節點,否則整個網路都依然能保持連結
- E.g. 我們可能會想摧毀恐怖份子網路或毒品供應網路,如果這些網路如同電力網一樣稀疏,就十分容易瓦解
- 又或者這些邪惡的網路是長尾分支度分布,則能夠透過選擇性移除手段,來瓦解整個網路,
- 例如:在恐怖份子網路中,可以藉由逮捕連結最多成員的恐怖份子,來瓦解整個網路。
- 但如果這些邪惡的網路類似小世界網路般穩定,則就算使用選擇性移除節點的手段,依然難以瓦解整個網路。想要切斷小世界網路中的任何地理區域,都難以成功,因為隨機連結能將區域和整個網路連結起來。
填補社群中的結構洞
- 建構人群網路模型往往是為了探究社會背景的影響程度。
- 一個人的成功、行為、資訊和信念,往往也會影響朋友的成功、行為、資訊和信念。行為及個人對群體的價值或貢獻,都會受到外在環境或內在因素影響。
- 一個人的價值或貢獻可能受到個人特質影響,例如聰明程度、努力程度或運氣好壞,但個人的成功也可能受到朋友或同事網路的影響。
- 一個人能否成功 取決於:個人的知識、能力,也取決於人脈
- 科學家團隊在實驗室中一起工作,彼此間分享建議、想法和知識。
- 科學家產出的學術論文、專利或科學突破,取決於科學家的知識,但同時也受到人脈和其他科學家互動情況的影響。
- 我們應同時考量外在環境(朋友網路)和內在因素(個人能力),就比較可以確定:某位科學家的成功應如何歸因於這兩項要素。
- 投資公司
- 相信,成功的投資主要取決於經理人的能力,因此會雇用超級基金經理人,但實際上投資結果並不如公司預期。
- 經驗證據顯示投資者的優良績效,也會取決於提供特定資訊的同事網路。
- 這樣的發現可以在諸多文獻中看到(部分為模型基礎研究),文獻中呈現出一個人在組織中的位置,會影響到他是否能成功。
- 雖說如此,成功和能力依然息息相關。能讓投資人賺取百萬美元的商業想法,很大機率會是個好點子;發表上百篇論文、並得到無數獎項的科學家,通常有過人能力。
- 在網路中占據最佳位置的人,通常貢獻最大。
- 網路中占據 高中介度位置的人,能夠填補社群中的結構洞(structural hole)。填補結構洞需要某些天分和能力,不是隨便哪個人就能填補任何結構洞。填補結構洞的人必須要有能力在各社群中建立信任和理解,此外還必須精通各社群的知識基礎。結構洞是美國社會學家伯特(Ron Burt)提出的名稱,使用演算法可以辨識這些結構洞。
- 我們若使用中介度和其他測量中心性(centrality)的方法,可以測量出一個人在網路中的地位。
- E. g. 相似的邏輯也可以用來評估公司價值和計算國家權力。公司價值可以使用內部狀況評估,利用資產負債表的資產和負債來評估公司經營狀況。
- 另外也可以觀察公司營運所在的外在環境,例如:公司在供應鏈中的位置。
- E.g. 國家權力取決於本身資源和外部聯盟。不論是公司或國家,內部屬性和外部連結狀況息息相關。占據網路中控制位置的國家,同時也會擁有重要屬性。
傳播模型:廣播、擴散、傳染
廣播、擴散、傳染
- 這三種模型都是將人群區分為兩大族群:
- 知道或擁有某樣東西或特質,
- 不知道或沒有某樣東西或特質。
- 隨著時間推移,人群會在兩個族群間移動:
- 從易感染族群 —> 移至已感染族群
- 從尚未瞭解新產品/新想法的族群 —> 已經瞭解的族群
- 這種「人群隨時間推移」的 採用曲線 (Adoption Curve)
- 呈現 凹函數
- or S函數
- Npop = It + St
- Npop = 相關人群 (Relevant Population)
- 所有 有機會感染疾病 or 得知資訊 or 使用某產品的人
- 不一定代表整個城市裡面的所有人,依據各個問題決定出相關人群是哪些人、有多少人
- lt = 已經感染 or 已經知道某資訊的人
- St = 易感染 or 容易知道某資訊的人
<14> 廣播模型 Broadcast Model
- 適用領域:
- “想法、謠言、新聞、資訊、科技” 透過 “電視、廣播或網路等媒體” 傳播給更多人
- 政府、公司或報紙等資訊來源傳播資訊的過程
- 由水源傳播出的環境汙染
- 人們從單一來源接收想法 or 感染疾病
- 廣播模型 不適用於 人傳人的傳染疾病 或 資訊口耳相傳,因為廣播模型較適合 想法或資訊的傳播,而非傳染疾病的傳播
- 假設:人們得知資訊 or 感染疾病之後,就不會放棄這個資訊 or 不會痊癒
- r型 採用曲線
- 經過每個時間區間之後,知情人數逐漸增加
- 每個 時間區間 中 “新得知消息的人數” 愈來愈少
- 在 “某個時間區間的 已知情人數”,等於 “上個時間區間已知情人數” 加上 “易知情人數” 乘以 ”廣播機率”
- I(t+1) = It + P*St
- Npop = It + St
- 範例:用兩個時間週期的銷量,預估相關人群有多少 (總共會買的消費者)
- (但這只是非常粗略的估計而已。忽略了口耳相傳的效應、媒體打廣告效應、一個消費者不只買一雙鞋...etc)
<15> 擴散模型 Diffusion Model
- 適用領域:
- 人傳人的疾病
- 許多產品、想法和創新突破 藉由人群的口耳相傳
- 藉由接觸而傳染疾病 or 資訊口耳相傳
- 假設一個人如果接受了科技 or 感染了疾病,會有一定機率傳播給他接觸過的人
- 假設:人們得知資訊 or 感染疾病之後,就不會放棄這個資訊 or 不會痊癒
- 一開始,只有少數人知道資訊 (I(0) 很小),經過長時間之後,所有的相關人群都會得知這資訊
- S型 採用曲線
- 擴散機率 分為 分享機率 和 接觸機率
- 不同的消息 有不同的 分享機率 (e.g. “外星人登陸地球” 這消息非常聳動,會比 “可口可樂 推出新產品” 有更高的被分享機率)
- 擴散模型假設 “相關人群中 的任意兩個人 有相同的 接觸機率”。會呈現 隨機混合 (random mixing)
- E.g. 幼稚園中疾病傳播,隨機混合 成立
- E.g. 在一個城市中,人群散步在不同大小的公司、不同地區的社區,並非隨機混合
- 科技傳播速率部分取決於 “接受者的個人選擇”。因此愈實用的科技,有愈高機率被人們接受
- 沒有人會故意被傳染感冒
- 人們並沒有能力選擇是否會被感染疾病,感染疾病的機率取決於許多因素,例如:基因、疾病傳染力,甚至氣溫(瘧疾在溼熱季節的傳播速率,遠比乾冷季節快得多)
- 我們可以自由選擇要不要買 Levi 最新款 牛仔褲、使用最新的 Apple 某軟體服務
- 其他相關重點 or 假設:
- 在 廣播模型 中,由資料估算相關人群大小的方法十分直觀,初始採用者人數和相關人群總人數強烈相關
- 相反的,在 擴散模型 中,要由資料估算相關人群大小可能就十分困難
- 例如:產品增加了相同銷售量,可能是因為少量相關人群配上高擴散機率,也可能是因為眾多相關人群配上低擴散機率
- E.g. 若要加快手機應用程式的銷售速度,業者一方面可以增加人們的接觸機率,另一方面可以增加人們分享應用程式的機率。
- 要增加人們的接觸機率十分困難
- 而若要增加人們分享應用程式的機率,業者可以提供現有使用者邀請新使用者的誘因 (例如:電玩業者贈送遊戲點數給邀請朋友購買遊戲的玩家 )
- 總銷售量的上限 等於相關人群大小,與 分享機率 無關。提高銷售速度,長期下來並無法增加總銷售量
- 雖然這些做法可以加快擴散速度,但在擴散模型的架構下,並不會影響總銷售量,用傳播模型才會看出差異
巴斯模型
- 同時涵蓋 廣播模型 和 擴散模型
- 可以說明許多 產品/計畫/想法/資訊 同時投過 廣播 & 口耳相傳 (擴散) 傳播出去
- 依據 廣播 or 擴散過程 的相對強度大小,決定 巴斯模型的採用曲線 會呈現 r型採用曲線 or S型採用曲線
- 巴斯模型中,如果擴散機率愈大,則採用曲線會愈接近S型
- 電視和廣播節目的資訊傳播,汽車、電腦、電話和手機等產品銷售的採用曲線,事實上,皆結合了r型曲線和S型曲線
<16> SIR 傳染模型 (SIR Model of Contagion)
- 適用場景
- 病人感染疾病疾病之後的痊癒情況
- 某流行風潮 逐漸退流行、某資訊的價值逐漸變低
- 加入考量 復原率 (recovery rate)
- 假設病人感染疾病之後,有可能會復原痊癒
- 假設病人復原之後,不具有免疫能力、仍有可能再次被感染疾病
- 只要產品或病毒屬性發生微小的改變,就可能直接決定傳播是否成功
- E.g. 病毒的傳染力只要降低一點點,就能將大規模播防疾病的風險轉變成只是 小規模的傳染而已
- 接觸機率
- 取決於病毒在人群之間的傳播方式
- 傳播機率
- 跟病毒的毒性有關 (接觸之後不一定會傳染)
- R0 (基本傳染數)
- R0 若大於 1,則疾病會繼續傳播、流行風潮/暢銷書會繼續傳播
- 疫苗接種閥值 (Vaccination Threshold)
- SIR
- S = Susceptible 易感染
- I = Infected 已感染
- R = Recovered 已復原
- 情境臨界值 vs 直接臨界點
- 情境臨界點(contextual tipping point)
- 也就是環境(情境)的些微改變,會導致完全不同的結果
- 在SIR模型中,我們推導出兩個關鍵閾值:R0和疫苗接種閾值。這兩個閾值皆為情境臨界點
- 在情境臨界點上,參數改變會完全改變整個系統的行為
- 直接臨界點
- 在某時間點的一個小動作,可以永遠改變系統路徑。
- 直接臨界點發生在不穩定系統上,像是小球放在山頂尖端時,朝任意方向輕輕一推,就能讓小球滾向山丘任意一邊。輕輕一推就是觸發直接臨界點改變的力量。
- 在直接臨界點上,未來結果會急轉直下
- 擴散模型產生的S型採用曲線中,第一個彎折並不符合任一種臨界點的定義。採用曲線中的彎折,是對應到斜率增加最多的一個點,在這個點上,擴散正在正常進行,並沒有任何臨界現象發生,因此並非臨界點。
<17> 熵 (Entropy) - 不確定性模型
- 低熵值
- 相當於低不確定性 和 揭露極少資訊
- 例如太陽從東邊出來,並不會讓我們感到意外
- 高熵值
- 例如樂透號碼開獎,結果十分不確定,而當結果發生時,會揭露資訊,同時讓我們感到意外
- 適用領域:
- 測量 “不確定性”
- 用來比較兩種全然不同的現象,何者的 ”不確定性” 比較高
- E.g. 判斷紐西蘭選舉結果和聯合國不信任投票,何者不確定性高;
- E.g. 比較股價和運動比賽結果,何者不確定性高。
- 用熵值分辨四種不同種類的結果:
- 平衡
- 循環(週期性)
- 隨機
- 複雜狀態
- 分辨 “看似隨機的複雜模式”
- 分辨 “看似固定模式、實則隨機的現象”
- 系統中存在熵值,本質上並無好壞,熵值的高低取決於實際狀況。
- 例如:制定稅法時,可能會希望稅收是平衡狀態,不希望是隨機狀態
- 做城市規劃時,則希望能保有複雜狀態,若結果是呈現平衡狀態或循環狀態,則會讓城市顯得呆板。畢竟人們總是希望城市充滿活力,能夠提供偶然巧遇和互動機會。
- 雖然多一點熵值,能帶來更好的結果,但依然存在上限,
- 完全隨機並非人們所希望。完全隨機會讓規劃變得困難,甚至可能癱瘓我們的認知能力。
- 理想上,世界最好不時發生一些複雜事件,為生活增添更多樂趣
資訊熵 (Information Entropy) (這個章節我看不懂)
資訊熵值對應於預期詢問的是非題數量。
需要詢問的問題愈多,分布的不確定性就愈高。
一旦確定了結果,就會揭露資訊。
參考資料 (wikipedia)
https://zh.wikipedia.org/wiki/熵_(信息论)
用熵值分辨四種不同種類的結果 (平衡、循環、隨機狀態、複雜狀態)
- 平衡
- 沒有任何不確定性,熵值 = 0
- E.g. 放在桌上不動的鉛筆
- 循環(週期性)
- 循環(或週期)過程有較低的熵值
- E.g. 繞著太陽運轉的幾大行星
- 隨機狀態
- 完美的隨機過程有最大熵值
- E.g. 丟硬幣結果呈現正面或是反面
- E.g. NYSE 交易所的股票股價
- 複雜狀態
- 複雜狀態則有中等熵值,大小介於循環狀態和隨機狀態之間
- E.g. 大腦神經元放電 (既非隨機放電、也沒有固定模式)
平衡和隨機這兩種極端狀態的熵值很明確,但是循環狀態和複雜狀態的熵值就沒有那麼明確了,必須使用其他方法來區分
三種最大熵值分佈 (這個章節我看不懂)
- 在沒有受到控制或缺乏調節力量時,某些群體會逐漸趨向最大熵值(最大亂度)。而在給定限制之下,
- 固定平均值或變異數時,則可以算出最大熵值分布。
- 最大熵值的結果也可以告訴我們如何選擇模型,採用哪些分布會優於其他分布。
熵值 vs 變異數 (variance)
- 變異數是用來測量一組數值的離散程度,雖然不確定性也和離散相關,但兩者並不相同。
- 高不確定性的分布,每個結果都會有一定的機率出現,而且就算是非數值結果也能計算不確定性
- 但是高離散的分布則是代表有許多極端數值。
隨機過程 - 白努力的甕模型 & 隨機漫步模型
Intro
白努利甕模型可說明產生離散結果的隨機過程,例如投擲硬幣或丟骰子。白努利甕模型在數世紀前就推導出來,用來解釋賭博勝率,目前已占據機率理論的重要位置。隨機漫步模型則是建立在白努利甕模型上,隨機漫步模型持續計算硬幣丟出正反面的移動加總(running total)。隨機漫步模型也能呈現液體或氣體中粒子的運動、動物在實體空間的運動,以及人類從出生到童年的身高成長變化。[3]
本章一開始會簡單討論白努利甕模型,並分析事件連續發生的可能長度。接下來會說明隨機漫步模型,我們將得知一維及二維隨機漫步會不斷回到出發點,但三維隨機漫步模型則難以回到出發點。另外,也會瞭解一維隨機漫步回到出發點的時間將遵循冪律分布。
隨機漫步可能會被單純當作某種數學趣味現象,但其實可以用來解釋物種和公司壽命的長短。本章最後,將使用隨機漫步模型來評估效率市場假說和決定網路規模。
——《多模型思維》 Readmoo讀墨電子書
白努力的甕模型 (Bernoulli Urn model)
To be updated
隨機漫步模型 (Random Walk Model)
To be updated
About Alex
- Software Product Manager. Work experiences in Taipei, Singapore, and Shanghai.
- Currently based in Taipei City, Taiwan.
- Contact me via: alex.ho.helloworld@gmail.com