M10.04｜AI 風險管理
辨識、評估、緩解 AI 專案的潛在風險 — 讓 AI 安全落地，而非意外翻車
本講學習重點
四大類：技術風險、資料風險、商業/組織風險、法律/合規風險
風險等級 = 影響嚴重度 × 發生可能性（高/中/低 各分 3 分，共 9 格矩陣）
模型漂移：資料分佈隨時間改變導致模型準確率下降，需持續監控
對抗性攻擊：惡意輸入欺騙模型，防禦用對抗訓練、輸入驗證
風險緩解三層次：預防（避免風險發生）、偵測（早期發現）、恢復（快速回復）
人工監督（Human-in-the-Loop）是高風險 AI 應用的必要措施
風險登記冊（Risk Register）是專案管理的必備文件
🎙️ Podcast（中文）
一句話搞懂
AI 風險管理就是在 AI 系統傷到人（或傷到公司）之前，提前識別「可能出什麼事」、計算「出事的機率和嚴重程度」，並建立「預防、偵測、快速恢復」的三道防線。iPAS 考試中，風險矩陣的使用和風險分類幾乎是必考題，實務上它更是你向高層報告「AI 專案為何值得信任」的核心工具。
白話解說
AI 風險管理的必要性
2023 年，美國一家律師事務所的律師使用 ChatGPT 準備法律文件，AI 捏造了不存在的法院判例，律師沒有核實就直接引用，被法官以「不實陳述」罰款。2022 年，荷蘭稅務局的 AI 系統錯誤地將約 2.6 萬個家庭標記為福利詐欺，導致數年的錯誤追繳，最終荷蘭政府不得不下台。
這些案例說明：AI 不是一個「部署完就沒事」的工具，它需要持續的監控、管理和治理。AI 風險管理的核心問題是：這個 AI 系統什麼時候會以什麼方式出問題，後果有多嚴重，我們如何應對？
AI 風險的四大分類
類型一：技術風險（Technical Risks）
這類風險源自模型本身的技術侷限：
- 模型性能不足：準確率達不到實務要求，例如醫療 AI 的誤診率過高
- 模型漂移（Model Drift）：部署後資料分佈改變，導致模型準確率下降。例如：COVID-19 期間，消費行為改變使得所有基於疫情前資料的推薦系統效果大幅下降
- 過度擬合（Overfitting）：模型在測試集表現好，在真實資料上卻失效
- 對抗性攻擊（Adversarial Attacks）：惡意設計的輸入資料刻意誤導模型。例如：在停車標誌上貼特定圖案，可讓自動駕駛視覺系統誤判
- 資料中毒（Data Poisoning）：訓練資料被惡意污染，植入後門
類型二：資料風險（Data Risks）
- 資料品質問題：缺值、錯誤標籤、重複資料導致模型學習偏差
- 資料洩露：訓練資料中的敏感個資被攻擊者從模型中提取
- 資料偏差（Bias）：訓練資料不具代表性，導致系統性歧視（詳見 M10-03）
- 資料過時：使用陳舊資料訓練，模型無法反映現實變化
類型三：商業與組織風險（Business and Organizational Risks）
- 使用者採用率低：投入大量資源開發，但員工或客戶拒絕使用
- 流程整合失敗：AI 系統與既有業務流程脫節，產生摩擦
- 供應商鎖定（Vendor Lock-in）：過度依賴特定 AI 廠商，未來轉換成本高
- ROI 未達預期：效益被高估，或成本被低估
- 關鍵人才流失：維護 AI 系統的核心人員離職，系統無人維護
類型四：法律與合規風險（Legal and Compliance Risks）
- 個資違規：AI 系統違反 PDPA 個資法或 GDPR
- 智慧財產權爭議：生成式 AI 輸出涉及著作權侵害
- 歧視性決策：AI 在就業、信貸、醫療等領域的歧視可能觸法
- 未知監管變化：法規快速演進，目前合法的做法可能未來違規
風險矩陣：AI 風險評估的核心工具
風險矩陣是將所有識別到的風險依「影響嚴重度」和「發生可能性」進行排列的工具，幫助決策者優先處理高風險項目。
標準 3×3 風險矩陣：
| 低影響（1分） | 中影響（2分） | 高影響（3分） | |
|---|---|---|---|
| 高可能性（3分） | 3（中） | 6（高） | 9（極高） |
| 中可能性（2分） | 2（低） | 4（中） | 6（高） |
| 低可能性（1分） | 1（極低） | 2（低） | 3（中） |
風險評分 = 影響嚴重度分數 × 發生可能性分數
處理優先順序：極高(9)→高(6)→中(3-4)→低(1-2)
AI 專案常見風險的矩陣填寫範例（信貸 AI 系統）：
| 風險項目 | 影響 | 可能性 | 評分 | 處理方式 |
|---|---|---|---|---|
| 模型對特定族群有偏差 | 高(3) | 中(2) | 6 | 定期偏差稽核 |
| 訓練資料中有個資洩露 | 高(3) | 低(1) | 3 | 資料匿名化 |
| 模型在 6 個月後準確率下降 | 中(2) | 高(3) | 6 | 持續監控+定期重訓 |
| 員工不信任 AI 建議 | 中(2) | 高(3) | 6 | 透明度設計+培訓 |
| 競爭對手複製系統 | 低(1) | 中(2) | 2 | 持續優化差異化 |
模型漂移：最常被忽略的技術風險
模型漂移是指模型部署後，由於真實資料的分佈改變，導致模型預測準確率逐漸下降的現象。這是最常被忽略但影響最廣的 AI 技術風險。
兩種主要類型：
- 特徵漂移（Covariate Drift / Data Drift）：輸入特徵的分佈改變，但輸入與輸出的關係未變。例如：消費者年齡結構改變，但購買行為模式不變
- 概念漂移（Concept Drift）：輸入與輸出的關係本身改變。例如：疫情後「外送」從偶發需求變成日常習慣，之前的需求預測邏輯不再適用
偵測方法：
- 持續監控模型在生產環境的準確率（需要有真實標籤的反饋機制）
- 統計檢定監控輸入資料的分佈變化（PSI 指標、KS 檢定）
- 設定警示門檻：準確率下降超過 X% 或分佈漂移超過閾值時觸發警報
緩解策略：
- 定期重訓（Scheduled Retraining）：按固定週期更新模型
- 觸發式重訓（Triggered Retraining）：偵測到漂移時自動觸發
風險緩解的三道防線
第一道防線：預防（Prevention） 在風險發生之前消除或降低風險的措施：
- 嚴格的資料品質把關流程
- 模型開發過程中的偏差測試
- 安全性設計（Security by Design）
- 法規合規審查（Legal Review）
第二道防線：偵測（Detection） 在風險發生時或發生後盡快察覺：
- 生產環境的模型效能監控儀表板
- 異常偵測系統（輸入資料異常、輸出結果異常）
- 使用者回饋機制（允許使用者標記可疑結果）
- 定期審計（Internal Audit）
第三道防線：恢復（Recovery） 在風險造成損害後快速回復：
- 模型版本控制（能夠快速回滾到上一個穩定版本）
- 業務持續計劃（BCP）：AI 失效時的人工備援流程
- 危機溝通計劃：如何向受影響的使用者和監管機關說明
應用場景
| 場景 | 主要風險類型 | 關鍵緩解措施 | 監控指標 |
|---|---|---|---|
| 自動駕駛輔助系統 | 技術：感測器失效、邊緣案例 | 人工監督強制介入機制、冗餘感測 | 誤報率、漏報率 |
| 金融交易 AI | 技術：閃崩、市場操縱 | 熔斷機制、實時監控 | 異常交易量、損益波動 |
| 醫療診斷輔助 | 技術：漂移、族群準確率差異 | 定期臨床驗證、醫師最終決策 | 敏感度、特異性 |
| 內容推薦系統 | 商業：過濾泡沫、法律：著作權 | 內容多樣性機制、著作權過濾 | 多樣性指數、使用者投訴率 |
| 招募 AI 篩選 | 法律：就業歧視 | 定期偏差稽核、人工複核 | 各族群錄取率差異 |
| 供應鏈預測 | 商業：ROI 未達、資料：供應商資料品質 | 分階段導入、供應商 SLA 協議 | 預測誤差率、庫存周轉率 |
| 客服聊天機器人 | 商業：客戶不滿、技術：幻覺輸出 | 人工轉接機制、輸出過濾 | 客戶滿意度、升級率 |
常見誤區
誤區 1：「只要測試階段準確率高，風險就低」
測試準確率高是必要條件，但遠不是充分條件。模型在測試集上的表現，只能代表它對歷史資料的學習程度，無法保證：
- 在真實環境下的表現：測試集的資料分佈可能無法完整反映生產環境的多樣性，尤其是極端值和異常情況
- 未來的表現：隨著時間推進，資料分佈會改變（模型漂移），測試準確率不代表 6 個月後的準確率
- 所有族群的公平表現：整體準確率 95% 可能掩蓋了對特定族群只有 70% 的不公平現象
真正的風險管理需要：上線後的持續監控、分族群的效能分析、定期的對抗性測試（Red Teaming）。
誤區 2：「AI 系統一旦部署就不需要人工介入」
完全自動化的 AI 決策只適用於風險極低的場景（如：廣告推薦）。在高風險場景（醫療、金融、人事、執法），「人工監督（Human-in-the-Loop）」是法規要求，也是風險管理的必要設計。
「Human-in-the-Loop」不是指人工做所有決定，而是設計合理的人機協作機制：
- 人工確認：AI 建議，人工批准（用於高風險決策）
- 人工例外處理：AI 處理常規案件，異常案件轉交人工（客服機器人）
- 人工監督：AI 自主決策，人工定期稽核抽查（內容審核）
忽略人工監督設計，不僅增加了決策錯誤的風險，在法律上也可能難以釐清責任歸屬。
誤區 3：「風險登記冊只是文件作業，沒有實用價值」
很多團隊把風險登記冊（Risk Register）當成一次性的「交差文件」，在專案啟動時填一填，之後就束之高閣。這讓風險管理流於形式，完全失去它的作用。
有效的風險登記冊應該是一份「活文件」：
- 定期更新：每個里程碑都應重新審視風險清單，新增新發現的風險、更新已處理的風險狀態
- 負責人制：每個風險都有一個指定的負責人，而非整個團隊負責
- 觸發條件：預先定義風險「實現」的判斷標準，避免模糊地帶
- 應對方案：每個高風險項目都有事先規劃的緩解行動和應急計劃
iPAS 考試中，關於「風險登記冊應包含哪些欄位」和「誰應該定期審查風險登記冊」是常見的選擇題。
小練習
練習 1：風險矩陣填寫（模擬考題）
一家保險公司計劃導入 AI 理賠審核系統，請評估以下三個風險的等級，並建議處理優先序：
風險 A：AI 對老年人申請者的理賠核准率偏低（潛在性別/年齡歧視） 風險 B：模型訓練時使用的理賠資料中包含未去識別化的個人病歷 風險 C：系統上線後六個月，因產品線調整，訓練資料不再具代表性
請分別評估「影響嚴重度（高/中/低）」和「發生可能性（高/中/低）」，計算風險評分，並排列處理優先序。
練習 2：風險緩解策略設計（情境題）
你是某零售銀行的 AI 專案經理，負責一個用於個人信貸決策的 AI 審核系統。系統預計每月處理 10,000 件申請，全程自動決策，不設人工審核。你的上司要求「盡快上線，省去人力成本」。
請從風險管理角度，列出你會建議加入的三個關鍵風險管控機制，並說明理由。