← 回首頁
大數據處理分析與應用
📈

M08 大數據處理分析與應用

統計基礎、數據工程、資料視覺化到大數據 × AI 整合

共 10 講
大數據的 5V:Volume、Velocity、Variety、Veracity、Value
M08.01

大數據的 5V:Volume、Velocity、Variety、Veracity、Value

資料大不等於大數據 — 要同時具備五個 V 才算數

大數據 5V Volume Velocity Variety Veracity Value 資料特性 資料工程
描述性統計:用數字說故事的基本功
M08.02

描述性統計:用數字說故事的基本功

平均數會騙人、中位數更誠實 — 統計素養是資料分析的地基

描述性統計 平均數 中位數 標準差 分佈 偏態 統計素養 資料分析
相關性 vs 因果性:AI 最容易搞混的關係
M08.03

相關性 vs 因果性:AI 最容易搞混的關係

冰淇淋銷量和溺水人數高度相關 — 但吃冰淇淋不會讓人溺水

相關性 因果性 虛假相關 混淆變數 因果推論 統計謬誤 A/B測試
資料視覺化:一張好圖勝過一千個數字
M08.04

資料視覺化:一張好圖勝過一千個數字

長條圖、折線圖、散布圖 — 選錯圖表比沒有圖表更危險

資料視覺化 長條圖 折線圖 散布圖 直方圖 熱力圖 Tableau 資料溝通 圖表選擇
A/B 測試:用實驗驗證 AI 的效果
M08.05

A/B 測試:用實驗驗證 AI 的效果

不要相信直覺 — 讓數據告訴你哪個版本更好

A/B測試 實驗設計 統計顯著性 假設檢定 p值 控制組 實驗組 效果驗證
機器學習管線中的資料處理
M08.06

機器學習管線中的資料處理

從原始資料到模型輸入 — 分散式框架讓大規模資料不再是瓶頸

機器學習管線 特徵工程 Spark Dask 資料預處理 分散式運算 ETL 資料清洗
時間序列分析與預測
M08.07

時間序列分析與預測

讀懂時間的語言 — 從趨勢到季節性,讓資料預見未來

時間序列 趨勢分析 季節性 ARIMA Prophet 預測模型 移動平均 時間序列分解
異常偵測
M08.08

異常偵測

在正常中找出不正常 — 讓 AI 當你的智慧警報系統

異常偵測 離群值 Isolation Forest Autoencoder 統計方法 詐欺偵測 設備監控 無監督學習
資料倫理與隱私保護
M08.09

資料倫理與隱私保護

數據的力量越大,責任越重 — 讓 AI 既聰明又合乎道德

資料倫理 差分隱私 聯邦學習 去識別化 個資保護 GDPR AI偏見 資料治理
資料分析專案管理
M08.10

資料分析專案管理

從問題到洞見的完整旅程 — CRISP-DM 讓每個分析都有始有終

CRISP-DM 專案管理 資料分析流程 問題定義 業務理解 資料理解 洞見溝通 分析交付