Hypothesis Testing

What You Should Understand

• 能清楚說明 sample mean、variance、bias、variance tradeoff 分別在什麼語境出現
• 知道 confidence interval 與 p-value 不同，且不把它們混成同一件事
• 理解 CLT 為什麼讓平均值在樣本夠大時近似常態，以及它對推論的重要性
• 能講出 Type I / Type II error，以及 power 為什麼是產品實驗常被忽略的風險

Core Concepts

The Logic of Hypothesis Testing

Hypothesis testing is a framework for making decisions under uncertainty. The core idea:

1. State a null hypothesis ($H_0$): The "nothing interesting is happening" claim
2. Collect data and compute a test statistic
3. Calculate the p-value: How likely is this data (or more extreme) if $H_0$ is true?
4. Decide: If the p-value is below your threshold ($\alpha$), reject $H_0$

用一個直覺的比喻：假設檢定就像法庭審判。

• $H_0$ = 被告無罪（預設立場）
• 檢察官（你的資料）必須提出足夠的證據
• p-value = 「假設被告真的無罪，出現這麼強烈的證據的機率有多低？」
• 如果機率低到不合理（p < $\alpha$），陪審團判有罪（reject $H_0$）
• 「無法拒絕 $H_0$」不代表被告清白，只代表證據不足

Population vs Sample

在做任何推論之前，先搞清楚你在談什麼：

為什麼除以 $n-1$？（Bessel's correction）

用樣本計算 variance 時，$\bar{x}$ 本身就是從這批樣本算出來的，會系統性地低估離散程度。除以 $n-1$ 而非 $n$ 可以修正這個 bias，使 $s^2$ 成為 $\sigma^2$ 的 unbiased estimator。

Sampling Distribution and Standard Error

Sampling distribution 是「如果你重複抽樣很多次，每次算出的 statistic 會形成的分布」。它不是你的資料的分布，而是你的估計量的分布。

Standard Error (SE) 是 sampling distribution 的 standard deviation：

SE 告訴你：你的估計有多穩定？SE 越小，$\bar{x}$ 越接近真實的 $\mu$。

注意區別：

• Standard deviation ($s$): 資料本身的離散程度 →「每個人的消費差異有多大」
• Standard error ($s / \sqrt{n}$): 估計量的離散程度 →「平均消費這個估計有多準」

Confidence Intervals

A 95% confidence interval means: if we repeated this experiment many times, about 95% of the intervals we construct would contain the true parameter.

Where $\bar{x}$ is the sample mean, $s$ is the sample standard deviation, and $n$ is the sample size.

CI 寬度取決於三個因素：

1. Confidence level ($1-\alpha$)：99% CI 比 95% CI 更寬
2. Variance ($s$)：資料越分散，CI 越寬
3. Sample size ($n$)：樣本越大，CI 越窄（$\sqrt{n}$ 在分母）

Type I and Type II Errors

• Type I Error ($\alpha$): False positive — you see an effect that isn't there
• Type II Error ($\beta$): False negative — you miss a real effect
• Power ($1-\beta$): Probability of detecting a real effect

用生活化的例子理解：

$\alpha$ 和 $\beta$ 的 tradeoff：固定樣本量下，降低 $\alpha$（更嚴格）會增加 $\beta$（更容易漏掉真效果）。唯一能同時降低兩者的方法是增加樣本量。

Central Limit Theorem (CLT)

Regardless of the population distribution, the distribution of sample means approaches a normal distribution as sample size increases:

This is why we can use z-tests and t-tests even when the underlying data isn't normal — as long as $n$ is large enough.

CLT 的三個關鍵細節：

1. 多大才夠？ 一般 $n \geq 30$ 是經驗法則，但如果母體分布嚴重偏態（如收入、交易金額），可能需要 $n > 100$
2. 前提條件：觀測值必須獨立，且母體 variance 必須有限（Cauchy 分布就不適用）
3. CLT 說的是平均值的分布，不是資料本身的分布。即使資料是 exponential 分布，$\bar{X}$ 在 $n$ 夠大時仍近似常態

Choosing the Right Test

Statistical Power

Power depends on four factors:

• Effect size: Larger effects are easier to detect
• Sample size ($n$): More data = more power
• Significance level ($\alpha$): Higher $\alpha$ = more power (but more false positives)
• Variance: Lower variance = more power

Effect Size（效果量）

p-value 告訴你「有沒有差異」，effect size 告訴你「差異有多大」。常見的度量：

Cohen's d（兩組 means 的差異，以 pooled SD 為單位）：

Multiple Testing Problem

當你同時做多個檢定時，至少出現一個 false positive 的機率急速上升：

修正方法：

• Bonferroni correction：$\alpha_{\text{adj}} = \alpha / m$。簡單但保守，power 大幅下降。
• Benjamini-Hochberg (FDR)：控制 false discovery rate（被 reject 的 $H_0$ 中，FP 的期望比例）。比 Bonferroni 寬鬆，適合探索性分析。
• Primary metric approach：只對一個 primary metric 做正式檢定，其他是 secondary/exploratory，不需要 correction。

Real-World Use Cases

把假設檢定的概念放進三個常見的 ML 場景，你會發現它無處不在：

Case 1: 信用卡詐欺偵測（Classification）

你建了一個詐欺偵測模型，上線前老闆問：「新模型真的比舊模型好嗎？」

Setup:

• $H_0$: 新模型的 precision 和舊模型沒有差異
• $H_1$: 新模型的 precision 更高
• 你在同一批標記資料上跑兩個模型，得到 paired predictions

為什麼不能只看單一數字？

假設舊模型 precision = 0.82，新模型 precision = 0.85。看起來新的比較好？但這可能只是因為這批 test data 剛好有利。你需要做 McNemar's test（paired comparison on classification results）或 bootstrap confidence interval 來確認差異是否顯著。

from sklearn.metrics import precision_score
from scipy import stats
import numpy as np

# Bootstrap: resample test set 1000 times, compare precision
precisions_old, precisions_new = [], []
for _ in range(1000):
    idx = np.random.choice(len(y_test), len(y_test), replace=True)
    precisions_old.append(precision_score(y_test[idx], y_pred_old[idx]))
    precisions_new.append(precision_score(y_test[idx], y_pred_new[idx]))

diff = np.array(precisions_new) - np.array(precisions_old)
ci = np.percentile(diff, [2.5, 97.5])
# CI = [0.01, 0.05] → excludes 0, new model is significantly better
# CI = [-0.02, 0.06] → includes 0, not enough evidence

Case 2: 房價預測（Regression）

你的房價模型有 20 個 features，PM 問：「坪數到底對房價有沒有影響？加了學區距離這個 feature 有用嗎？」

Setup:

• $H_0$: $\beta_{\text{area}} = 0$（坪數的 coefficient 為零，對房價沒影響）
• $H_1$: $\beta_{\text{area}} \neq 0$

在 OLS regression 中，每個 coefficient 自帶一個 t-test：

如果 $|t|$ 大到 p-value < 0.05，就拒絕「這個 feature 沒用」的虛無假設。

import statsmodels.api as sm

X = sm.add_constant(df[["area", "rooms", "distance_to_school"]])
model = sm.OLS(df["price"], X).fit()
print(model.summary())
#                  coef    std err     t      P>|t|    [0.025    0.975]
# area           12.34      1.56    7.91    0.000     9.28      15.40   ← significant
# rooms           3.21      2.88    1.11    0.266    -2.44       8.86   ← NOT significant
# dist_school    -5.67      1.23   -4.61    0.000    -8.08      -3.26   ← significant

F-test：整組 features 有沒有用？

這是比較「有這組 features 的模型」和「沒有的模型」，看加入的 features 整體是否顯著。

Case 3: 客戶分群（Clustering）

你用 K-Means 把客戶分成 4 群，行銷部門問：「高價值客群的平均消費真的比其他群高嗎？還是只是隨機波動？」

Setup:

• $H_0$: 各群的平均月消費相同（$\mu_1 = \mu_2 = \mu_3 = \mu_4$）
• $H_1$: 至少有一群不同
• 用 one-way ANOVA（F-test）或非參數的 Kruskal-Wallis test

from scipy import stats

# cluster_spending = [group1_values, group2_values, group3_values, group4_values]
f_stat, p_value = stats.f_oneway(*cluster_spending)
# p < 0.001 → at least one cluster is significantly different

# Follow-up: WHICH clusters differ? → Tukey's HSD for pairwise comparison
from statsmodels.stats.multicomp import pairwise_tukeyhsd
tukey = pairwise_tukeyhsd(all_spending, cluster_labels, alpha=0.05)
print(tukey)
# group1 vs group4: mean diff=120, p=0.001 → significant
# group2 vs group3: mean diff=15,  p=0.82  → not significant

三個 Use Cases 的假設檢定對照

Hands-on: Hypothesis Testing in Python

t-test & Confidence Interval

import numpy as np
from scipy import stats

# Scenario: A/B test — does the new checkout flow increase order value?
control = np.random.normal(loc=50, scale=12, size=200)
treatment = np.random.normal(loc=53, scale=12, size=200)

# Two-sample t-test (independent, equal variance)
t_stat, p_value = stats.ttest_ind(control, treatment)

# 95% Confidence Interval for the difference in means
diff = treatment.mean() - control.mean()
se = np.sqrt(treatment.var()/len(treatment) + control.var()/len(control))
ci_low, ci_high = diff - 1.96 * se, diff + 1.96 * se
# → CI excludes 0 ⟹ statistically significant at α=0.05

Power Analysis & Sample Size

from scipy import stats
import numpy as np

def required_sample_size(baseline, mde, alpha=0.05, power=0.80):
    """Calculate sample size per group for a two-proportion z-test."""
    z_alpha = stats.norm.ppf(1 - alpha / 2)  # 1.96
    z_beta = stats.norm.ppf(power)            # 0.84
    p1, p2 = baseline, baseline + mde
    pooled_var = p1 * (1 - p1) + p2 * (1 - p2)
    return int(np.ceil((z_alpha + z_beta) ** 2 * pooled_var / mde ** 2))

# 10% → 12% (MDE=2%): ~  3,800 per group
# 10% → 11% (MDE=1%): ~ 15,300 per group
# 10% → 10.5% (MDE=0.5%): ~ 61,200 per group
# → Smaller effects need exponentially more data!

Explore Distributions

Use this interactive tool to build intuition about how distribution shapes change with parameters:

Interview Signals

What interviewers listen for:

• 你不是背公式，而是知道什麼時候該用哪個工具
• 你能主動指出檢定的前提假設，例如獨立性、樣本量、分布型態
• 你能解釋統計結果對商業決策代表什麼，而不是只回報顯著不顯著

Practice

Flashcards

Quiz