p-value là xác suất quan sát được dữ liệu ít nhất cực đoan như dữ liệu thực tế, với giả định giả thuyết không (H0) đúng. p-value nhỏ nghĩa là dữ liệu khó xảy ra dưới H0 → bằng chứng chống lại H0. So với mức ý nghĩa α: nếu p < α thì bác bỏ H0.
p-value không phải là xác suất H0 đúng, cũng không phải xác suất kết quả "do ngẫu nhiên".
Hai loại lỗi trong kiểm định:
- Lỗi loại I (dương tính giả) — bác bỏ H0 khi H0 thực ra đúng. Tỷ lệ mắc chính là α.
- Lỗi loại II (âm tính giả) — không bác bỏ H0 khi H0 thực ra sai. Tỷ lệ là β; power = 1 − β là khả năng phát hiện đúng hiệu ứng thật.
Đánh đổi: với cùng cỡ mẫu, giảm α sẽ làm β tăng. Cách giảm đồng thời cả hai là tăng cỡ mẫu.