Ensemble Method: Voting Classifier

Step 1：训练多个 不同的模型

• Logistic Regression

• Decision Tree

• KNN

• SVM
👉 模型结构不同

Step 2：每个模型给出预测

• Classification：预测一个 class 或 probability

• Regression：预测一个数值

Step 3：Aggregation（投票或平均）

🔹 Hard Voting

• 每个模型投一个 class

• 多数票胜出

🔹 Soft Voting（更常用）

• 每个模型给 probability

• 对 probability 取平均

• 选平均概率最大的 class

• 不知道 哪个模型最好

• 单一模型不稳定

• 希望用 “集体智慧”

✅ 优点

• 简单

• 易理解

• 快速提升稳定性

❌ 缺点

• 不能解决高 variance 的单模型问题

• 模型之间如果高度相关 → 提升有限

• baseline ensemble

• 快速提升 performance

• 不追求极致 performance，但追求稳