1 概览

• 二分类/多分类（classification）—— 使用 SVC 或线性变体 LinearSVC。SVM 通过最大化间隔学习边界，适合中小规模、特征维度中等且需要高泛化能力的任务。
• 回归（regression）—— 使用 SVR 或线性变体 LinearSVR，采用 ε-insensitive 损失，稀疏解（部分支持向量）使模型在噪声下更平滑。
• 单类/异常检测（one-class）—— 使用 OneClassSVM（ν-formulation），把“正常”点包围在高维特征空间的区域里，用于异常检测、novelty detection。

2 Python API

# 常见 imports
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.svm import SVC, SVR, OneClassSVM, LinearSVC, LinearSVR

# 1) 二分类 SVM (非线性核示例)
pipe = Pipeline([
    ("scaler", StandardScaler()),
    ("svc", SVC(kernel="rbf", C=1.0, gamma="scale", probability=False))
])
# fit & predict
pipe.fit(X_train, y_train)
y_pred = pipe.predict(X_test)
y_scores = pipe.decision_function(X_test)  # 对于概率，需要 probability=True

# 2) SVR（回归，RBF 核）
svr = Pipeline([
    ("scaler", StandardScaler()),
    ("svr", SVR(kernel="rbf", C=1.0, epsilon=0.1, gamma="scale"))
])
svr.fit(X_train, y_train)
y_pred = svr.predict(X_test)

# 3) One-class SVM（异常检测）
ocsvm = Pipeline([
    ("scaler", StandardScaler()),
    ("ocsvm", OneClassSVM(kernel="rbf", nu=0.05, gamma="scale"))
])
ocsvm.fit(X_normal_train)          # 只用正常样本训练
labels = ocsvm.predict(X_test)     # +1 表示 inlier， -1 表示 outlier

# 4) 大规模线性问题（替代）
linear_clf = Pipeline([("scaler", StandardScaler()), ("clf", LinearSVC(C=1.0, max_iter=10000))])
linear_reg = Pipeline([("scaler", StandardScaler()), ("reg", LinearSVR(C=1.0, epsilon=0.0, max_iter=10000))])

---

3 超参数说明

以下给出每个算法的关键超参数、默认值（scikit-learn 常见默认）与推荐的搜索范围、对调参的工程性建议。

3.1 SVC（classification）

• kernel：核类型（'linear', 'rbf', 'poly', 'sigmoid', 或自定义核函数）。
  • 含义：决定决策边界的函数空间。线性适用于线性可分或特征维数很大（线性模型已足够）的问题；RBF 是默认且常用的非线性选择。
• C（默认 1.0）
  • 含义：软间隔权衡系数。C 越大→惩罚误分类越重→更倾向于拟合训练数据（低偏差，高方差）。C 越小→更宽的间隔（更强正则化）。
  • 建议搜索范围（log scale）：[1e-3, 1e-2, 1e-1, 1, 10, 100, 1000]。
• gamma（仅 RBF/poly/sigmoid，'scale'/'auto' 或 float；'scale' 是推荐默认）
  • 含义（RBF）：控制单个样本影响范围。gamma 大→影响范围小→决策边界更加复杂（可能过拟合）。gamma 小→影响范围大→边界更平滑。
  • 建议：若使用 gamma=float，搜索范围 [1e-4, 1e-3, 1e-2, 1e-1, 1, 10] 或以 1/n_features 为参考初始。
• degree（多项式核阶数，默认 3）
• coef0（poly/sigmoid 的常数项，控制高阶与低阶的平衡）
• class_weight：None 或 'balanced' 或 dict；用于类别不平衡时自动加权。
• probability：True 时使用 Platt scaling 估计概率（会增加训练开销且使用交叉验证时要注意）。

实践建议：常用组合为 kernel='rbf' + 网格搜索 (C, gamma)。对高维稀疏输入（如文本向量）优先考虑 linear 核或使用 LinearSVC。

3.2 SVR（支持向量回归）

• kernel：同上。
• C（默认 1.0）
  • 含义：对误差的惩罚强度（越大→越少偏差，但可能过拟合）。
  • 搜索范围同 SVC。
• epsilon（默认 0.1）
  • 含义：ε-不敏感带宽；误差在 ε 内不惩罚。ε 越大→模型更平滑（更稀疏的解），容忍更大误差。
  • 搜索策略：可根据目标变量的尺度设定，比如 epsilon 从 0.001*std(y) 到 0.1*std(y)。
• gamma：同 SVC（RBF）。
• shrinking、tol：用于控制收敛/求解细节。

3.3 OneClassSVM（单类）

• kernel：通常 'rbf'。
• nu（默认 0.5）
  • 含义：上界控制训练时被标为异常（outliers）的比例上限，且是支持向量比例的下界。通常设置小于预期异常率的上界，比如预计异常率 ~1% 时取 nu=0.01~0.05。
• gamma：RBF 下同上。
• degree, coef0：对 poly 有意义。

3.4 LinearSVC / LinearSVR

• penalty（'l2'）、loss、dual 等选项；优点是可以处理较大样本数，复杂度接近线性（比核 SVM 快很多）。当样本数 n 很大时优先考虑线性方法或随机方法（SGDClassifier/SGDRegressor）。

4 训练复杂度与工程可扩展性

• 核 SVM（如 RBF）训练时间复杂度在常规实现下大致为 O(n²) 到 O(n³)（核矩阵的计算与 QP 求解）；内存需要 O(n²) 存储核矩阵 —— 因此不适合 n 很大的情况（如 n > 50k）。
• 线性 SVM（LinearSVC, LinearSVR, SGDClassifier）在大数据集上可扩展（近似线性时间）。
• 核近似策略：Nystroem、RBFSampler（随机傅里叶特征）可以把核方法近似成线性问题，从而应用在更大规模上。
• GPU 加速：标准 scikit-learn 不使用 GPU；有第三方实现（cuSVM、ThunderSVM）可用于大规模/GPU 加速。

5 与领域内其他算法对比（分类 / 回归 / 异常检测）

下面给出结构化的对比（优点 / 缺点 / 什么时候优先选用）。

5.1 二分类 SVM vs Logistic Regression / Random Forest / Gradient Boosting / NN

• 优点（SVM）：
  • 对高维数据（特征维>>样本数）表现强劲，尤其当边界明显且样本规模中等时。
  • RBF/poly 核能处理复杂非线性边界，无需显式特征工程（但核参数敏感）。
  • 稀疏解（支持向量），在某些场景下模型表达更紧凑。
• 缺点（SVM）：
  • 对超参数（C, gamma）敏感，需要细致调参。
  • 对大规模数据训练开销高（时间/内存）。
  • 不能直接输出校准概率（需要 Platt scaling，额外成本）。
  • 对类别不平衡问题需手动处理（class_weight/resampling）。
• 何时选用：
  • 中小数据集、特征维高、追求边界最大化、对可解释性（支持向量）有需求时选 SVM。
  • 若数据量极大或需轻量部署/树模型特性（处理缺失值、类别变量、自动特征交叉）时优先选 Random Forest / Gradient Boosting / XGBoost / LightGBM。
  • 对概率输出和可扩展性要求高时，Logistic / tree-based / NN 更方便。

5.2 SVR vs RandomForestRegressor / GradientBoosting / XGBoost / Linear

• 优点（SVR）：
  • 对噪声（少量异常点）有天然鲁棒（ε-insensitive 带）。
  • 非线性核可拟合复杂函数，且输出平滑。
• 缺点：
  • 训练和预测在大样本下慢；对 hyperparameters 敏感（C, gamma, epsilon）。
  • 在很多现实回归任务中，基于树的提升方法（XGBoost/LightGBM）常常给出更好的精度与更少的调参工作量。
• 何时选用：
  • 中小规模、对噪声敏感场景，或者当你能调参并且核能捕捉潜在模式时。否则优先考虑树模型或神经网络。

5.3 OneClassSVM vs Isolation Forest / LOF / Autoencoder

• 优点（OneClassSVM）：
  • 在高维特征与少量异常且数据只含正常样本时表现好（RBF 下能学到包围形状）。
  • 理论上有 ν 控制异常率。
• 缺点：
  • 对核参数敏感，训练复杂度随样本增加显著上升；对噪声敏感（训练集中若包含污染点会影响边界）。
  • 对比度（anomaly score range）不直观，需要调阈值。
• 常用替代：
  • IsolationForest（基于随机树，扩展性好，对大数据友好）；
  • LocalOutlierFactor（LOF，适用于局部密度异常）；
  • 自编码器（深度学习，能处理复杂高维数据但需要更多数据和训练）。
• 何时选用：
  • 若样本量中等、希望用核方法并且能精调 nu 与 gamma，OneClassSVM 可尝试；大规模或对可扩展性/稳健性要求高时优先 IsolationForest / autoencoder。

6 SVM 应用最广泛的领域

• 文本分类（高维稀疏特征）：新闻分类、垃圾邮件检测、情感分类（过去传统方法中 SVM 常与 TF-IDF 共用）。
• 生物信息学（基因表达数据、蛋白质分类）：典型是高维小样本问题。
• 图像分类（传统特征如 SIFT/HOG 时代流行，深度学习兴起后部分场景被 CNN 取代）。
• 异常检测：工业异常检测、网络入侵检测、金融欺诈（one-class / OC-SVM、IsolationForest 等结合使用）。
• 回归场景：工程测量、物理建模中对平滑预测和抗噪声有硬性要求的任务。

7 实战训练/调参流水线

1. 数据预处理

   • 特征缩放：StandardScaler / MinMaxScaler —— 对 SVM 至关重要（尤其 RBF/poly）。
   • 缺失值处理：SVM 不原生支持缺失值（先填充或剔除）。
   • 类别特征：编码为数值（one-hot/target encoding）；对于稀疏高维输入，线性核通常更合适。

2. 基线模型

   • 先用 LinearSVC / LinearSVR 做快速基线（或用小 subset 训练核 SVM 观察可分性）。

3. 选择核并做粗网格搜索

   • 如果怀疑线性可分则 kernel='linear'（或 LinearSVC）。否则先试 kernel='rbf'。
   • 粗网格：C ∈ [1e-2, 1e-1, 1, 10, 100]，gamma ∈ [1e-3,1e-2,1e-1,1,10]（对 RBF）。

4. 交叉验证

   • 使用分层 k-fold（classification）或时间序列 CV（时间相关数据）。注意 probability=True 会增加训练成本且需要在 CV 中进行正确折叠。

5. 精细搜索与评估

   • 在粗网格最优附近做局部细化（log scale）。
   • 指标：分类用 precision/recall/F1/ROC-AUC（不平衡问题除外），回归用 RMSE/MAE/R2，异常检测用 precision@k、ROC-AUC（若有标签）。

6. 校准概率（如果需要）

   • SVM 的概率由 Platt scaling 估计（probability=True），若需更可靠概率，使用 CalibratedClassifierCV。

7. 部署注意

   • 保存支持向量与比例（scaler），预测时内存与速度受支持向量数量影响。若支持向量很多，考虑近似或更换模型。

---

8 常见问题与工程技巧

• 必须标准化特征。不做 scaling 通常导致 RBF/poly 完全失败。
• 类别不平衡：使用 class_weight='balanced' 或重采样（SMOTE、undersample）。
• 核选择经验法：若 n_features 很大（文本、bag-of-words），先试 linear；否则 rbf 常是首选。
• 如何选择 gamma：使用 gamma='scale'（sklearn 默认，建议）；若手动设置，以 1 / (n_features * X.var()) 或在 logspace 搜索。
• 大数据解决方案：
  • 用 LinearSVC 或 SGDClassifier（线性）；
  • 用 RBFSampler/Nystroem 将核近似为线性，然后用线性模型；
  • 使用能 GPU 的第三方库（如 ThunderSVM）或分布式实现。
• 调参技巧：先调整 C（控制正则），再调整核参数 gamma / epsilon / nu。
• 支持向量数量过多：意味着模型复杂或噪声大，可减小 C 或增大 γ 的平滑（对于 RBF，gamma 减小会增加平滑度）。

9 典型超参数网格与示例

SVC (RBF)

param_grid = {
  "svc__C": [1e-2, 1e-1, 1, 10, 100],
  "svc__gamma": [1e-3, 1e-2, 1e-1, "scale"]
}
grid = GridSearchCV(pipe, param_grid, cv=5, scoring="f1", n_jobs=-1)

SVR (RBF)

param_grid = {
  "svr__C": [0.1, 1, 10, 100],
  "svr__gamma": ["scale", 1e-2, 1e-3],
  "svr__epsilon": [0.001, 0.01, 0.1, 1.0]
}

OneClassSVM

param_grid = {
  "ocsvm__nu": [0.001, 0.01, 0.05, 0.1],
  "ocsvm__gamma": ["scale", 1e-2, 1e-3]
}

10 额外补充

• 样本标准化对核的数值稳定性影响大：在 pipeline 中把 StandardScaler 放在最前面。
• 特征选择：若特征数量巨大且包含噪声，先做特征选择（L1、树模型重要性或嵌入式方法）可提升 SVM 的效果并减少支持向量数。
• 可解释性：线性 SVM 的权重可被直接解释（特征贡献），RBF 等核模型不易解释，可借助 LIME/SHAP 等工具。
• 保存与部署：保存 pipeline（scaler + model）以保证输入一致；注意序列化文件大小（支持向量多会大）。
• 混合策略：在竞争性任务中经常使用 SVM 与树模型并行试验，然后集成（stacking）得到更稳健性能。

11 异常敏感度

模型	对噪声/异常的敏感性	原因	调节策略
SVM（分类）	中等敏感	hinge loss + 支持向量受异常影响	降低 C 可增加鲁棒性
SVR（回归）	抗噪	ε-insensitive loss 忽略小误差	增大 ε 或减小 C 提升鲁棒
One-Class SVM	高敏感	假设训练集全是正常样本，异常点扭曲边界	减少训练异常或控制 ν 上限

原理总结

• SVM 分类：只对支持向量敏感，边界外远离的异常点影响小；C 大 → 异常影响大。
• SVR：ε 管道内点完全忽略，小噪声不影响，管道外线性惩罚异常 → 鲁棒性强。
• One-Class SVM：训练异常点会被当作正常，严重扭曲边界 → 极度敏感。

实践建议

• 分类任务：SVM 可用，噪声多则调低 C 或考虑树模型。
• 回归任务：SVR 是首选，或配合 Huber 等鲁棒方法。
• 异常检测：One-Class SVM 仅适合数据干净场景；噪声多则 Isolation Forest 或 LOF 更稳。

一句话总结：

SVR 最抗噪、SVM 分类次之、One-Class SVM 对脏数据最敏感。

结语

1. 若数据量中等（n ≤ 数万），优先试 SVC(kernel='rbf')（分类）或 SVR(kernel='rbf')（回归），并做 (C, gamma) 网格搜索。
2. 若 n 很大或需要实时/低延迟预测，优先 LinearSVC / LinearSVR 或核近似 + 线性模型。
3. 异常检测：若训练集中“正常”样本数量充足且规模适中，可尝试 OneClassSVM（细调 nu 与 gamma），否则优先 IsolationForest。