生物标志物发现项目的工程难点，不在于训练一个高分模型，而在于从高维、噪声强、批次差异明显的数据中筛出可复核的候选信号。本文定位为技术架构和工程流程示例，不提供诊断、治疗、分诊或用药建议；所有阈值和筛选规则均为示例，真实项目需由医疗专业人员和机构规范确认。

问题背景：高分模型不等于可信候选清单

在研发系统里，开发者常会拿到一个矩阵：行是样本，列是候选指标，另有一个标签字段。直接把全部特征丢进模型，AUC 可能不错，但候选标志物清单往往不稳定：换一次随机种子、换一次划分方式，Top 特征就变化很大。

工程上需要解决三个问题：

• 降噪：剔除低方差、缺失严重、明显泄漏的字段。
• 可解释：输出每个候选信号的贡献依据，而不是只给模型分数。
• 可复核：每次实验的参数、数据版本、指标、候选列表都能追踪。

一个较稳妥的流水线如下：

三类方案对比：过滤式、嵌入式、解释式

过滤式方法例如方差过滤、单变量检验、相关性去重，优点是快、透明，适合作为第一道闸门。缺点是它通常只看单个特征与标签的关系，容易忽略特征组合效应。

嵌入式方法例如 L1 正则、树模型特征重要性，会在训练过程中完成筛选。它比单变量过滤更贴近模型目标，但对数据划分、类别不平衡、超参数更敏感。

解释式方法例如 SHAP，不一定负责“筛选”，更适合解释模型为何做出预测，并把候选特征按稳定贡献排序。它的代价是计算成本更高，且解释结果仍需结合业务规则与人工复核。

在工程落地时，建议组合使用：

阶段	推荐方法	目标
入库前	缺失率、方差、重复列检查	降低脏数据影响
建模前	单变量过滤、相关性去重	缩小搜索空间
建模中	XGBoost、L1 Logistic	捕捉非线性或稀疏信号
建模后	SHAP、重复交叉验证	输出稳定候选清单

可运行示例：用 XGBoost + SHAP 生成候选清单

下面代码用合成数据演示流程。真实项目中可把 df 替换为经过脱敏和合规审批的数据表；示例阈值仅用于说明工程写法，不能当作医学结论。

pip install duckdb pandas scikit-learn xgboost shap mlflow

import duckdb
import mlflow
import numpy as np
import pandas as pd
import shap

from sklearn.datasets import make_classification
from sklearn.feature_selection import VarianceThreshold, SelectKBest, f_classif
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.metrics import roc_auc_score
from xgboost import XGBClassifier

# 1. 构造示例特征矩阵：真实项目应替换为合规数据源
X, y = make_classification(
    n_samples=600,
    n_features=120,
    n_informative=12,
    n_redundant=10,
    random_state=42,
    class_sep=1.2
)

feature_names = [f"candidate_marker_{i}" for i in range(X.shape[1])]
df = pd.DataFrame(X, columns=feature_names)
df["label"] = y

# 2. DuckDB 负责轻量分析与数据版本入口
con = duckdb.connect()
con.register("raw_features", df)
dataset = con.execute("""
    SELECT *
    FROM raw_features
    WHERE label IN (0, 1)
""").df()

X_df = dataset.drop(columns=["label"])
y_ser = dataset["label"]

# 3. 过滤式筛选 + XGBoost 建模
model = XGBClassifier(
    n_estimators=120,
    max_depth=3,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    eval_metric="logloss",
    random_state=42
)

pipe = Pipeline([
    ("var", VarianceThreshold(threshold=0.01)),
    ("kbest", SelectKBest(score_func=f_classif, k=40)),
    ("clf", model)
])

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

with mlflow.start_run(run_name="biomarker_signal_discovery_demo"):
    scores = cross_val_score(pipe, X_df, y_ser, cv=cv, scoring="roc_auc")
    pipe.fit(X_df, y_ser)

    mlflow.log_param("variance_threshold", 0.01)
    mlflow.log_param("select_k_best", 40)
    mlflow.log_metric("auc_mean", float(np.mean(scores)))
    mlflow.log_metric("auc_std", float(np.std(scores)))

    selected_mask = pipe.named_steps["kbest"].get_support()
    after_var_names = X_df.columns[pipe.named_steps["var"].get_support()]
    selected_names = after_var_names[selected_mask]

    transformed_X = pipe[:-1].transform(X_df)
    explainer = shap.TreeExplainer(pipe.named_steps["clf"])
    shap_values = explainer.shap_values(transformed_X)

    importance = np.abs(shap_values).mean(axis=0)
    result = pd.DataFrame({
        "candidate": selected_names,
        "mean_abs_shap": importance
    }).sort_values("mean_abs_shap", ascending=False)

    result.head(20).to_csv("candidate_markers.csv", index=False)
    mlflow.log_artifact("candidate_markers.csv")

print("CV AUC:", scores)
print(result.head(10))

这段代码做了四件关键事情：先用 DuckDB 固定数据入口，再用方差过滤和单变量筛选缩小特征空间，然后用 XGBoost 捕捉非线性关系，最后用 SHAP 输出候选排序，并通过 MLflow 记录参数、指标和候选清单。

评估流程：不要只看一次 AUC

候选标志物发现更关心“稳定信号”，而不是单次训练的排行榜。建议把评估拆成三层：

第一层是模型性能，例如交叉验证 AUC、PR-AUC、灵敏度和特异度。这里的阈值选择只能作为示例规则，真实项目应由机构规范和专业人员确认。

第二层是特征稳定性，例如在 5 折或 10 次重复实验中，某个候选特征进入 Top 20 的频率。一个简单规则可以写成：出现频率超过 70% 才进入待复核清单，但这只是可配置工程阈值。

第三层是可解释性复核，例如 SHAP 排名是否与单变量方向冲突、是否存在高度相关的替代特征、是否被批次字段或采集字段污染。这里要重点排查数据泄漏，因为泄漏特征往往会给出异常漂亮的分数。

踩坑记录：噪声通常来自流程边界

常见问题一是先全量筛选再交叉验证。这样会把测试折的信息提前泄漏到训练过程，导致指标偏高。正确做法是把筛选器放进 Pipeline，让每一折只在训练折上拟合筛选逻辑。

常见问题二是只保存最终模型，不保存候选清单生成过程。等到复核阶段，团队无法解释为什么某个特征入选。MLflow 至少要记录数据版本、随机种子、筛选参数、模型参数、评估指标和候选文件。

常见问题三是忽略相关特征。两个高度相关的候选项可能轮流进入 Top 列表，看起来不稳定，但实际表达的是同一类信号。工程上可先做相关性聚类，再在每个簇中选择代表特征进入复核。

选型建议：不同阶段用不同工具

如果项目处于探索期，优先使用过滤式方法加简单模型，快速排除低质量特征。如果已经进入候选收敛期，可以引入 XGBoost、重复交叉验证和 SHAP，重点观察候选排名稳定性。如果需要团队协作和审计，DuckDB 适合做轻量数据分析入口，MLflow 适合管理实验过程。

需要注意，AI 流水线只能提供候选信号排序和工程证据链，不能替代专业验证。候选清单进入后续验证前，应补充数据来源审查、统计方案确认、合规审批和专业复核。

总结

AI 生物标志物发现的核心工程目标，是把“高维数据建模”变成“可复核候选清单生成”。推荐流程是：质量过滤降噪，交叉验证避免偶然性，XGBoost 捕捉非线性信号，SHAP 提供解释依据，MLflow 固化实验记录。下一步可以把稳定性选择、相关性聚类和数据版本管理封装成自动化任务，让每次候选清单都能被追踪、复现和审查。

本文文献检索、文献挖掘以及文献翻译采用的是【超能文献| AI文献检索|AI文档翻译】。