古法编程

使用 scikit-learn 构建机器学习模型与自动化流水线

本技能旨在引导用户利用 Python 工业标准库 scikit-learn 完成从数据预处理、模型选择、超参数调优到构建可部署 ML Pipeline 的全流程机器学习开发。

为什么需要这个技能

在面对结构化（表格类）数据时，传统的经典机器学习算法（如随机森林、SVM、梯度提升树）往往比深度学习更高效且更具可解释性。

scikit-learn 提供了统一的 API 接口，使得切换不同算法变得极其简单。更重要的是，它提供的 Pipeline 机制能够有效防止数据泄露（Data Leakage），确保训练集和测试集在预处理逻辑上的一致性，这是将模型从实验环境推向生产环境的关键。

适用场景

  • 监督学习：构建分类模型（如垃圾邮件检测、欺诈识别）或回归模型（如房价预测、需求预测）。
  • 无监督学习：通过聚类进行客户分群、异常检测或使用 PCA 进行维度削减。
  • 数据工程：对原始数据进行标准化、独热编码、缺失值填充等预处理操作。
  • 模型调优：利用交叉验证（Cross-validation）和网格搜索（GridSearch）寻找最优超参数。

核心工作流

1. 基础模型构建

采用“分割-训练-评估”的标准模式。

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

# 分割数据，使用 stratify 保持类别比例
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

# 训练与预测
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

2. 自动化流水线 (Pipeline)

将预处理与模型封装在一起，避免手动重复操作并防止数据泄露。

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer

# 定义数值型和类别型特征的处理路径
numeric_transformer = Pipeline([
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

categorical_transformer = Pipeline([
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# 合并预处理步骤
preprocessor = ColumnTransformer([
    ('num', numeric_transformer, ['age', 'income']),
    ('cat', categorical_transformer, ['gender', 'occupation'])
])

# 构建完整流水线
full_pipeline = Pipeline([
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier())
])

full_pipeline.fit(X_train, y_train)

3. 模型优化与评估

通过 GridSearchCV 在定义的参数空间内自动搜索最佳组合，并使用交叉验证确保结果稳健。

下载和安装

下载 scikit-learn 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐