考前上机知识点 速查 · 万能模板

总览题型分布与策略

pandas1. 数据清洗速查

1.1 读数据 / 看数据

import pandas as pd
import numpy  as np

data = pd.read_csv('patient_data.csv')                # 普通 csv
data = pd.read_csv('医疗.csv', encoding='gbk')       # ★ 中文 csv 必加 encoding=gbk(2.1.4)
data = pd.read_excel('数据集.xlsx')                  # excel(2.1.2 / 2.2.4)

print(data.head())          # 看前 5 行
print(data.info())          # 每列类型 + 非空数
print(data.isnull().sum())  # ★ 每列缺失值统计

Age              0
Income           3
LoanAmount      12

1.2 清洗三件套:缺失值 · 重复 · 异常

data = data.dropna()                                # 删除含空值的行(简单粗暴)
data = data.dropna(subset=['Age'])                  # 只看 Age 列的空就删
data = data.drop_duplicates()                       # 删除完全重复的行

# 类型转换
data['Age']   = data['Age'].astype(int)
data['Speed'] = data['Speed'].astype(float)
data['horsepower'] = pd.to_numeric(data['horsepower'], errors='coerce')
# ★ to_numeric + errors='coerce' = 转不了的塞 NaN,再 dropna 最稳

# 异常值过滤(布尔筛选)
data = data[
    (data['Age'].between(18, 70)) &
    (data['Speed'].between(0, 200))
]

1.3 标准化 vs 归一化(高频考点)

from sklearn.preprocessing import StandardScaler, MinMaxScaler

scaler = StandardScaler()
data[['A', 'B']] = scaler.fit_transform(data[['A', 'B']])

1.4 区间分桶 pd.cut(1.1.1 / 1.1.4 必考)

bins   = [0, 18.5, 24, 28, np.inf]
labels = ['偏瘦', '正常', '超重', '肥胖']
data['BMIRange'] = pd.cut(data['BMI'], bins=bins, labels=labels, right=False)

1.5 分组统计 groupby(高频)

data['Gender'].value_counts()                                  # 每个性别多少人
data.groupby('Gender')['Amount'].mean()                       # 按性别求金额均值
data.groupby('AgeGroup').agg({'Speed':'mean', 'Dist':'sum'})  # 多列多聚合

Gender
F    580.3
M    712.5

1.6 新列 & 条件赋值

# np.where(条件, A, B) 相当于 Excel 的 IF(...)
data['RiskLevel'] = np.where(data['DaysInHospital'] > 7, '高风险', '低风险')

# 字符串 → 日期(才能做日期减法)
data['就诊日期'] = pd.to_datetime(data['就诊日期'])
data['诊断延迟'] = (data['诊断日期'] - data['就诊日期']).dt.days

1.7 保存

data.to_csv('cleaned_data.csv', index=False)   # ★ index=False 不要多余索引列

ML2. 机器学习训练五步

2.1 万能五步公式

from sklearn.model_selection import train_test_split

X = data.drop(columns=['目标列'])
y = data['目标列']

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

model = 某模型(...)
model.fit(X_train, y_train)        # 训练
y_pred = model.predict(X_test)      # 预测

2.2 五种模型 一句话区分

2.3 流水线 Pipeline(2.2.2)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('linreg', LinearRegression())
])
pipeline.fit(X_train, y_train)

2.4 评估指标

from sklearn.metrics import classification_report      # 分类
from sklearn.metrics import mean_squared_error, r2_score # 回归

print(classification_report(y_test, y_pred))   # 精确率/召回率/F1
print(mean_squared_error(y_test, y_pred))      # MSE 越小越好
print(r2_score(y_test, y_pred))                # R² 越接近 1 越好

2.5 不平衡 SMOTE / 类别哑变量

# 类别多寡极不平衡时(比如 1000 个正样本只有 20 个负样本)
from imblearn.over_sampling import SMOTE
smote = SMOTE(random_state=42)
X_res, y_res = smote.fit_resample(X_train, y_train)

# 类别变量(性别/学历...)转为数字
X = pd.get_dummies(X)                # "红/绿/蓝" → 3 列 0/1
X = pd.get_dummies(X, drop_first=True)  # 防多重共线性

2.6 保存 / 加载模型

import pickle, joblib
pickle.dump(model, open('m.pkl', 'wb'))   # 经典写法
joblib.dump(model, 'm.pkl')                  # 大模型更快

ONNX3. 模型推理(3.2.x 一套到底)

3.1 万能六步(几乎一字不改)

import onnxruntime as ort
import numpy as np
from PIL import Image

# ① 加载模型
session = ort.InferenceSession('xxx.onnx')

# ② 读图(灰度 'L' / 彩色 'RGB')
img = Image.open('img_test.png').convert('L')

# ③ 预处理:resize → numpy → 加维度
img = img.resize((28, 28))
arr = np.array(img, dtype=np.float32)
arr = np.expand_dims(arr, axis=0)   # 加 batch 维 → (1, H, W)
arr = np.expand_dims(arr, axis=0)   # 加 channel 维 → (1, 1, H, W)

# ④ 拿到输入/输出名
input_name  = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name

# ⑤ 推理
out = session.run([output_name], {input_name: arr})[0]
# 或 out = session.run(None, {input_name: arr})  # None = 全部输出

# ⑥ 解码结果
pred_class = np.argmax(out[0])

3.2 维度 NCHW 图解

3.3 softmax → 取 top-K → 翻译标签

import scipy.special
probs = scipy.special.softmax(out, axis=-1)        # 原始分 → 概率(加起来=1)
top5_idx  = np.argsort(probs[0])[-5:][::-1]      # 排序取末尾 5 个,倒序

# 把数字索引翻成"猫/狗"
labels = [line.strip() for line in open('labels.txt')]
print(labels[top5_idx[0]])

简答4. 万能答案模板

4.1 业务模块痛点(1.2.x):四大万能病根

不管什么系统(智能音箱/医疗/金融/数智人),都从下面四个里挑 2~3 个写:

4.2 优化方案(1.2.x 后半 / 3.1.x):四大角度

4.3 数据采集与处理方案(4.2.x):六段式

四道题(零售/医疗影像/安防/自动驾驶/文化遗产)结构高度一致:

4.4 培训学习大纲(4.1.x):每节"目标 + 内容"模板

动词四件套(按深浅排序):了解掌握熟悉综合运用

4.5 硬件分析报告(3.1.x):四段式

避坑5. 易踩坑清单(考前 5 分钟扫一遍)

1. pd.cut 漏写 right=False → 边界值被分错桶
2. 中文 csv 漏写 encoding='gbk' → 直接乱码报错(2.1.4)
3. ONNX 输入忘 astype(np.float32) → 类型错误
4. RGB 维度错:必须 np.transpose(arr, (2, 0, 1)) 把 HWC 变 CHW
5. random_state=42 漏写 → 结果对不上答案
6. X = data.drop(['y'], axis=1) 必须先把目标列移出 X,否则作弊
7. 布尔筛选每个条件用圆括号包,& 而不是 and
8. 简答题:列点数量不够,记得每段配 2~3 句解释 + 数字效果
9. 文件命名严格按要求:1.1.2-1.JPG、3.2.4-1.jpg(大小写、连字符)
10. 保存 csv 加 index=False,否则多一列索引