- 从最早接触机器学习到现在已经2年了，中间做过别的事情，也并没有很系统地学习过，因此本文用于记录一些我对机器学习的新认识，或者纠正之前认识的误区
- 我用sklearn做机器学习，所以本文主要是记录我对sklearn的新认识，或纠正误区
关于超参和参数
- 这是两个不同的概念
- 参数：模型从训练集中自动习得的参数，例如y=kx+b中的k、b，是从训练集数据中拟合得的参数。
- 超参：自己设定的参数，如随机森林中，树设置几棵、树的深度、树的特征数等。
- 我们所说的调参、寻找最优参数，指的都是超参。
关于验证集
- 验证集的作用是用于调超参。
- 在神经网络模型里，用验证集调参时，验证集的数据也被学习，所以当使用该验证集调参的次数多了之后，模型可能也会在验证集上过拟合。
- 但在传统机器学习模型上（SVM/KNN/NB/RF/GBDT/LR/....），验证集充当“测试集”的作用，让模型在未被见过的数据上测试一下表现，人们通过观察其表现（如准确率）从而调整模型的超参。与神经网络模型不同的是，在这过程中，验证集的数据并没有被学习，只是用于“测试”。
关于random_state
- random_state设置为具体数字可以使得结果可重复
- 在所有有random_state设置的函数底下都需要设置！
- 之前看到有书说可以在代码开头设置np.random.seed(32)，能保证结果可重复，我试了，发现并不能保证每次得到相同结果，还是手动设置好每一个random_state靠谱！
StratifiedKFold的使用
- StratifiedKFold是将数据集的正负样本按比例分配为n份(default=5)
- 需要注意的是：返回的是n对已经结合好的训练集和测试集的index
而不是一对
也不是n份需要被手动结合的数据集 - 但需要做的是从这些index里索引到训练集和测试集
from sklearn.model_selection import StratifiedKFold
skf=StratifiedKFold(n_splits=10, shuffle=True, random_state=32)
for train_index,test_index in skf.split(X,y):
train_index=list(train_index)
test_index=list(test_index)
X_train, X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
参考：https://towardsdatascience.com/how-to-train-test-split-kfold-vs-stratifiedkfold-281767b93869
Pipeline和make_pipeline的区别
- Pipeline需要自定义step的名字，make_pipeline不需要
- 当需要结合GridSearchCV寻找最优参数的时候使用可以自定义step名字的Pipeline
因为这样才可以根据名字给模型输入参数范围 - 参考：https://stackoverflow.com/questions/40708077/what-is-the-difference-between-pipeline-and-make-pipeline-in-scikit
cross_val_score的理解
- cross_val_score是用于大致估计模型的水平，估计模型在没见过的数据上表现如何
- 并不能训练模型！
- cross_val_score用完之后，想用clf.score(X_test,y_test)查看模型表现，会返回告诉一个NotFittedError:clf没有fit过
- 参考：https://stackoverflow.com/questions/42075986/scikitlearn-score-dataset-after-cross-validation
- 除了cross_val_score以外这些也是没fit的：
learning_curve
cross_val_score的使用
- 本发现重要
- 以前往往习惯将其参数cv设置为具体数值，如cv=5表示做5倍交叉验证
现在发现这么做存在问题：无法确定这5个数据集是怎么划分的
有可能他并不是按比例取正负样本的，也有可能没有做shuffle - 正确做法：用StratifiedKFold划分好后传入参数cv中
from sklearn.model_selection import cross_val_score, StratifiedKFold
skf=StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
scores=cross_val_score(estimator=pipe,X=X,y=y,cv=skf)
- 用StratifiedKFold保证我先将数据集打乱，并且保证划分的5个数据集里正负样本所占的比例是一致的
StandardScaler
- 使用standardscaler之后数据类型从pandas的dataframe变成了np的array，怎么办？
- 参考：https://stackoverflow.com/questions/35723472/how-to-use-sklearn-fit-transform-with-pandas-and-return-dataframe-instead-of-num
from sklearn.preprocessing import StandardScaler
df=pd.read_csv('example.csv')
scaled_features = StandardScaler().fit_transform(df.values)
scaled_features_df = pd.DataFrame(scaled_features, index=df.index, columns=df.columns)
GridSearchCV
- GridSearchCV默认做5倍交叉验证
