交叉验证

机器学习

1. 简单交叉验证。首先，我们随机的将样本数据分为两部分（比如： 70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。

2. k折交叉验证（k-Folder Cross Validation）。把样本数据随机的分成k份，每次随机的选择k-1份作为训练集，剩下的1份作为测试集。当这一轮完成后，重新随机选择k-1份来训练数据。若干轮（小于k）之后，选择损失函数评估最优的模型和参数。

3. 留一交叉验证（Leave-one-out Cross Validation），它是第二种情况的特例，此时k等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，一般采用留一交叉验证。

通过反复的交叉验证，用损失函数来度量得到的模型的好坏，最终我们可以得到一个较好的模型。如果只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以了。否则就用k折交叉验证。在样本量少的时候，使用k折交叉验证的特例留一交叉验证。