线性分类与随机梯度下降

暑期培训

实验目的

1. 对比理解梯度下降和随机梯度下降的区别与联系。
2. 对比理解线性回归和线性分类的区别与联系。
3. 进一步理解支持向量机的原理并在较大数据上实践。

数据集

实验使用的是LIBSVM Data的中的a9a数据，包含32561 / 16281(testing)个样本，每个样本有123/123 (testing)个属性。请自行下载训练集和验证集。

实验环境

python3，至少包含下列python包：sklearn，numpy，matplotlib。
建议直接安装anaconda3，其已经内置了以上python包。

实验时间及地点

2018年7月24日 晚上7:00-9:00 B7-138

实验步骤

线性分类与随机梯度下降

1. 读取实验训练集和验证集。
2. 支持向量机模型参数初始化，可以考虑全零初始化，随机初始化或者正态分布初始化。
3. 求得部分样本对支持向量机的Hinge Loss函数的梯度$G$。
4. 取梯度$G$的负方向，记为$D$。
5. 更新模型参数，$W_t=W_{t-1}+\eta D$。$\eta$为学习率，是人为调整的超参数。
6. 在训练集上测试并得到Loss函数值$L_{train}$，在验证集上测试并得到Loss函数值$L_{validation}$。
7. 重复步骤3-6若干次，画出$L_{train}$和$L_{validation}$随迭代次数的变化图。重复次数是人为调整的超参数。
8. 在训练结束后可以使用classification_report查看模型的分类性能指标。

提交方式

提交入口已经开放，请将所有代码和实验结果打包为zip压缩文件，大小不能超过1M，填写姓名并上传zip文件。使用同一姓名提交会更新之前的提交记录。

有任何的问题都可以直接向现场助教求助。