实验1：线性回归与随机梯度下降

机器学习 实验

实验目的

1. 进一步理解线性回归，闭式解和随机梯度下降的原理。
2. 在小规模数据集上实践。
3. 体会优化和调参的过程。

数据集

线性回归使用的是LIBSVM Data中的Housing数据，包含506个样本，每个样本有13个属性。请自行下载scaled版本，并将其切分为训练集，验证集。

实验环境

python3，至少包含下列python包：sklearn，numpy，jupyter，matplotlib。
建议直接安装anaconda3，其已经内置了以上python包。

实验形式

个人独立完成

实验步骤

线性回归的闭式解

1. 读取实验数据，使用sklearn库的load_svmlight_file函数读取数据。
2. 将数据集切分为训练集和验证集，本次实验不切分测试集。使用train_test_split函数切分数据集。
3. 选取一个Loss函数，计算训练集的Loss函数值，记为$loss$。
4. 获取闭式解的公式，过程详⻅课件ppt。
5. 通过闭式解得到参数$W$的值，更新参数$W$。
6. 在训练集上测试并获得$Loss$函数值$loss\_train$，在验证集上获得$Loss$函数值$loss\_val$。
7. 输出$Loss$，$loss\_train$和$loss\_val$的值。

线性回归和随机梯度下降

1. 读取实验数据，使用sklearn库的load_svmlight_file函数读取数据。
2. 将数据集切分为训练集和验证集，本次实验不切分测试集。使用train_test_split函数切分数据集。
3. 线性模型参数初始化，可以考虑全零初始化，随机初始化或者正态分布初始化。
4. 选择Loss函数及对其求导，过程详见课件ppt。
5. 随机选取训练集中的一个样本，求得该样本对$Loss$函数的梯度$G$。
6. 取梯度$G$的负方向，记为$D$。
7. 更新模型参数，$W_t=W_{t-1}+\eta D$。$\eta$为学习率，是人为调整的超参数。
8. 在训练集上测试并得到$Loss$函数值$loss\_train$，在验证集上测试并得到$Loss$函数值$loss\_val$。
9. 重复步骤5-8若干次，输出$loss\_train$和$loss\_val$的值。

整理实验结果，形成图表，并完成实验报告（实验报告模板将包含在此处）

实验代码及报告提交方式

提交内容

• 代码及实验报告
• 实验报告需要按照模板编写，并导出成pdf文件（模板未必与本次实验内容完全契合，可适当修改模板章节）
• 代码及报告需要打包，命名格式为“实验1_班级_姓名_学号.zip”。例如：“实验1_软件1班_张三_201700000000.zip”
• 提交代码及实验报告时不要在压缩包中包含数据集
• 请于截止时间前发送包含实验1和实验2的代码及实验报告的压缩包到助教邮箱jiaju.wu@qq.com，邮件命名为“实验1、2_班级_姓名_学号”

提交时间

• 2020年10月30日中午12:00截止，请于截止时间前发送包含实验1和实验2的代码及实验报告的压缩包到助教邮箱jiaju.wu@qq.com。

评分标准

注意事项

• 实验报告需按时提交，非特殊情况逾期补交无效
• 代码强烈推荐用python语言写，但使用其它编程语言也是允许的
• 实验报告使用中英文均可；LaTex、Word均可（如果用Word编写实验报告，需导出成pdf格式）