Day3-1

作业

Q1. 问题：在使用梯度下降时，需要进行调优。哪些地方需要调优呢？

回答：
我能想到的参数调节首先是学习率的调整，如果学习率过大可能错过局部最小值，过小可能导致在限定的迭代次数中无法求出jiao较优的解。所以在深度学习中，还会增加学习率衰减系数这样的超参数，在误差较大时用大步长，在误差稳定在较小的范围后减少步长。

其次是迭代次数的调整，如果过小可能还没达到一个满意的结果就退出了，过多也会浪费资源。有的训练会加入迭代次数上限和其对应的 Early Stop 条件。即迭代最大次数$N$，但在迭代$N$次结束前，如果 Early Stop 条件满足（如连续多个迭代误差稳定在一个阈值内等）即结束本次训练。

另外因为梯度下降初始的参数 $W, b$ 是随机的，可能训练会终止在局部最小值，所以多次训练找到最优解也是必要的。

其他的还没想到。

Q11 问题：计算交叉熵 CE

已知门后有礼物的概率为p1=0.2,p2=0.5,p3=0.25,p4=0.05
且假设 Yi=1,i=1,2,3,4 为有礼物，则计算以下情况的交叉熵（Y1,Y2,Y3,Y4分别为 0,0,0,0）请写出Python代码

• 结果： CE = 1.2552660987134865

Python代码：

# -*- coding: utf-8 -*-
import numpy as np
def cross_entropy(Y, P):
    Y = np.float_(Y)
    P = np.float_(P)
    ret = 0
    for i in range(len(Y)):
        sum_i = Y[i] * np.log(P[i]) + (1 - Y[i]) * np.log(1 - P[i])
        ret += sum_i
    return -1. * ret
if __name__ == '__main__':
    P = [0.2, 0.5, 0.25, 0.05]
    Y = [0, 0, 0, 0]
    print (cross_entropy(Y, P))