Pytorch 笔记

pytorch

1. nlargest()和nsmallest()

表示去出列表前n大/小的数

2. xavier

基本思想是通过网络层时，输入和输出的方差相同，包括前向传播和后向传播。

• 为什么需要Xavier 初始化：

  • 如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值 也变得越来越小，在sigmoid上就是在0附近，接近于线性，失去了非线性。
  • 如果初始值很大，那么随着层数的传递，方差会迅速增加，此时输入值变得很大，而sigmoid在大输入值写倒数趋近于0，反向传播时会遇到梯度消失的问题。

• 对于Xavier初始化方式，pytorch提供了uniform和normal两种：

  • torch.nn.init.xavier_uniform_(tensor, gain=1) 均匀分布 ~ U (−a, a)
  • torch.nn.init.xavier_normal_(tensor, gain=1) 正态分布 ~ N (0, std)

3. 多进程代码

import torch.multiprocessing as mp
from model import MyModel
def train(model):
    # Construct data_loader, optimizer, etc.
    for data, labels in data_loader:
        optimizer.zero_grad()
        loss_fn(model(data), labels).backward()
        optimizer.step()  # This will update the shared parameters
if __name__ == '__main__':
    num_processes = 4
    model = MyModel()
    # NOTE: this is required for the ``fork`` method to work
    model.share_memory()
    processes = []
    for rank in range(num_processes):
        p = mp.Process(target=train, args=(model,))
        p.start()
        processes.append(p)
    for p in processes:
      p.join()