[关闭]
@zqbinggong 2018-05-27T06:07:09.000000Z 字数 249 阅读 579

多GPU并行和分布式

《tensorflow实战》


多GPU并行

  1. tf中的并行主要分为两种:
    • 模型并行: 将模型中不同计算节点放在不同硬件资源上运算
    • 数据并行: 同时使用多个硬件资源来计算不同batch的数据的梯度,几乎适用于所有深度学习模型
  2. 数据并行
    • 同步数据并行: 等待所有GPU都计算完一个batch数据的梯度后,再统一将多个梯度合在一起,并共享更新后的模型参数,这类似于用了一个较大的batch
    • 异步数据并行: 不等待所有GPU都完成计算,而是哪个GPU完成了运算就立即将梯度更新到共享的模型参数中
  3. cifar-10
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注