设为首页 - 加入收藏 桂林站长网 (http://www.0773zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 系统 2018 升级 2019
当前位置: 首页 > 综合聚焦 > 移动互联 > 评测 > 正文

超原版速度110倍,针对PyTorch的CPU到GPU张量迁移工具开源

发布时间:2019-09-18 18:26 所属栏目:[评测] 来源:机器之心编译
导读:机器学习中,有一个限制速度的环节,那就是从 CPU 到 GPU 之间的张量迁移。很多计算只能在 CPU 上进行,然后迁移到 GPU 进行后续的训练工作,因此迁移中如果速度太慢,则会拖累整个模型的训练效率。近日,有一位开发者开源了针对 PyTorch 的 CPU-GPU 迁移

机器学习中,有一个限制速度的环节,那就是从 CPU 到 GPU 之间的张量迁移。很多计算只能在 CPU 上进行,然后迁移到 GPU 进行后续的训练工作,因此迁移中如果速度太慢,则会拖累整个模型的训练效率。近日,有一位开发者开源了针对 PyTorch 的 CPU->GPU 迁移工具,相比原版加速了 110 倍之多。

神经网络的训练中往往需要进行很多环节的加速,这就是为什么我们逐渐使用 GPU 替代 CPU、使用各种各样的算法来加速机器学习过程。但是,在很多情况下,GPU 并不能完成 CPU 进行的很多操作。比如训练词嵌入时,计算是在 CPU 上进行的,然后需要将训练好的词嵌入转移到 GPU 上进行训练。

在这一过程中,张量迁移可能会变得非常缓慢,这成为了机器学习训练的一个瓶颈。

面对这样的问题,在很多优化方法中,就是将操作尽可能放在 GPU 上(如直接在 GPU 上进行数据预处理、词嵌入等的操作),并努力减少两者之间的数据交互,因为这些环节都很费时。机器之心就曾报道过这样的一个教程,将数据预处理放在了 GPU 上,减少了不少时间。

以上事例说明,如果能够做好 CPU 和 GPU 之间的迁移,则可以帮助开发者更好地优化机器学习模型,使 CPU、GPU 等硬件更好地完成自己的工作。

近日,有一位开发者就开源了一个名为 SpeedTorch 的工具。这一工具库可以实现高达 110 倍的 CPU 到 GPU 迁移加速。

项目地址:https://github.com/Santosh-Gupta/SpeedTorch

项目背景

作者表示,最初想要创建 SpeedTorch 库是为了帮助训练大量的嵌入向量,而 GPU 在 RAM 保存这些嵌入时可能有困难。为了解决这个问题,他发现在 CPU 上托管一些此类嵌入有助于在 GPU 上保存它们。嵌入系统采用稀疏训练,只有一部分参数参与前馈/更新操作,剩余参数处于闲置状态。所以作者想到,为什么不在训练的过程中关闭这些闲置参数呢?这就需要快速的 CPU→GPU 数据迁移能力。

随着 CPU→GPU 迁移速度的加快,除了加速了 CPU 到 GPU 的张量转移外,开发者还可以实现很多新的功能。

  • 将 SpeedTorch 库嵌入数据管道中,实现 CPU 和 GPU 之间快速的双向数据交互;
  • 通过 CPU 存储将模型的训练参数增加近两倍(闲置参数保存在 CPU 中,需要更新时再移动到 GPU 里,因此可以扩大模型整体的参数量);
  • 在训练稀疏嵌入向量中采用 Adadelta、Adamax、RMSprop、Rprop、ASGD、AdamW 和 Adam 优化器。之前只有 SpraseAdam、Adagrad 和 SGD 适合稀疏嵌入训练。

那么,能够实现如此惊人的加速的库是怎么实现的呢?

SpeedTorch

背后的技术

SpeedTorch 如此之快的技术是因为它是基于 Cupy 开发的。CuPy 是一个借助 CUDA GPU 库在英伟达 GPU 上实现 Numpy 数组的库。基于 Numpy 数组的实现,GPU 自身具有的多个 CUDA 核心可以促成更好的并行加速。

è????????é???o|110??????é???ˉ1PyTorch???CPU??°GPU???é??è???§??·¥??·????o?

CuPy 接口是 Numpy 的一个镜像,并且在大多情况下,它可以直接替换 Numpy 使用。只要用兼容的 CuPy 代码替换 Numpy 代码,用户就可以实现 GPU 加速。

CuPy 支持 Numpy 的大多数数组运算,包括索引、广播、数组数学以及各种矩阵变换。

有了这样强大的底层支持,再加上一些优化方法,SpeedTorch 就能达到 110 倍的速度了。

使用方法

SpeedTorch 可以通过 pip 安装。你需要在导入 SpeedTorch 之前事先安装和导入 Cupy。

安装步骤如下:

  1. !pip?install?SpeedTorch?
  2. import?cupy?
  3. import?SpeedTorch?

利用 SpeedTorch 加快 CPU→GPU 数据迁移速度

如下 colab notebook 所示,如何利用 Data Gadget 将数据载入 SpeedTorch,以及如何将数据移入/移出 Pytorch cuda 变量。

è????????é???o|110??????é???ˉ1PyTorch???CPU??°GPU???é??è???§??·¥??·????o?

代码示例:https://colab.research.google.com/drive/185Z5Gi62AZxh-EeMfrTtjqxEifHOBXxF

借助于 SpeedTorch 将非稀疏优化器(本例中为 Adamax)用于稀疏训练

  1. SkipGram_ModelRegular?=?SkipGramModelRegular(numEmbeds=number_items,?emb_dimension=128,?sparseB=True)??
  2. use_cuda?=?torch.cuda.is_available()??
  3. ??
  4. if?use_cuda:??
  5. ????SkipGram_ModelRegular.cuda()??
  6. ??
  7. optimizer?=?optim.SparseAdam(??
  8. ????SkipGram_ModelRegular.parameters())??
  9. ???
  10. runningLoss?=?0??
  11. runnngTime?=?0???
  12. batch_size?=?512??
  13. negSamp?=?64??
  14. numPos?=?4??
  15. ??
  16. skip_window?=?int(numPos/2)??
  17. ??
  18. targets?=?torch.ones(?batch_size,?numPos?+?negSamp?,?dtype?=?torch.float32?).cuda()??
  19. ??
  20. for?i?in?range(500):??
  21. ??
  22. ????batch,?labels,?negz?=?generate_batch(batch_size=batch_size,?skip_window=skip_window,?negRate=?negSamp)??
  23. ????batchTensor?=?torch.from_numpy(batch)??
  24. ????LabelTensor?=?torch.from_numpy(labels)??
  25. ????negTensor?=?torch.from_numpy(negz)??
  26. ??
  27. ????pos_u?=?Variable(torch.LongTensor(LabelTensor.long()))??
  28. ????pos_v?=?Variable(torch.LongTensor(batchTensor.long()))??
  29. ????neg_v?=?Variable(torch.LongTensor(negTensor.long()))??
  30. ??
  31. ????if?use_cuda:??
  32. ????????pos_u?=?pos_u.cuda()??
  33. ????????pos_v?=?pos_v.cuda()??
  34. ????????neg_v?=?neg_v.cuda()??
  35. ??
  36. ????optimizer.zero_grad()??
  37. ????loss?=?SkipGram_ModelRegular.forward(pos_u,?pos_v,?neg_v,?targets)??
  38. ????runningLoss?=?runningLoss?+?loss.data.item()??
  39. ????loss.backward()??
  40. ????optimizer.step()??

代码示例: https://colab.research.google.com/drive/1ApJR3onbgQWM3FBcBKMvwaGXIDXlDXOt

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章