逆熵官网（www.ipfs8.vip）：不用GPU，希罕化也能加速你的YOLOv3深度学习模子

水木番 发自 凹非寺

量子位 报道 | 民众号 QbitAI

你还在为神经网络模子里的冗余信息烦恼吗？

或者手上只有CPU，对一些只能用昂贵的GPU确立的深度学习模子“望眼欲穿”吗？

最近，创业公司Neural Magic带来了一种名叫新的希罕化方式，可以帮你解决烦恼，让你的深度学习模子效率“一节更比七节强”！

Neural Magic是专门研究深度学习的希罕方式的公司，这次他们公布了教程：用recipe希罕化YOLOv3。

听起来有点意思啊，让我们来看看是怎么实现的~

希罕化的YOLOv3

希罕化的YOLOv3使用剪枝（prune）和量化（quantize）等算法，可以删除神经网络中的冗余信息。

这种希罕化方式的利益可不少。

它的推断速率更快，文件更小。

然则由于历程太庞大，涉及的超参数又太多，许多人都不太体贴这种方式。

Neural Magic的ML团队针对需要的超参数和指令，确立了可以自主编码的recipe。

种种差异条件下的recipe组成了一种可以知足客户种种需求的框架。

这样就可以确立高度正确的pruned或pruned quantized的YOLOv3模子，从而简化流程。

那这种希罕化方式的灵感泉源是什么呢？

着实，Neural Magic 的 Deep Sparse（深度希罕）架构的主要灵感，是在产物硬件上模拟大脑的盘算方式。

它通过行使 CPU 的大型快速缓存和大型内存，将神经网络希罕性与通讯局部性相连系，实现效率提升。

教程概况

本教程目录主要包罗三大模块：

确立一个预训练的模子

应用Recipe

导出推理

教程的这些recipe可以辅助用户在Ultralytics壮大的训练平台上，使用希罕深度学习的recipe驱动的方式插入数据。

教程中列出的示例均在VOC数据集上执行，所有用果也可通过“权重和误差”项目果然获得（地址见参考链接4）。

调试效果展示

研究团队给出了希罕YOLOv3目的检测模子在Deep Sparse引擎和PyTorch上的运行情形。

这段视频以波士顿著名地标为特色，在Neural Magic的降生地――MIT的校园取景。

同样的条件下，在Deep Sparse引擎上比PyTorch上效率会更高。

遇到的常见问题

若是用户的硬件不支持量化网络来推理加速，或者对完全恢复的要求异常高，官方建议使用pruned或pruned short 的recipe。

若是用户的硬件可以支持量化网络，如CPU 上的 VNNI 指令集，官方建议使用pruned quantized或pruned quantized short的recipe。

,

Usdt第三方支付接口

菜宝钱包（www.caibao.it）是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

以是使用哪一种recipe，取决于用户愿意花多长时间训练数据，以及对完全恢复的要求。

详细要对照这几种recipe的话，可以参考下表。

网友：这个框架会比传统的机械学习框架pytorch好吗？

既然给出了和pytorch的对照视频，就有网友发问了：

Neural Magic也使用python吗？为什么一个比另一个快10倍以上？我不信托像pytorch这样传统的机械学习框架不会获得优化。两种模子的实现是否相同？

公司官方职员也下场注释了：

我们拥有专利手艺，可以通过削减盘算和内存移动来使希罕网络在CPU上更高效的运行。

虽然传统的ML框架也能很好地实现简朴而高效的训练历程。

然则，多加入一些优化的推理，可以实现更多的性能，尤其是在CPU上更显著。

看来，有了以上壮大的YOLOv3 模子工具和教程，用户就可以在CPU上，以最小化的占用空间和GPU的速率来运行深度学习模子。

这样有用的教程，你还在等什么？

希望教程能对人人有所辅助，迎接在谈论区分享交流训练模子履历~

最后先容一下Neural Magic，有兴趣的同伙可以去领会一下。

Neural Magic是一家什么样的公司？

Neural Magic确立在马萨诸塞州的剑桥。

首创人Nir Shavit和Alexander Matveev在MIT绘制大脑中的神经毗邻图时，一直以为GPU有许多限制。

因此他们停下来问自己两个简朴的问题：

为什么深度学习需要GPU等专用硬件？

有什么更好的方式吗？

究竟，人脑可以通过普遍使用希罕性来削减神经网络，而不是添加FLOPS来匹配神经网络，从而知足神经网络的盘算需求。

基于这种考察和多年的多核盘算履历，他们接纳了希罕和量化深度学习网络的手艺，并使其能够以GPU的速率或更高的速率在商用CPU上运行。

这样，数据科学家在模子设计和输入巨细上就不需要再做妥协，也没需要用稀缺且昂贵的GPU资源。

Brian Stevens

Neural Magic的CEO，Red Hat和Google Cloud的前CTO。

Nir Shavit

Neural Magic团结首创人。

麻省理工学院教授，他现在的研究涉及为多处置器设计可伸缩软件的手艺，尤其是多核盘算机的并发数据结构。

Alexander Matveev

Neural Magic首席手艺官兼团结首创人。

FiLecoin

FiLecoin官网（www.ipfs8.vip）是FiLecoin致力服务于使用FiLecoin存储和检索数据的官方权威平台。IPFS官网实时更新FiLecoin（FIL）行情、当前FiLecoin（FIL）矿池、FiLecoin（FIL）收益数据、各类FiLecoin（FIL）矿机出售信息。并开放FiLecoin（FIL）交易所、IPFS云矿机、IPFS矿机出售、租用、招商等业务。