您的位置 首页 汽车

AI芯片大战后,ARM的“just enough”是否真是最合适的挑选?

AI芯片大战后,ARM的“just enough”是否真是最合适的选择?-最近,ARM进一步公开了ML Procesor的一些信息。EETimes的文章“Arm Gives Glimpse of AI Core”[1] 和 AnandTech的文章“ARM Details “Project Trillium” Machine Learning Processor Architecture”分别从不同角度进行了介绍,值得我们仔细分析。

最近,ARM进一步揭露了ML Procesor的一些信息。EETImes的文章“Arm Gives Glimpse of AI Core”[1] 和 AnandTech的文章“ARM Details “Project Trillium” Machine Learning Processor Architecture”别离从不同视点进行了介绍,值得咱们仔细剖析。

ARM揭露它的ML Processor是在本年春节前夕,其时发布的信息不多,我也简略做了点剖析(AI芯片开年)。

这次ARM揭露了更多信息,咱们一起来看看。首先是要害的Feature和一些重要信息,2018年中会Release。

顶层架构

与开始发布的根本框图比较,咱们这次看到了更细化的模块框图和衔接联系,如下图所示。


MLP的顶层对外来看是个比较典型的硬件加速器,它有本地的SRAM,经过一个ACE-Lite接口和外部交互数据和首要的操控信息(指令)。别的应该还有一些操控信号,估量在这儿略去了(能够参阅Nvidia的NVDLA)。

在上图中绿色箭头应该表明的是数据流,赤色表明操控流。MLP中的CE同享一套DMA,Control Unit和Sync Unit,它的根本处理流程大概是这样的: 1. 装备Control Unit和DMA Engine;2. DMA Engine从外部(如DDR)读入数据存在本地的SRAM中;3. Input Feature Map Read模块和Weight Read模块别离读入待运算的feature map和weight,处理(比方Weight的解紧缩),并发送到MAC ConvoluTIon Engine(后边简称为MCE);4. MCE履行卷积等操作,并把成果传输给Programmable Layer Engine(后边简称为PLE);5. PLE履行其它处理,并将成果写回本地SRAM;6. DMA Engine把成果传输到外部存储空间(如DDR)。


       在顶层标出的Broadcast接口,完成在多个Compute Engine(后边简称为CE)之间播送feature map数据的功用。因而,根本的卷积运算形式是,相同的feature map播送到多个CE,不同的CE运用不同的weight来和这些feature map进行运算。

从现在的装备来看,MLP包含16个compute engine,每个有128个MAC,即一共有16×128=2048个MAC,每个cycle能够履行4096个操作。假如要完成ARM所说的4.6TOPS的总的处理才能,则需求时钟周期到达1.12GHz左右。因为这个方针是针对7nm工艺,完成问题不大。

MCE完成高效卷积

在MLP的架构中,MCE和PLE是最重要的功用模块。MCE供给首要的运算才能(处理90%的运算),应该也是MLP中面积和功耗最大的部分。因而,MCE规划优化的一个首要方针便是完成高效的卷积操作。详细来讲,MLP的规划首要考虑了以下一些办法,这些办法大部分咱们之前也都评论过。


        一个比较风趣的点是上面说到的“varied internal precision”。现在还不太清楚其详细的意义。不过对应用来说看到的应该是固定的8bit数据类型。至于对低精度Inference的支撑,[1]中供给的信息是, “The team is tracking research on data types down to 1-bit precision, including a novel 8-bit proposal from Microsoft. So far, the alternaTIves lack support in tools to make them commercially viable, said Laudick.” 因而在第一版的MLP中,应该也不会看到低精度或许Bit-serial MAC了(参阅AI芯片开年中对ISSCC2018呈现的Bit-serial Processing的介绍)。

此外,数据的紧缩和对工艺的优化也是进步全体功率的首要手法。特别是工艺的优化,结合ARM的工艺库,应该有比较好的作用,这也是ARM有优势的当地。

PLE完成高效的可编程性

如下图所示,PLE的结构根本是在一个ARM MCU基础上扩展了Vector处理和NN处理的指令。在评论可编程性的时分,其动身点首要是NN算法和架构现在还在不断演进。


        咱们前面现已剖析了整个MLP的根本作业流程,MCE在完成了运算之后把成果传输给PLE。从这儿能够看出,MCE应该是把成果发送到Vector Register File(VRF),然后发生中止告诉CPU。之后,CPU发动Vector Engine对数据进行处理。详细如下图所示。


        关于做专用处理器的同学来说,这种scalar CPU+vector engine的架构并不生疏。这儿,本地SRAM,VRF和PLE之外的Maing SRAM Unit(CE中的SRAM)之间有Load/Store单元和uDMA完成数据的传输,数据流也是比较灵敏的。归纳来看, 在MLP中,每个CE中都有一个PLE和MCE合作,即每个MCE(128个MAC)就对应一个可编程架构。 因而,ARM MLP的可编程性和灵敏性是要远高于Google TPU1和Nvidia的NVDLA的。当然,灵敏性也意味着更多额定的开支,如[1]中指出的,“The programmable layer engine (PLE) on each slice of the core offers “ just enough programmability to perform [neural-net] manipulaTIons ””。High-efficient Programmability是MLP的一个首要卖点之一,而ARM的“just enough”是否真是最合适的挑选,还有待进一步调查。

声明:本文内容来自网络转载或用户投稿,文章版权归原作者和原出处所有。文中观点,不代表本站立场。若有侵权请联系本站删除(kf@86ic.com)https://www.86ic.net/qiche/347373.html

为您推荐

联系我们

联系我们

在线咨询: QQ交谈

邮箱: kf@86ic.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部