ARM宣布Ethos-N78 NPU 配置和效率超越前代产品

昨天ARM发布了全新的Cortex-A78、Cortex-X1 CPU和全新的Mali-G78 GPU。同时，我们还看到了最新Ethos-N78 NPU曝光。在过去的几年里，机器学习加速器在行业内的爆发式增长，不同的IP解决方案层出不穷。尤其是在移动领域，有大量不同的SoC厂商自主开发的定制解决方案，其中包括高通、海思、联发科和三星LSI等厂商的设计。
对于没有设计能力的厂商来说，如果没有自己的IP部署能力，还可以从ARM这样的IP厂商那里获得授权。

ARM的 “Ethos “机器学习IP针对客户端推理工作负载，最初被描述为 “Project Trillium”，第一个设计实现形式是Ethos-N77。从第一代发布到现在已经有一年了，ARM一直在为这个架构的下一个迭代而努力，这就是全新的Ethos-N78及其”Scylla “架构。

N78性能和效率上都有相当大的提升。新的设计比最大的N77配置要高得多，现在能够在高达10TOPs的原始计算吞吐量下提供2倍的峰值性能。ARM对NPU的设计进行了改进，采用各种新的压缩技术，每条推理的外部内存带宽提高了40%，从而提高了N78的功耗效率。N78的强项是该IP在不同配置选项中的性能扩展能力。该IP有4个不同的性能点，或者说是4种不同的引擎配置，从最小的1TOPs配置，到2、5，再到最大的10TOPs配置。这对应的是512、1024、2048和4096个单元的MAC配置整体设。

在架构上，N78最大的改进在于它在引擎中处理数据的方式，使得新的压缩方式，不仅可以对NPU之外的数据进行全新压缩，提升DRAM带宽，还可以对NPU本身内部的数据进行移动，提高了性能和功耗效率。得益于更高的性能密度和功率效率，代代性能提升平均为25%，再加上双倍的峰值性能配置，意味着它有可能代表着终端设性能大幅提升。

分析NPU在竞争格局中的表现如何是相当困难的，尤其是在ARM的情况下，因为我们还没有看到第一代NPU的硅片设计。ARM提出的一个有趣的观点是，在这个领域，软件比其他任何东西都重要，一个糟糕的软件栈可能会毁掉一个好的硬件设计。ARM提到，他们已经看到有厂商采用了自己的Ethos IP，并因此放弃了竞争对手的设计。ARM表示，他们在软件方面投入了大量的资源，以方便客户真正正确地利用他们的硬件设计。

ARM公司的新Ethos-N78已经被授权给客户，他们正在用它进行设计，最早一批产品将在2021年华出现在公众面前。