顶级GPU被质疑太贵嘎啦，新型CPU算法快‌15倍

转载：本文来自微信公众号“新智元”（ID:AI_era），作者：新智元，编辑：LZY，转载经授权发布。

赖斯大学嘅计算机科学家创造‌一种替代GPU嘅方法，该算法使用通用中央处理器（CPU），并指出其训练深度神经网络（DNN) 嘅速度超过图形处理器平台（GPU）速度嘅15倍。到底是点样回事呢，我哋一齐来睇睇：

赖斯布朗工程学院嘅计算机科学助理教授安舒玛利·史里瓦斯塔瓦（Anshumali Shrivastava）认为人工智能嘅瓶颈取决于点样训练AI嘅工作负载。

赖斯（Rice）和英特尔（Intel）嘅合作者喺4月8日嘅机器学习系统大会MLSys上针对呢一瓶颈提出‌研究。

深度神经网络是乜嘢？

深度神经网络（DNN）系一种强大嘅人工智能形式，喺执行某啲任务上甚至可以胜过人类。神经网络是基于感知机嘅扩展，而DNN可以理解为有好多隐藏层嘅神经网络。DNN有时也叫做多层感知机（Multi-Layer perceptron, MLP）。

按不同层嘅位置划分，DNN内部嘅神经网络层可以分为三类，输入层，隐藏层和输出层。

如下图右边示例，一般嚟讲第一层红色嘅系输入层，最后一层蓝色嘅系输出层，而中间嘅黄色嘅层数都系隐藏层。

训练DNN通常是需要一系列矩阵乘法嘅运算。

GPU嘅成本是通用中央处理单元（CPU）嘅三倍左右。

如图所示，左侧为GPU，最初用在个人电脑、工作站、游戏机和一啲移动设备上运行绘图运算工作嘅微处理器。

右侧为CPU，简而言之，就是机器嘅“大脑”。是完成布局谋略、发号施令、控制行动嘅「总司令官」。

因为成个行业都专注于寻求一种更快嘅矩阵乘法，GPU系一种称为「亚线性深度学习引擎」（SLIDE）嘅算法，该算法使用通用中央处理器（CPU），无需专门嘅加速硬件就可实现。

而家，为‌实现不同种类嘅深度学习，人也会挑选专门嘅硬件和软件。同其花更多嘅钱用于算法开发，人更愿意投入成个系统嘅优化升级，也就是研究一下原来嘅算法。

Shrivastava嘅实验室在2019年做到‌呢一点，借助SLIDE，DNN被训练为可以通过哈希表搜索问题嘅深度网络形式。

哈希表（Hash table) 又称为散列表，如下图所示. 我哋可以根据键（Key）可直接访问内存嘅数据结构。

 （图源见水印）

也就是说，佢通过一个关于键值嘅函数，将所需查询嘅数据映射到表中一个位置来添加访问记录，呢能大大加快查找速度。

同反向传播训练相比，呢也从根本上减少‌SLIDE嘅计算开销。

像亚马逊，谷歌和第啲公司提供嘅基于云嘅深度学习服务嘅顶级GPU平台相当于八台Tesla V100，价格约为100,000美元，其实这是好大嘅一笔开销。

CPU大战GPU

英特尔嘅Shrivastava及其合作者在MLSys 2020上展示其性能时发现CPU算法训练深度神经网络嘅速度比顶级GPU训练器还要快15倍。

下图是CPU和GPU嘅对比。

从呢个架构图，我哋就能明显睇出，GPU嘅构成相对简单，有数量众多嘅计算单元和超长嘅流水线，CPU有强大嘅ALU（算术运算单元），佢可以在好少嘅时间周期内完成算数计算。

在2021 MLSys上合作者又提出探讨：「系咪SLIDE嘅表现可以随住现代CPU内存嘅优化而越来愈？」

所以未来我哋唔可以拘泥于矩阵乘法，而是可以利用现代CPU嘅强大功能，用快4至15倍嘅速度训练第啲嘅AI模型，希望通过呢啲创新进一步推动SLIDE嘅发展

研究者莱斯大学本科生尼古拉斯·梅斯堡尔（Nicholas Meisburger）也表示CPU仍然是计算中最流行嘅硬件。我哋要好好利用起来！

参考资料：

链接