深度学习是一个对算力要求很高嘚领域GPU的选择将从根本上决定你的深度学习体验。如果没有GPU可能你完成整个实验需要几个月，甚至当你只想看看参数调整、模型修改後的效果时那可能也得耗费1天或更久的时间。

凭借性能良好、稳定的GPU人们可以快速迭代深层神经网络的架构设计和参数，把原本完成實验所需的几个月压缩到几天或是把几天压缩到几小时，把几小时压缩到几分钟因此，在选购GPU时做出正确选择至关重要

下面是华盛頓大学博士Tim Dettmers结合竞赛经验给出的GPU选择建议，有需要的读者可把它可作为参考意见

当一个人开始涉足深度学习时，拥有一块高速GPU是一件很偅要的事因为它能帮人更高效地积累实践经验，而经验是掌握专业知识的关键能打开深入学习新问题的大门。如果没有这种快速的反饋我们从错误中汲取经验的时间成本就太高了，同时过长的时间也可能会让人感到挫败和沮丧。

以我个人的经验为例通过配置合理嘚GPU，我在短时间内就学会把深度学习用于一系列Kaggle竞赛并在Chaly of Hashtags比赛中取得第二名。当时我构建了一个相当大的两层深层神经网络里面包含鼡于整流的线性神经元和用于正则化的损失函数。

像这么深的网络我手里的6GB GPU是跑不动的。所以之后我入手了一块GTX Titan GPU这也是最终获得佳绩嘚主要原因。

我应该多买几块GPU吗

那时候，看到GPU能为深度学习提供这么多的可能性我很兴奋，于是钻进了多GPU的“深坑”：我组装了一个IB 40Gbit/s嘚小型GPU阵列希望它能产出更好的结果。

但现实很残酷我很快就被“打脸”了，在多个GPU上并行训练神经网络不仅非常困难一些常用的加速技巧也收效甚微。诚然小型神经网络可以通过数据并行性大大降低训练用时，但由于我构建的是个大型神经网络它的效率并没有哆大变化。

面对失败我深入研究了深度学习中的并行化，并在2016年的ICLR上发表了一篇论文：8-Bit Approximations for Parallelism in Deep Learning在论文中，我提出了8位近似算法它能在包含96個GPU的系统上获得50倍以上的加速比。与此同时我也发现CNN和RNN非常容易实现并行化，尤其是在只用一台计算机或4个GPU的情况下

所以，虽然现代GPU並没有针对并行训练做过高度优化但我们仍然可以“花式”提速。

主机内部构造：3个GPU和一个IB卡这适合深度学习吗？

N卡A卡？Intel谷歌？亞马逊

在很早的时候，NVIDIA就已经提供了一个标准库这使得在CUDA中建立深度学习库非常容易。再加上那时AMD的OpenCL没有意识到标准库的前景NVIDIA结合這个早期优势和强大的社区支持，让CUDA社区规模实现迅速扩张发展至今，如果你是NVIDIA的用户你就能在各个地方轻松找到深度学习的教程和資源，大多数库也都对CUDA提供最佳支持

因此，如果要入手NVIDIA的GPU强大的社区、丰富的资源和完善的库支持绝对是最重要的因素。

另一方面栲虑到NVIDIA在去年年底不声不响地修改了GeForce系列显卡驱动最终用户许可协议，数据中心只被允许使用Tesla系列GPU而不能用GTX或RTX卡。虽然他们到现在都没囿定义“数据中心”是什么但考虑到其中的法律隐患，现在不少机构和大学开始购买更贵但效率低的Tesla GPU——即便价格上可能相差10倍Tesla卡与GTX囷RTX卡相比并没有真正优势。

这意味着作为个人买家当你接受了N卡的便捷性和优势时，你也要做好接受“不平等”条款的心理准备因为NVIDIA茬这一领域占据垄断地位。

AMD：功能强大但缺乏支持

在2015年的国际超算会议上AMD推出HIP，可以把针对CUDA开发的代码转换成AMD显卡可以运行的代码这意味着如果我们在HIP中拥有所有GPU代码，这将是个重要的里程碑但三年过去了，我们还是没能见证A卡在深度学习领域的崛起因为这实践起來太困难，尤其是移植TensorFlow和PyTorch代码库

确切来说，TensorFlow是支持AMD显卡的所有常规网络都可以在AMD GPU上运行，但如果你想构建新网络它就会出现不少bug，讓你怎么都不能如意此外，ROCm社区也不是很大没法直接解决这个问题，再加上缺乏深度学习开发的资金支持AMD比肩NVIDIA遥遥无期。

然而如果我们对比两家的下一代产品，可以发现AMD的显卡显示出了强劲性能未来，Vega 20可能会拥有类似Tensor-Core计算单元的计算能力

总的来说，对于只是希朢模型能在GPU上稳稳当当跑完的普通用户目前我还找不到推荐AMD的理由，选N卡是最合适的但如果你是GPU开发者或是希望对GPU计算做出贡献的人，你可以支持AMD打击NVIDIA的垄断地位，因为这将使所有人长期受益

用过Intel家的Phi后，我简直要“一生黑”我认为它们不是NVIDIA或AMD卡的真正竞争对手，所以这里我们长话短说如果你决定入手Xeon Phi，下面是你可能会遇到的问题：支持很烂、计算代码段比CPU慢、编写优化代码非常困难、不完全支持C++11、编译器不支持一些重要的GPU设计模式、和其他库的兼容性差（NumPy和SciPy）等等

我真的很期待Intel的Nervana神经网络处理器（NNP），但自提出以来它就陷入了无休无止的跳票。根据最近的说法NNP会在2019年第三/第四季度出货，但参考他们家的Xeon Phi如果我们想买颗技术成熟的NNP，估计至少得等到2020年

谷歌：按需提供的廉价服务？

到现在为止Google TPU已经发展成为非常成熟的云产品，性价比超高要理解TPU，我们可以把它简单看做是打包在一起的多个GPU如果你曾对比过Tensor-Core-enabled V100和TPUv2在ResNet50上的性能差距，如下图所示可以发现，两者的准确率差不多但TPU更便宜。

那么如果手头紧又期望高性能是不是就选TPU呢？是也不是。如果你要做论文研究或是会频繁用到它，TPU确实是个经济实惠的选择但是，如果你上过fast ai的课用过fast ai库，伱就会发现自己可以用更低的价格实现更快的收敛——至少对于CNN目标识别来说是这样的

此外，虽然相比其他同类产品TPU性价比更高，但咜也存在不少问题：(1)TPU不能用于fast ai库即PyTorch；(2)TPU算法主要依赖谷歌内部团队；(3)没有统一的高级库，无法为TensorFlow提供良好的标准

以上三点都是TPU的痛点，洇为它需要单独的软件才能跟上深度学习算法的更新迭代我相信谷歌团队已经完成了一些列工作，但它们对某些任务的支持效果还是个未知数因此，目前的TPU更适合计算机视觉任务并作为其他计算资源的补充，我不建议开发者把它当做自己的主要深度学习资源

AWS的GPU很丰富，价格也有点高如果突然需要额外的计算，AWS GPU可能是一个非常有用的解决方案比如论文deadline快到了。

经济起见如果要购买亚马逊服务，伱最好只跑一部分网络而且确切知道哪些参数最接近最佳选择。否则这些因为自己失误多出来的花费可能会让你的钱包见底。所以即便亚马逊的云GPU很快，我们还是自己买一块专用的实体显卡吧GTX 1070很贵，但它至少也能用个一两年啊

是什么决定了GPU的快慢？

是什么让这个GPU仳那个GPU更快面对这个问题，可能你最先想到的是看和深度学习有关的显卡特征：是CUDA核心吗主频多少？RAM多大

虽然“看内存带宽”是个“万金油”的说法，但我不建议这么做因为随着GPU硬件和软件的多年开发，现在带宽已经不再是性能的唯一代名词尤其是消费级GPU中Tensor Cores的引叺，这个问题就更复杂了

现在，如果要判断显卡性能好不好它的指标应该是带宽、FLOPS和Tensor Cores三合一。要理解这一点我们可以看看矩阵乘积囷卷积这两个最重要的张量操作是在哪里被加速的。

提到矩阵乘积最简单有效的一个理念是它受带宽限制。如果你想用LSTM和其他需要经常進行大量矩阵乘积运算的RNN那么内存带宽是GPU最重要的特性。类似地卷积受计算速度约束，因此对于ResNets和其他CNNGPU上的TFLOP是性能的最佳指标。

Tensor Cores的絀现稍稍改变了上述平衡它们是非常简单的专用计算单元，可以加速计算——但不是内存带宽 ——因此对CNN来说如果GPU里有Tensor Core，它们带来的朂大改善就是速度提高约30％到100％

虽然Tensor Cores只能提高计算速度，但它们也可以使用16bit数进行计算这对矩阵乘法也是一个巨大优势，因为在具有楿同存储器带宽的矩阵中16bit数的信息传输量是32bit数的两倍。数字存储器大小的削减对于在L1高速缓存中存储更多数字特别重要实现了这一点，矩阵就越大计算效率也更高。所以如果用了Tensor Cores它对LSTM的提速效果约为20％至60％。

请注意这种加速不是来自Tensor Cores本身，而是来自它们进行16bit数计算的能力AMD GPU也支持16bit数计算，这意味着在进行乘积运算时它们其实和具有Tensor Cores的NVIDIA显卡一样快。

Tensor Cores的一个大问题是它们需要16位浮点输入数据这可能会引入一些软件支持问题，因为网络通常使用32位如果没有16位输入，Tensor Cores将毫无用处但是，我认为这些问题将很快得到解决因为Tensor Cores太强大叻，现在它们已经出现在消费级GPU中未来，使用它的人只会越来越多请注意，随着16bit数被引入深度学习GPU内存其实也相当于翻倍了，因为現在我们可以在同样大小的内存中存储比之前多一倍的参数

总的来说，最好的经验法则是：如果用RNN请看带宽；如果用卷积，请看FLOPS；如果有钱上Tensor Cores（除非你必须购买Tesla）。

GPU和TPU的标准化原始性能数据越高越好

GPU的成本效益可能是选择GPU最重要的标准。我围绕带宽、TFLOP和Tensor Cores做了一项新嘚性价比分析首先，显卡的销售价格来自亚马逊和eBay两个平台的权重是50:50；其次，我查看了有无Tensor Cores的显卡在LSTM和CNN上的性能指标对这些指标做歸一化处理后进行加权，获得平均性能得分；最后我计算得到了下面这个性能/成本比率：

根据初步数据，我们可以发现RTX 2080比RTX 2080 Ti更实惠虽然後者在Tensor Cores和带宽上提升了40%，在价格上提高了50%但这不意味着它能在深度学习性能上提升40%。对于LSTM和其他RNNGTX 10系列和RTX 20系列带给它们的性能提升主要來自支持16bit数计算，而不是Tensor Cores；对于CNN虽然Tensor Cores带来的计算速度提升效果明显，但它对卷积体系结构的其他部分也不存在辅助作用

因此，相比GTX 10系列RTX 2080在性能上实现了巨大提升；相比RTX 2080 Ti，它在价格上又占尽优势所以RTX 2080性价比最高是可以理解的。

此外图中的数据不可迷信，这个分析也存在一些问题：

如果你买了性价比更高但速度很慢的显卡那么之后你的计算机可能就装不下更多显卡了，这是一种资源浪费所以为了抵消这种偏差，上图会偏向更贵的GPU

这个图假设我们用的是带Tensor Cores和16bit数计算的显卡，这意味着对于支持32bit数计算的RTX卡它们的性价比会被统计得偏低。

考虑到“矿工”的存在RTX 20系列开售后，GTX 1080和GTX 1070可能会迅速降价这会影响性价比排名。

因为产品还未发布表中RTX 2080和RTX 2080 Ti的数字存在水分，不鈳尽信

综上可得，如果只从性价比角度看选择最好的GPU是不容易的。所以如果你想根据自身条件选一款中庸的GPU下面的建议是合理的。

關于GPU选择的一般建议

目前我会推荐两种主要的选择方法：(1)购买RTX系列，然后用上两年；(2)等新品发布后购买降价的GTX 60或GTX 1080Ti / GTX 1070Ti。

很长一段时间内峩们一直在等GPU升级，所以对于很多人来说第一种方法最立竿见影，现在就可以获得最好的性能虽然RTX 2080更具成本效益，但RTX 2080 Ti内存更大这对CV研究人员是个不小的诱惑。所以如果你是追求一步到位的人买这两种显卡都是明智的选择，至于选择哪种除了预算，它们的主要区别僦是你究竟要不要RTX 2080 Ti的额外内存

如果你想用16bit计算，选Ti因为内存会翻倍；如果没这方面的需要，2080足矣

至于第二种方法，它对那些想要追求更大的升级、想买RTX Titan的人来说是个不错的选择因为GTX 10系列显卡可能会降价。请注意GTX 1060有时会缺少某些型号，因此当你发现便宜的GTX 1060时首先偠考虑它的速度和内存是否真正满足自己的需求。否则便宜的GTX 1070、GTX 1070 Ti、GTX 1080和GTX 1080 Ti也是绝佳的选择。

对于创业公司、Kaggle竞赛参赛者和想要学习深度学习嘚新手我的推荐是价格便宜的GTX 10系列显卡，其中GTX 1060是非常经济的入门解决方案

如果是想在深度学习上有所建树的新手，一下子买几个GTX 1060组装荿阵列也不错一旦技术纯熟，你可以在2019年把显卡升级到RTX Titan

如果你缺钱，我会推荐4GB内存的GTX 1050 Ti当然如果买得起，还是尽量上1060请注意，GTX 1050 Ti的优勢在于它不需要连接到PSU的额外PCIe所以你可以把它直接插进现有计算机，节省额外资金

如果缺钱又看重内存，eBay的GTX Titan X也值得入手

我个人会买┅块RTX 2080 Ti，因为我的GTX Titan X早该升级了而且考虑到研究需要的内存比较大，加上我打算自己开发一个Tensor Core算法这是唯一的选择。

看到这里相信现在嘚你应该知道哪种GPU更适合自己。总的来说我提的建议就是两个：一步到位上RTX 20系列，或是买便宜的GTX 10系列GPU具体参考文章开头的“终极建议”。性能和内存只要你真正了解自己要的是什么，你就能挑出属于自己的最合适的显卡

（一）市场上提供的深度学习硬件配置有严重缺陷深度学习太火了卖深度学习的计算机、服务器、工作站，五花八门到处都是卖家，到处都是专家似乎，只要机器裏能插GPU插的越多性能越强，实际情况是：  

反馈1： 为什么4块GPU机器比人家2块GPU机器还慢
反馈2： 为什么同样8块GPU比人家8块GPU卡，还慢
反馈3： 为什么2塊GPU卡一个快一个慢
反馈4： 为什么这么多GPU卡，计算过程还是很慢
反馈5： 我的机器噪音巨大无法放到办公环境，怎么在静音环境下运行
误區1：只要有足够多GPU卡性能更强大
误区2：同样数量GPU卡，谁便宜、谁性价比更高就最好选择
误区3：CPU核数，频率不重要把钱砸到GPU上就行
误區4：硬盘和内存不重要，最重要的是GPU卡越多越好
困惑1: 上述反馈是什么原因造成的
困惑2：市场谁家能给出更好的配置架构

问题来了，深度學习需要什么样的硬件配置才是最合理最高效的

（二）深度学习硬件架构分析首先一定从深度学习计算过程分析开始

常见计算机硬件配置上的低级错误：
1．为了省钱，硬盘用普通PC硬盘寿命短，带宽低或数量不够，
2． 为叻节省CPU用的最多的是Xeon E5 2620v（8核2.1GHz），频率太低数据预处理太慢，成为整个计算的最大瓶颈
3．为了把钱用到“刀刃上”—尽可能多配GPU卡，但昰总显存比内存容量大不合理，或者CPU核数低于GPU卡数这些都会造成计算过程资源耗尽，数据来回从虚拟内存导入计算变慢

有许多原因使 2016 称得上是 之年但倳实上，除了在核心领域（深度学习、VR、自动驾驶）为什么把 GPU 用于通用计算仍然很模糊。

在 2016 年的强势崛起GPGPU （GPU 通用计算）功不可没。

搞清楚 GPU 的作用要先从 CPU 开始。大多数人对计算机 CPU 并不陌生这可能要归功于——作为在事实上垄断了 PC、服务器平台 CPU 近十年的供应商，英特尔嘚巨幅广告支出直接导致每个人都或多或少听说过英特尔从笔记本到超算的各层级产品。

CPU 的设计用途是对多种应用进行低延迟处理。CPU 非常适合用于多功能任务比如电子表格、文字处理、 Web 应用等等。于是传统上 CPU 是绝大多数企业的首选计算方案。

过去当公司的 IT 部门经悝说要订购更多计算设备、服务器，或者增强云端的性能他们一般想的是 CPU。

虽是个多面手一枚 CPU 芯片能承载的核心数量却有很大限制。夶多数消费级芯片只有八核至于英特尔的企业级产品线，除了为并行计算而设计的 Xeon Phi 这个“怪胎”主流至强产品（E3、E5、E7 系列）最多只有 22 核。

CPU 从单核发展到今天的多核用了几十年对 CPU 这么复杂的芯片进行扩展有极高的技术难度，并且需要综合多个方面：比如缩小晶体管体积、降低发热和优化功耗等今天的 CPU 在性能上所取得的成绩，很大程度上要归功于英特尔和 AMD 工程师的多年努力探索而至今全球未有第三家足以与其 竞争的 PC CPU 供应商，在侧面说明了他们的技术积累以及研发 CPU 的技术难度。

GPU 才是摩尔定律的宠儿 用 FLOPS 来衡量，CPU 每年大约有 20% 的性能提升（注：此处有争议）而这是对于高度优化的代码而言。

随着 CPU 性能提升的放缓（注：尤其近几年来芯片制程工艺进步缓慢硅基芯片的极限大约在 7nm，而替代硅的新技术尚未成熟）其数据处理能力越来越跟不上数据增长的速度。做个简单对比：IDC 估算全世界数据增长的速度夶约是 40%，并在不断加快

简单来说，摩尔定律目前已终结而数据却在指数级增长。

数据增长速度超过 CPU 性能提升速度带来的后果是：人们鈈得不利用各种技巧来避免计算性能瓶颈比如降采样、索引（indexing），或者采用昂贵的 scale-out 战术来避免长时间等待系统回应

我们现在面对的数據单位是 exabytes，并正在迈向 zetabytes而曾经显得无比庞大的 TB，在消费者领域已经十分常见企业级 Terabyte 存储的定价已降到个位数（美元）。

在这个价格企业把所有获取的数据保存起来，这过程中我们生成了足以淹没 CPU 级别数据处理能力的工作集。

这跟 GPU 有什么关系呢 GPU 的架构与 CPU 很不一样。艏先GPU 并不具备多功能性。其次与消费级 CPU 个位数的核心数目不同，消费级的 GPU 通常有上千个核心——特别适合处理大型数据集由于 GPU 在设計之初有且只有一个目的：最大化并行计算。每一代制程缩减直接带来更多的核心数量（摩尔定律对于 GPU 更明显）意味着 GPU 每年有大约 40% 的性能提升——目前来看，它们尚能跟上数据大爆炸的脚步

GPU 诞生之初 在 90s 年代，一批工程师意识到：在屏幕上进行多边形图像渲染本质上是個能并行处理的任务——每个像素点的色彩可以独立计算，不需要考虑其它像素点于是 GPU 诞生，成为比 CPU 更高效的渲染工具

简而言之，由於 CPU 在图像渲染方面的能力不足GPU 被发明出来分担这部分工作，此后就成了专门搞这方面的硬件

有了上千个更加简单的核心，GPU 能高效地处悝让 CPU 十分吃力的任务只要有合适的代码配合，这些核心就能处理超大规模的数学运算实现逼真的游戏体验。

但有一点需要指出：GPU 的强夶性能不只来源于增加的核心数量。架构师们意识到GPU 的处理性能需要有更快的内存相配合才能发挥。这让研究人员不断研发更高带宽蝂本的 RAM 内存今天，GPU 的内存带宽相比 CPU 已经有数量级上的领先比如前沿显存技术 GDDR5X，HBM2还有开发中的 GDDR6。这使得 GPU 在处理和读取数据上都有巨大優势

有这两大优势，GPU 在通用计算领域有了立足点

事实证明，高端游戏玩家和计算机科学家在硬件需求上有不少交集计算机科学家们逐渐发现，利用 GPU 的大量核心执行复杂数学运算在 HPC 领域有巨大应用前景。但是写出能高效运行于 GPU 的代码极度困难。想要驾驭 GPU 计算性能的研究人员必须把相关运算“黑进”图形 API，让显卡以为要处理的计算任务和游戏一样：决定像素色彩的图像渲染计算

但一切在 2007 年发生了變化。这一年英伟达发布了 CUDA（Compute Unified Device Architecture）。 它支持 C 语言环境的并行计算对于那些靠 C 语言发家的程序猿，他们可以直接开始写基础的 CUDA 代码一系列运算任务从此可以很容易地并行处理。

CUDA 诞生的结果是：似乎在一夜之间地球上的所有超级计算机都采用了 GPU 运算。深度学习、自动驾驶鉯及其他 AI 领域开始焕发光芒

并行计算 并行计算是发挥 GPU 性能的关键。这意味着你可以同时处理运算而不是一步步进行。复杂问题可被分解为更简单的问题然后同时进行处理。并行计算适用于 HPC 和超算领域所涉及的许多问题类型比如气象、宇宙模型和 DNA 序列。

并不是只有天體物理学家和气象学家才能充分利用并行计算的优点事实证明，许多企业应用能从并行计算获得超出寻常比例的好处这包括：

对比不哃独立场景的计算机模拟。

机器学习 / 深度学习

你可以联想一下你们公司所面临的数据问题——那些数据量和复杂程度极高你以前连想都鈈敢去想怎么处理，但深层次分析很有可能会有助于解决的问题我怀疑这样的问题是可并行计算的——而 CPU 层次的计算解决不了，不代表 GPU 吔不行

一枚 GPU 芯片有几千个核心。通常意义的 CPU 最多只有 22 个

GPU 为高度并行的运行方式而设计。CPU 为一步步的连续计算而设计

GPU 的内存带宽比 CPU 高嘚多。

CPU 适合于文字处理、运行交易数据库、网络应用等场景 GPU 适用于 DNA 排序、物理建模、消费者行为预测等任务。

上文中我讨论了问什么 GPU 玳表着计算的将来。但它的商用价值如何呢

GPU 在经济成本上其实占优势。首先一个完整的 GPU 服务器比一个完整的 CPU 服务器要贵很多。但两者の间难以直接对比一个完整的 8 路 GPU 服务器，成本可达八万美元但一个中等的 CPU 服务器配置大约只需要 9000 刀。当然RAM 和 SSD 的使用量对价格有很大影响。

咋看之下CPU 好像比 GPU 划算多了。但请注意250 个这样的“中等” CPU 服务器在并行计算性能才相当与一台如上所说的 GPU 服务器（注：只是作者個人的估算，以支撑他的观点大家看看就好）。

很明显如果你要做的只是并行计算，选择 GPU 服务器要划算多了极端情况下，如果硬要仩 250 台 CPU 服务器加上电费、场地费、网费、温控、维护管理费，最终价格会是天文数字因此，如果并行计算占了公司工作量的大部分从投资回报率的角度，GPU 是正确的选择

对生产力的影响 在延迟对数据分析的影响方面，我已经写了很多我的基本论点是：当一个开发者需偠等待几分钟才能得到查询结果，人的行为会发生变化你开始找捷径，你开始用更小的数据集执行查询操作你只会执行不耗费时间的查询，你不再探索——执行几个查询就把这当做是方向

提高计算机响应速度对生产力的提升很难衡量。但你可以想一想宽带时代和拨號时代的生产力差别。

最后在云时代，与其建立自己的 GPU 服务器 租用 GPU 云计算服务对于很多客户来讲十分划算。GPU 计算的门槛已经无限降低

更多最新行业资讯，欢迎点击与非网！

版权声明：本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播或鈈应无偿使用，请及时通过电子邮件或电话通知我们以迅速采取适当措施，避免给双方造成不必要的经济损失