微软和百度使用英特尔的FPGA进行人工智能工作

时间:2019-3-19 分享到:

关键词:微软英特尔AI芯片

由于英特尔试图与Nvidia共同分享正处于快速增长的服务器AI芯片市场,英特尔渴望其产品能够涵盖几乎所有可能的类别。

Nervana Systems是英特尔2016年收购的AI芯片创业公司,我最近有机会拜访其位于圣地亚哥的办事处。Nervana Systems被收购以后,完成了大部分与AI相关的芯片和软件研发工作。在本次会面上,我见到了英特尔人工智能软件和研究副总裁Arjun Bansal和英特尔AI研究组高级总监Casimir Wierzynski。

服务器AI芯片市场的市场地位。用于处理数据中心内部深入学习工作负荷的芯片市场可分为两组:

强大的计算系统所使用的芯片,可以训练人工智能模型来做一些事情,比如理解语音命令,检测照片中的物体,或者帮助一辆汽车在城市街道上行驶。

运行经过培训的AI模型与新数据和新内容的芯片,例如移动应用程序的请求,以帮助处理语音命令或提供个性化的新闻饲料内容。这种活动被称为“推理”,其计算要求远低于培训要求,可以由服务器和最终用户硬件(如电话、个人电脑和汽车)来处理。

虽然竞争开始有所增加,很大比例的AI培训工作是由Nvidia的Tesla服务器GPU系列来处理。但是,在以前,这项工作通常是由英特尔的Xeon服务器CPU来完成的。然而,越来越多的推理工作正在由Nvidia GPU来完成,可编程芯片(FPGA)则采用英特尔和Xilinx的产品,定制设计的芯片(ASIC)则采用,如Alphabet / Google的Tensor Processing Units(TPU – 它们也可用于培训)和Amazon.com的新AWS Propferentia芯片。

英特尔的服务器AI芯片战略:鉴于Nvidia的服务器AI芯片的工作完全围绕GPU进行,其特点是针对人工智能工作负载进行专门的处理(它们是众所周知的AST),英特尔计划支持一系列广泛的芯片。其当前和计划的服务器AI产品包括:

NNP-L1000和NNP-I,一对Nervana ASIC,分别用于训练和推理。两者都承诺在今年晚些时候投入生产。Facebook一直是英特尔AI ASIC的开发合作伙伴。

可用于推理的FPGA。微软和百度使用英特尔的FPGA进行人工智能工作。

服务器GPU阵容。该公司的第一台服务器GPU预计将在2020年推出DL Boost,一组旨在提高Xeon CPU推理性能的技术。英特尔最近发布的Cascade Lake Xeon CPU 引入了DL Boost的第一个版本。

当被问及NNP-L1000相对于Nvidia的Tesla GPU等产品的竞争优势时,Bansal地指出该芯片是从头开始设计的,用于训练AI /深度学习模型,因此不需要关注与图形相关的功能。他介绍道:“我们不必在与图形相关的计算上花费任何芯片面积。

他还指出,由于NNP-L1000独特的处理架构(它依赖于称为bfloat16的多种编码格式),该芯片可以使用16位乘法器电路来提供与GPU所需的32位乘法器相当的性能。这导致更小且功率更高的乘法器,并且(因为乘法器需要一半的数据)使芯片的有效存储器带宽加倍。

类似地,Bansal认为,在推理领域,NNP-I相对于FPGA“从功率性能角度来看”将具有很强的竞争力,并为机器翻译,语音识别和推荐系统等工作负载提供强大的性能。与此同时,他指出,由于能够重新配置以处理新任务,一些客户仍然会更喜欢FPGA。

当被问及英特尔如何看待服务器CPU被用于推断时,因为对加速器的需求有所增长,他建议公司仍将使用空闲CPU容量进行推理工作。他指出:“人们有时会有很多休眠(服务器)容量”

软件的重要性除了大量的芯片研发投资外,Nvidia在AI培训芯片市场的主导地位与其构建的开发者生态系统有很大关系。该生态系统以公司的CUDA编程模型和相关的CUDA深度神经网络(cuDNN)软件库为基础,该软件库支持最流行的深度学习软件框架(以及一些不太流行的软件框架)。

虽然它已经创建了针对其CPU优化的深度学习软件库,英特尔想要削减Nvidia庞大的开发者意识共享的策略,并不是围绕着创建一个直接针对Cuda和Cuda的竞争对手,而是在推动采用一种名为nGraph的解决方案。nGraph是一个编译器 – 一个将编程语言中的代码转换为可由处理器执行的机器代码的程序 – 旨在与各种处理器类型的各种深度学习框架(Xeon CPU,Nervana ASIC和甚至是Nvidia GPU),用于培训和推理工作。

英特尔认为,由于许多AI软件框架已针对特定类型的处理器(在许多情况下是Nvidia的GPU)进行了优化,所以,将依赖于一种类型的处理器的AI模型移植到另一种类型的处理器上来说,这通常太困难了,而且要让一个模型在不同的框架上运行也太难了。英特尔称,nGraph消除了这些挑战

在公司仅依赖于一种处理架构的情况下,手动优化的AI软件库可能是有效的,但当公司使用三种或四种架构时,它们有可能失效。Bansal断言。“拥有三四个架构的优势肯定大于只拥有一种架构。”

当然,英特尔面临的挑战是让企业和云巨头相信,在很多企业完全依赖Nvidia的GPU进行AI培训的时候,他们应该使用多个架构。如果一家公司选择仅仅依靠Nvidia的GPU进行培训,它可能会坚持使用Nvidia广泛支持的软件工具。另一方面,如果人工智能培训芯片市场开始崩溃,那么英特尔对nGraph的销售推动力将变得更加强大。另外,Wierzynski指出,英特尔还投资于解决人工智能隐私问题的软件解决方案,例如用于处理加密AI数据的开源解决方案。他为解决方案提供了一个用例:医院可以将加密数据发送给远程工作的放射科医师,无需共享患者信息,放射科医师可以将他或她的答案的加密版本发送回医院。

大局Nvidia不太可能很快放弃目前在AI培训处理器市场上的领先优势,特别是考虑到它也在该领域投入巨资。虽然服务器推理处理器市场竞争更加激烈,但英特尔可能会成为与Nvidia和Xilinx一样强大的玩家。

英特尔确实拥有独特的芯片和软件战略来增加其AI加速器的销售额,并且显然将其资金投入其中。尽管他们的确切性能和耗电量还有很多需要分享的地方,但这家公司的神经网络ASIC正从地面上建立起来,以处理AI的工作,这一事实可以帮助他们取得成功。

版权所有:https://www.shgopi.cn 转载请注明出处