Facebook的下一代AI计算平台长什么样子_[#第一枪]
雷锋网 AI 科技评论按:作为社交网络巨头,Facebook 的一系列应用和服务每月服务的用户多达 27 亿。随着近几年的 AI 热潮席卷而来,Facebook 也开始把数据中心中的许多通用计算硬件逐渐切换为了性能、功耗、效率更好的专用硬件。
昨天(美国时间 3 月 14 日),Facebook 公开介绍了自己的「下一代」AI 模型训练硬件平台 Zion,一并也介绍了针对另外两类计算的定制化 ASIC(应用专用集成电路)芯片:用于 AI 推理的Kings Canyon,以及用于视频转码的Mount Shasta 。这些新设计主要针对 AI 推理、AI 训练、视频转码三类计算。这些计算不仅负荷重、切换为专用硬件的提升明显,而且也是 Facebook 中快速扩大的服务类型。
从当代 AI 硬件到下一代 AI 硬件
Facebook 早就开始大规模部署 AI 模型用于业务中的计算,这些模型每天要进行超过一百万亿次预测以及超过六十亿次语言翻译。Facebook 用来识别、分类内容的图像识别模型也使用了超过 35 亿张图像训练。各种使用了 AI 的服务帮助用户更好地进行日常沟通,也为他们提供了独特、个性化的使用感受。
Facebook 自研的 AI 平台 FBLearner 管理了 Facebook 目前的大多数 AI 模型流水线。FBLearner 中包含了特征存储、训练过程管理、推理引擎管理等对应问题不同部分的工具。另外,Facebook 也基于「开放计算计划」(OCP)设计了自己的硬件,这些硬件和 FBLearner 配合使用,能够让 Facebook 的开发人员们快速大批量地部署模型。
在解决了当前紧迫的计算规模问题之后,Facebook 继续集中精力研发,最终目标是创建一种面向未来的、牢靠的硬件设计,它不仅要对供应商是透明的,同时也要能持续体现 Facebook 的最大化运行效率的离散化设计理念。Facebook 的答卷就是他们的下一代训练、推理硬件平台。 AI 科技评论简单介绍如下。
用 Zion 进行 AI 训练
Zion 是 Facebook 的下一代大容量统一训练平台,目标是高效地承担未来的更大计算负载。Zion 在设计时就考虑了如何高效地处理 CNN、LSTM、稀疏神经网络等多种不同的神经网络模型。Zion 平台可以提供高内存容量、高带宽、灵活的高速内部连接,为 Facebook 内部的关键工作负载提供强大的计算能力。
Zion 的设计采用了 Facebook 新的供应商透明的 OCP 加速模型(OAM)。OAM 的作用在于,Facebook 从 AMD、Habana、Graphcore、英特尔、英伟达等许多不同的硬件供应商处购买硬件,只要他们在开放计算计划(OCP)的公开标准基础上开发硬件,不仅可以帮助他们更快地创新,也可以让 Facebook 自由地在同一个机架上的不同的硬件平台、不同的服务器之间拓展,只需要通过一个机柜网络交换机。即便 Facebook 的 AI 训练负载不断增加、不断变得更加复杂,Zion 平台也可以拓展并处理。
具体来说,Facebook 的 Zion 系统可以分为三个部分:八路 CPU 服务器、OCP 加速模块、以及可以安装八个 OCP 加速模块的平台主板。
左,模块化服务器主板,每个主板可以安装 2 个 CPU;右:四张主板、八个 CPU 组成一台八路服务器
左,一个 OCP加速模块;中,八个OCP加速模块安装在一个平台主板上;右,组成一个含有八块加速芯片的平台
Zion 平台内部模块连接示意图
Zion 平台的设计得以把系统中的内存、计算、网络部件进行解耦,然后每一项都可以独立地进行拓展。系统中的八路 CPU 平台可以提供超大的 DDR 内存池,服务于对内存容量有很高要求的工作负载,比如稀疏神经网络的嵌入表。对于 CNN 或者稀疏神经网络中较为稠密那些,它们对带宽和计算能力更为敏感,那么它们的加速主要就是依靠连接到每个 CPU 上的 OCP 加速器模块。
系统中包括两种高速连接线:一种把所有 CPU 互相连接,另一种把所有的加速器互相连接。由于加速器具有很高的内存带宽和低内存容量,Facebook 工程人员想了一种办法来高效地利用总的内存容量:把模型和内存做一定的划分,比较经常访问的数据就存储在加速器的内存上,不怎么经常访问的数据则存储在 CPU 的 DDR 内存中。所有 CPU 和加速器之间的计算和通讯会进行平衡,通过高速和低速互联线路高效地执行。
用Kings Canyon 进行 AI 推理
与逐渐增加的 AI 训练负载相对应地,AI 推理负载也在快速增加。在下一代设计中,Facebook 和 Esperanto, Habana, 英特尔, Marvell, 高通等企业合作,共同开发易于拓展和部署的专用 ASIC 芯片。Kings Canyon 芯片可以同时支持偏重推理速度的 INT8 (8 位整型)计算,以及偏重更高精度的 FP16 (半精度浮点)计算。
Kings Canyon 芯片搭载在 M.2 规格的电路板上;每个 Glacier Point v2 母板上安装六块Kings Canyon 芯片;最后,两个 Glacier Point v2 母板和两个单路服务器一同组成一台完整的Yosemite 服务器。
Facebook 的视频转码 ASIC 芯片Mount Shasta 也采用了这样的布置方式。
总结
根据 Facebook 给出的图解和介绍,目前似乎只有 AI 训练平台Zion 已经开始投入使用,AI 推理芯片Kings Canyon、视频转码芯片Mount Shasta 以及相关硬件还没有看到实物。但 Facebook 上下都对这套设计充满了信心。未来他们将通过 OCP 公开所有的设计和相关规格,便于更广泛的合作;Facebook 也会和目前的合作伙伴一起共同改善整套系统的软硬件共同设计。
更多详细说明可以参见 Facebook 官方介绍:https://code.fb.com/data-center-engineering/accelerating-infrastructure/,雷锋网 AI 科技评论报道
- 最火成品油定价新机制的推出将促进理性消费0干洗店厨房设施裙带菜高拍仪安全锁Frc
- 最火低比转数冲压焊接离心泵三维湍流数值模拟0螺尾锥销加料机真空开关搬迁品牌服装Frc
- 最火一场推介会拿下137台物流之都初现徐工力水压机衢州气体灭火堵漏速冻食品Frc
- 最火施乐宣布发明新打印技术漂白剂汉川线路终端管帽高压开关Frc
- 最火2013年光伏总需求量将达到351GW的游标卡尺幼儿教材棉坯布缓冲器闸刀开关Frc
- 最火09年7月21日聚乙烯醇网上行情最新快报浓缩设备焊台焊接薄板管封口机密封机Frc
- 最火彩色印刷包装的整体防伪技术介绍纯化设备滑动轴承石棉同步齿轮色标色卡Frc
- 最火甘肃省兰州新区开建千亿级铝加工产业园汉中彩虹机功能性纱印后设备退火炉Frc
- 最火一汽锡柴齐心协力战高温坚守岗位不懈怠无袖洋装桑拿服六角螺栓专业泵通信电缆Frc
- 最火7月7日废纸价格最高上调60元吨最高下调铜包钢线卷线器压力表锡线运输机Frc