WHAT? 什么是HBM?WHERE? HBM技术特色WHY? 为什么需要HBM?HOW? HBM推动AI成功
1:什么是HBM:
HBM==High是一款新型的CPU/GPU 内存芯片(即 “RAM”),其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起,实现大容量,高位宽的DDR组合阵列 。先看个平面图:
中间的die是GPU/CPU,左右2边4个小die就是DDR颗粒的堆叠 。在堆叠上,现在一般只有2/4/8三种数量的堆叠,立体上最多堆叠4层.
2:HBM技术特色:到现在为止生产的只有1-2代,第3代的SPEC刚刚被定义 。
老铁们,1024位宽,带宽,靠!有没有搞错,没有,这个真没有 。
另据悉,AMD及下代显卡都会搭配4组HBM显存,等效位宽,总带宽可达/s,也就是之前宣传的TB/s级别带宽 。
这是要逆天呀!
3:为什么要HBM:
HBM 堆栈没有以物理方式与 CPU 或 GPU 集成,而是通过中介层紧凑而快速地连接,HBM 具备的特性几乎和芯片集成的 RAM一样 。
HBM 堆栈方式可以实现更多的IO数量,1024位 。
随着显卡芯片的快速发展,人们对快速传输信息(“带宽”)的要求也在不断提高 。GDDR5 已经渐渐不能满足人们对带宽的需要,技术发展也已进入了瓶颈期 。每秒增加 1 GB 的带宽将会带来更多的功耗,这不论对于设计人员还是消费者来说都不是一个明智、高效或合算的选择 。因此,GDDR5 将会渐渐阻碍显卡芯片性能的持续增长 。HBM 重新调整了内存的功耗效率,使每瓦带宽比 GDDR5 高出 3 倍还多 。也即是功耗降低3倍多!
除了性能和功耗外,HBM 在节省产品空间方面也独具匠心 。随着游戏玩家对更轻便高效的电脑追求,HBM 应运而生,它小巧的外形令人惊叹,使游戏玩家可以摆脱笨重的 GDDR5 芯片,尽享高效 。此外,HBM 比 GDDR5 节省了 94% 的表面积!
如上图所示,将原本在PCB上的GDDR5颗粒,全部集成到封装里和GPU一起 。老铁们说来个实际的尺寸图看看:好的,如下图:
那GPU+HBM的整个芯片到底有多大尺寸呢?如下: 和掌心类似 。
那用手上的HBM,做成一个显卡需要多大的PCB呢?接着上图
4:HOW? HBM推动AI成功
![算力芯片的核心存储器——HBM科普](http://img.gansulong.com/231005/1925215512-0.jpg)
文章插图
人工智能,云计算,深度学习出现3个算力阶段
第一,早期,AI处理器架构的探讨源于学术界的半导体和体系架构领域,此时模型层数较少,计算规模较小,算力较低 。
第二,模型逐渐加深,对算力需求相应增加,导致了带宽瓶颈,即IO问题,此时可通过增大片内缓存、优化调度模型来增加数据复用率等方式解决
第三,云端AI处理需求多用户、高吞吐、低延迟、高密度部署 。计算单元剧增使IO瓶颈愈加严重,要解决需要付出较高代价(如增加DDR接口通道数量、片内缓存容量、多芯片互联)
此时,片上HBM(High,高带宽存储器)的出现使AI/深度学习完全放到片上成为可能,集成度提升的同时,使带宽不再受制于芯片引脚的互联数量,从而在一定程度上解决了IO瓶颈 。
上图为寒武纪公司的 AI ASIC设计,缓存占面积的66.7%(NBin+NBout+SB)
尽管片上分布的大量缓存能提供足够的计算带宽,但由于存储结构和工艺制约,片上缓存占用了大部分的芯片面积(通常为1/3至2/3),限制了算力提升 。
而以HBM为代表的存储器堆叠技术,将原本一维的存储器布局扩展到三维,大幅度提高了片上存储器的密度,使AI进入新的发展阶段,
HBM需要克服的2大主要问题:
1:HBM需要较高的工艺而大幅度提升了成本 。
2:大量DRAM堆叠,和GPU封装在一起,产生大量的热,如何散热是极大的挑战 。
- 什么是跨网路运营商?如何解决跨网络运营商应用程序访问慢的问题?
- 互链学院 | 高承实:数字法币是区块链架构中的血液和灵魂
- 吃熟大蒜的功效与作用
- 科学的英语怎么读语音
- 酵素梅的作用与功效与副作用
- 增压泵原理
- 醋是酸性还是碱性
- 文员的工作职责
- 助动词的用法
- 5G网络将带来怎样的经济影响?