在人工智能大语言模型LLM的浪潮中,Nvidia无疑是行业的领头羊。然而,在这家科技巨头的背后,有一位关键人物默默推动着技术的进步。他就是Myeong-Jae Park,SK Hynix的高级研究工程师,HBM(高带宽内存)技术的先驱。
个人背景与科研成就
Myeong-Jae Park分别于 2003 年、2006 年和 2014 年在韩国首尔国立大学获得了学士、硕士和博士学位,专业领域涵盖了电子工程和计算机科学。
他的职业生涯始于Anapass,2004 年至 2009 年担任 Anapass 设计工程师,参与LCD面板内接口的开发。他是高级面板内接口的发明者,这是三星平板电视的面板内接口标准。随后,他于 2012 年在Rambus Inc.的暑期实习中,参与了超高速串行接口的研究。
自2014年起,Park在SK Hynix担任高级研究工程师,他目前是 SK Hynix 高带宽内存 (HBM) 芯片设计的总监和项目负责人,他的研究兴趣包括 HBM、3D-DRAM等。在他的领导下,2024年3月,SK Hynix成功量产了全球性能最强的HBM3E,并计划提前至2025年量产下一代HBM4,进一步巩固了公司在AI内存市场的领导地位。
SK Hynix HBM 前两代
Nvidia的GPU技术在AI深度学习领域占据主导地位,而HBM技术是其成功的关键因素之一。HBM提供了比传统GDDR内存更高的带宽和更低的功耗,这对于处理大量数据和复杂计算的Nvidia GPU至关重要。
在过去的两三年里,随着生成式人工智能的兴起,HBM 获得了广泛认可。尽管这可能让人们认为 SK 海力士的 HBM 成就几乎是一夜成名,但该公司经历了漫长的历程才取得领导地位。SK 海力士之所以能登上 HBM 行业的顶峰,得益于其顶尖工程师的独特技术专长,这些工程师在 HBM 技术的研究和开发上投入了 15 年多的时间。
2009年,SK海力士预见到高性能存储器的需求不断增长,将目光投向了TSV 技术。2013年12月,SK海力士与AMD合作发布了全球首款基于TSV的HBM。
尽管取得了突破,SK 海力士的 HBM 还是花了很多年才获得认可。2010 年代,计算市场还不够成熟,无法从 HBM 的规格中获益,人们认为 HBM 提供了“不必要的”高速和大容量。后面AMD也放弃了HBM显存的方案,HBM渐渐淡出消费者视野。这导致第二代 HBM HBM2 的开发困难重重,并引发了人们对该产品商业价值的担忧。Park 将这段充满挑战的时期称为发现机遇的时期。
HBM2E 是SK Hynix HBM 业务的关键转折点
“在 2010 年代中后期,HBM 设计部门被公开描述为偏离了常规路线,”他回忆道。“该公司在开发 HBM2 的过程中遇到了困难,最重要的是,市场增长低于预期。这种情况加剧了人们对业务的担忧和整个行业的悲观情绪。
“尽管如此,我们坚信 HBM 是展示 SK 海力士独特技术能力的机会,而且一旦我们开发出最好的产品,利用这些产品的服务自然就会出现在市场上。这种信念成为包括 HBM2E 在内的后续产品开发的驱动力。”
在这个过程中,朴教授认识到,成功的关键是要达到超越客户和市场需求的一流性能水平。他回忆起自己就是怀着这样的坚定决心,开始着手HBM2E的开发。
“从HBM2E开始,我们设定的目标远高于外界的期望,并加强了合作,”他透露。“对于需要无缝集成复杂且具有挑战性的技术的HBM来说,与相关团队合作解决难题并增强协同作用尤为重要。这种方法带来了重大的技术进步。
利用 MR-MUF 专利技术引领 HBM 复兴
2020 年代初,人工智能技术兴起,高带宽成为了内存行业的重心,和GPU紧密绑定的HBM赢得了最大的市场,主推该标准的海力士与三星成了大赢家,HBM的大客户Nvidia 和 AMD 也因此而赚的盆满钵满。人们预测内存公司之间将展开激烈竞争,争夺 HBM3 市场的主导地位。然后,SK 海力士不负众望,通过不懈的技术开发和投资,很快巩固了其行业领导地位。
“当时,SK 海力士不仅在技术方面进行创新,”他表示,“我们还不断创新,以加强客户关系和质量。最终,凭借 HBM3 的卓越性能和功能,我们获得了相当大的市场份额,并牢固确立了我们作为 HBM 市场领导者的地位。”
此后,SK海力士的HBM成功故事一路畅通无阻。在开发出全球容量最高的12层HBM3后仅四个月,该公司就于2023年8月推出了下一代HBM3E,大大缩短了上市时间。
“随着人工智能公司之间的竞争加剧,我们别无选择,只能加快 HBM 的开发,”他表示。“为此,SK 海力士做出了诸多努力,例如提高产品设计的完整性,以及从开发和量产的早期阶段开始与客户合作。因此,我们能够在 2024 年 3 月开始量产 HBM3E,成为全球第一家这样做的公司。”
朴强调,成功的秘诀在于业绩、品质和市场响应能力。
“SK海力士的HBM拥有 业界最高的速度和性能,”他表示,“特别是,我们专有的MR-MUF(Mass Reflow Molded Underfill)技术、HKMG(High-K Metal Gate,High-K金属栅极)技术和Low-K IMD(Low-K Inter Metal Dielectrics,Low-K介质层)技术应用于我们的HBM产品,通过稳定地降低高性能工艺产生的热量,帮助实现了世界最佳性能。此外,我们能够快速地以高标准持续批量生产这些产品。我们还提供了无与伦比的客户响应能力。我相信这种综合竞争优势使我们的HBM3E成为顶级产品。”
MR-MUF 不仅能提高生产力,还能带来更高性能的 HBM。在芯片之间,环氧模塑料用作间隙填充材料,其导热率比 TC-NCF 中的非导电薄膜高得多。在SK海力士和三星电子、美光的HBM市场竞争中,SK海力士领先三星电子和美光的关键就在于MR-MUF工艺。三星电子从HBM生产之初就一直采用热压缩非导电薄膜(TC-NCF)工艺,而SK海力士采用的则是批量回流模制底部填充(MR-MUF)工艺。技术路线图显示,从HBM2e开始,海力士放弃了TC-NCF工艺,改用MR-MUF工艺,实现了更低的键合应力和更优的散热性能。
Park 还强调了 SK 海力士所有成员在 HBM 的成功中发挥的关键作用,因为他们作为一个团队致力于不断实现技术创新,而永不自满。
跨部门合作是开发 HBM3E 的关键
“自 HBM2E 以来,SK 海力士一直致力于保持其在 HBM 领域的领先地位,”他表示。“特别是,我们的目标是 在保持相同功耗水平的同时,将每一代产品的性能提高 50% 。这似乎几乎不可能,但在包括封装和研发部门在内的许多部门和组织的支持下,我们得以实现这一目标。”
“此外,当开发和量产阶段出现挑战时,拥有相关领域专业知识的组织提供了解决方案。我相信这样的协作系统使得生产出世界上性能最佳的 HBM3E 成为可能。”
6 月 5 日,朴与 SK 海力士的核心技术人员一起,因其在 HBM 开发中做出的贡献,被授予 SK 集团最高荣誉“ 2024 年 SUPEX 奖”。
他说:“我代表为 HBM 产品开发做出贡献的众多成员获得 SUPEX 奖,我深感荣幸和感激。HBM 不仅展示了 SK 海力士的技术实力,还引领了 AI 技术的发展,为整个社会做出了重大贡献。展望未来,我们将竭尽全力确保公司能够继续发挥这一作用。”
下一代 HBM:通过创新和定制保持行业领先地位
在评论最近有关HBM开发的猜测时,朴否认这些说法“毫无根据”,并重申了他在未来保持SK海力士竞争优势的决心。他表示: “SK海力士的HBM是我们员工15年辛勤工作的成果。最近,有谣言称竞争对手(指的是Samsung)的HBM团队已转移到SK海力士开发该技术。这影响了我们成员的自尊心,因为它无视我们自己努力所取得的成果。SK海力士的HBM显然是使用自己的技术开发的,当时没有一个来自竞争对手的人员加入该公司的HBM设计组织。现在我们认为这是对我们杰出技术能力的证明,我们的技术能力得到了如此广泛的认可,以至于引发了这些谣言。我们不会受到这些说法的影响,并将继续努力保持我们的领先地位。
“持续创新对于保持和提升我们目前的地位至关重要,”他补充道。“特别是随着我们的HBM产品线随着解决方案的定制而多样化,与客户和代工行业的合作 在未来将变得越来越重要。 在这些变化中,我们的目标是稳步前进,紧跟潮流,保持市场领先地位。”
海力士HBM3e采用改进的MR-MUF工艺,降低键合应力,提升散热性能,增加堆叠层数。HBM4有可能采用混合键合(Hybrid bonding)工艺,进一步降低TSV DRAM层与层之间的间隙,实现更高层数堆叠。
采访结束时,Park 表达了他对超越 HBM 的下一代 AI 技术的信心,并分享了他对未来的期望。
“不仅有 HBM,还有各种 AI 内存技术,例如 CXL®、 PIM、3D DRAM将创造新的机遇,公司已准备好在这些下一代AI内存领域保持在领先地位,”他表示。
“回想起来,HBM 是我们将公司业务拓展到高附加值领域的起点。我既感到自豪,又感到责任重大。HBM 设计团队将继续创新,相信多年来我们与成员们共同建立的技术和协作系统,不会满足于现状。我们将努力将 SK 海力士发展成为引领整个 AI 行业的关键公司。”
参考链接:
-
Myeong-Jae Park 的 IEEE 个人主页 https://ieeexplore.ieee.org/author/37089401965
-
相关IEEE论文:
A 192-Gb 12-High 896-GB/s HBM3 DRAM With a TSV Auto-Calibration Scheme and Machine-Learning-Based Layout Optimization
翻译:一种具有TSV自动校准方案和基于机器学习的布局优化的192Gb 12层 896GB/s HBM3 DRAM
https://ieeexplore.ieee.org/document/9858112/