HBM을 따로 부르는 이유

연산 장치의 성능은 오랫동안 빠르게 올랐습니다. 그런데 계산할 데이터는 메모리에 있고, 계산 결과도 메모리로 돌아가야 합니다. 연산이 아무리 빨라도 데이터를 실어 나르는 길이 좁으면 연산 장치는 기다립니다. 이 상태를 두고 메모리가 병목이라고 말합니다.

인공지능 모델을 다루는 계산에서 이 병목이 특히 두드러집니다. 계산 자체는 단순한데 다뤄야 하는 값의 양이 매우 크고, 그 값을 반복해서 읽어야 하기 때문입니다. 연산 장치를 한 대 더 붙이는 것보다 한 번에 얼마나 많은 데이터를 넘길 수 있는가가 성능을 정하는 구간이 생긴 것입니다.

통로를 넓히려면 메모리와 연산 장치를 잇는 선이 많아야 합니다. 그런데 기판 위에 선을 옆으로 늘어놓는 방식으로는 늘릴 수 있는 개수에 한계가 있습니다. 거리가 멀수록 전력도 더 들고요.

HBM은 두 가지를 바꿉니다. 첫째, D램 칩을 여러 장 수직으로 쌓고 칩을 관통하는 구멍에 전극을 채워 층과 층을 잇습니다. 둘째, 그렇게 쌓은 덩어리를 연산 장치 바로 옆에 같은 패키지 안에 놓고 둘을 잇는 배선을 촘촘하게 깝니다. 결과적으로 한 번에 오갈 수 있는 데이터의 폭이 일반 D램과 자릿수가 다르게 넓어지고, 거리가 짧아 같은 양을 옮기는 데 드는 전력도 줄어듭니다.

세대는 HBM2·HBM2E·HBM3·HBM3E·HBM4 순으로 이어져 왔습니다. 세대가 오를 때마다 쌓는 층이 늘고 폭이 넓어집니다. 어느 세대가 지금 주력인지는 분기마다 달라지므로 이 문서에 적지 않습니다.

쌓는 공정은 만들던 것에 한 단계를 더 얹는 일이 아닙니다. 칩을 관통해 구멍을 뚫고, 얇게 갈아 내고, 여러 장을 어긋남 없이 붙이는 공정이 통째로 붙습니다. 그리고 여러 장 중 한 장만 잘못돼도 그 덩어리 전체를 버립니다. 쌓는 층이 늘수록 이 위험은 커집니다.

그래서 HBM은 같은 용량의 일반 D램보다 웨이퍼를 더 많이 씁니다. 메모리 회사가 가진 생산능력은 정해져 있으므로, HBM을 많이 만들면 일반 D램으로 나갈 몫이 줄어듭니다. 인공지능 쪽 수요가 늘 때 그와 무관해 보이는 PC용·서버용 D램 값까지 함께 움직이는 데에는 이런 연결이 있습니다.

일반 D램은 규격품이라 사는 쪽이 그때그때 값을 보고 삽니다. HBM은 그렇지 않습니다. 연산 장치를 만드는 회사와 메모리 회사가 미리 물량과 조건을 정해 두고 그에 맞춰 만드는 형태에 가깝습니다. 연산 장치의 설계 단계에서 어떤 메모리를 쓸지가 정해지기 때문에, 물건이 나온 뒤에 고르는 관계가 아닙니다.

이 차이 때문에 HBM에서 나오는 매출은 일반 메모리와 성질이 다릅니다. 값이 그날그날의 수급으로 흔들리는 정도가 덜하고, 대신 어느 회사가 어느 고객의 물량을 받았는가가 실적을 크게 가릅니다. 메모리 회사를 두고 "품질 심사를 통과했다"는 종류의 소식이 화제가 되는 이유입니다.

정리하면 연결은 이렇습니다. 인공지능 계산이 늘면 → 연산 장치가 더 팔리고 → 그 장치에는 HBM이 반드시 함께 들어가며 → HBM을 만드는 만큼 일반 D램 생산은 줄어듭니다. 메모리 회사의 주가가 반도체 설계 회사의 소식에 반응하는 것은 이 사슬 때문입니다.

다만 사슬의 각 고리는 시차를 두고 움직이고, 어느 고리에서 끊길지는 미리 알 수 없습니다. 이 사이트는 그 방향을 판정하지 않습니다 — 화면에 있는 것은 값과 그 값이 언제 것인지뿐입니다. 값을 만드는 방법은 산출 방법에 적어 두었습니다.