HBM을 따로 부르는 이유

연산 장치의 성능은 오랫동안 빠르게 올랐습니다. 그런데 계산할 데이터는 메모리에 있고, 계산 결과도 메모리로 돌아가야 합니다. 연산이 아무리 빨라도 데이터를 실어 나르는 길이 좁으면 연산 장치는 기다립니다. 이 상태를 두고 메모리가 병목이라고 말합니다.

인공지능 모델을 다루는 계산에서 이 병목이 특히 두드러집니다. 계산 자체는 단순한데 다뤄야 하는 값의 양이 매우 크고, 그 값을 반복해서 읽어야 하기 때문입니다. 연산 장치를 한 대 더 붙이는 것보다 한 번에 얼마나 많은 데이터를 넘길 수 있는가가 성능을 정하는 구간이 생긴 것입니다.

통로를 넓히려면 메모리와 연산 장치를 잇는 선이 많아야 합니다. 그런데 기판 위에 선을 옆으로 늘어놓는 방식으로는 늘릴 수 있는 개수에 한계가 있습니다. 거리가 멀수록 전력도 더 들고요.

HBM은 두 가지를 바꿉니다. 첫째, D램 칩을 여러 장 수직으로 쌓고 칩을 관통하는 구멍에 전극을 채워 층과 층을 잇습니다. 둘째, 그렇게 쌓은 덩어리를 연산 장치 바로 옆에 같은 패키지 안에 놓고 둘을 잇는 배선을 촘촘하게 깝니다. 결과적으로 한 번에 오갈 수 있는 데이터의 폭이 일반 D램과 자릿수가 다르게 넓어지고, 거리가 짧아 같은 양을 옮기는 데 드는 전력도 줄어듭니다.

세대는 HBM · HBM2 · HBM2E · HBM3 · HBM3E · HBM4 순으로 이어져 왔습니다. 이름이 여럿이라 복잡해 보이지만, 대역폭을 올리는 방법은 셋뿐입니다. 어느 세대든 이 셋 중 무엇을 건드렸는지로 읽으면 차이가 정리됩니다.

① 층을 더 쌓는다. 한 덩어리에 들어가는 D램 장수를 늘립니다. 용량이 커지고, 같은 자리에 담기는 데이터가 늘어납니다. 대신 덩어리가 두꺼워지므로 칩을 더 얇게 갈아야 하고, 한 장이라도 어긋나면 전체를 버리는 위험이 그만큼 커집니다.

② 선 하나가 내는 속도를 올린다. 통로의 개수는 그대로 두고 그 통로로 초당 몇 번 신호를 보낼 수 있는지를 높입니다. 규격 개정에서 가장 자주 손대는 자리이고, 이름 끝에 붙는 E가 대개 여기에 해당합니다 — HBM2E와 HBM3E는 앞 세대와 다른 구조가 아니라 같은 구조의 개량판입니다. 그래서 세대 이름을 여섯 개로 세지 말고 HBM2 계열 · HBM3 계열 · HBM4 셋으로 묶어 보는 편이 실제에 가깝습니다.

③ 통로 자체를 넓힌다. 연산 장치와 주고받는 선의 개수를 늘리는 것으로, 셋 중 가장 크게 건드리는 변경입니다. 패키지 안의 배선과 연산 장치 쪽 설계까지 함께 바뀌어야 하므로 자주 하지 못합니다.HBM4가 한 일이 이것이고, 앞선 세대들이 주로 ①과 ②로 올라온 것과 성질이 다릅니다.

HBM4에서 하나 더 바뀐 것이 있습니다. 쌓아 올린 D램 맨 아래에는 바깥과의 신호를 정리하는 판이 한 장 깔리는데(베이스 다이), 이 판이 하는 일이 늘면서 메모리를 만드는 공정이 아니라 연산 칩을 만드는 공정으로 만드는 쪽으로 넘어갔습니다. 메모리 회사가 자기 라인만으로 물건을 끝내지 못하고 파운드리와 엮이는 구간이 생겼다는 뜻이고, 고객이 원하는 기능을 그 판에 얹어 주는 주문형 형태도 여기서 나옵니다. 누가 그 판을 맡는지는 세대마다 고객마다 갈리므로 이 문서에 적지 않습니다.

층수·대역폭 같은 수치도 여기 적지 않습니다. 규격은 개정되고 같은 세대의 개량판이 뒤에 나오는데, 이 사이트에는 그 값이 낡은 것을 알아챌 수단이 없기 때문입니다. 바뀌지 않는 것은 위의 세 레버와 그 순서뿐이고, 어느 세대가 지금 주력인지는 분기마다 달라지므로 역시 적지 않습니다.

답부터 적으면 같은 용량을 만드는 데 웨이퍼가 더 들고, 그중 버리는 몫이 더 크기 때문입니다. 값을 비싸게 매겨서가 아니라 원가의 구조가 다릅니다. 이 업종에서 원가가 정해지는 자리는 웨이퍼 한 장이 메모리가 되기까지에 있습니다.

쌓는 공정은 만들던 것에 한 단계를 더 얹는 일이 아닙니다. 칩을 관통해 구멍을 뚫고, 얇게 갈아 내고, 여러 장을 어긋남 없이 붙이는 공정이 통째로 붙습니다. 그리고 여러 장 중 한 장만 잘못돼도 그 덩어리 전체를 버립니다. 쌓는 층이 늘수록 이 위험은 커집니다.

그래서 HBM은 같은 용량의 일반 D램보다 웨이퍼를 더 많이 씁니다. 메모리 회사가 가진 생산능력은 정해져 있으므로, HBM을 많이 만들면 일반 D램으로 나갈 몫이 줄어듭니다. 인공지능 쪽 수요가 늘 때 그와 무관해 보이는 PC용·서버용 D램 값까지 함께 움직이는 데에는 이런 연결이 있습니다.

일반 D램은 규격품이라 사는 쪽이 그때그때 값을 보고 삽니다. HBM은 그렇지 않습니다. 연산 장치를 만드는 회사와 메모리 회사가 미리 물량과 조건을 정해 두고 그에 맞춰 만드는 형태에 가깝습니다. 연산 장치의 설계 단계에서 어떤 메모리를 쓸지가 정해지기 때문에, 물건이 나온 뒤에 고르는 관계가 아닙니다.

이 차이 때문에 HBM에서 나오는 매출은 일반 메모리와 성질이 다릅니다. 값이 그날그날의 수급으로 흔들리는 정도가 덜하고, 대신 어느 회사가 어느 고객의 물량을 받았는가가 실적을 크게 가릅니다. 메모리 회사를 두고 "품질 심사를 통과했다"는 종류의 소식이 화제가 되는 이유입니다.

정리하면 연결은 이렇습니다. 인공지능 계산이 늘면 → 연산 장치가 더 팔리고 → 그 장치에는 HBM이 반드시 함께 들어가며 → HBM을 만드는 만큼 일반 D램 생산은 줄어듭니다. 메모리 회사의 주가가 반도체 설계 회사의 소식에 반응하는 것은 이 사슬 때문입니다.

다만 사슬의 각 고리는 시차를 두고 움직이고, 어느 고리에서 끊길지는 미리 알 수 없습니다. 화면의 값을 만드는 방법은 산출 방법에 있습니다.