LPDDR, GDDR, HBM: 프로세서를 먹이는 세 가지 방법

"모든 메모리 기술은 한 질문에 대한 다른 답이야. 핀을 몇 개나 감당할 수 있고, 얼마나 멀리 둘 수 있나?"

답 셋

LPDDR, 저전력 더블 데이터 레이트는 폰의 메모리야. 좁은 채널, 낮은 전압, 프로세서 가까이 패키지나 기판에 납땜한 칩, 비트당 에너지에 맞춘 튜닝. 다이가 평범한 DRAM이고 채널마다 여럿을 달 수 있어서 큰 용량에 싸게 닿아. 애플 맥, AMD의 Ryzen AI Max, Qualcomm의 노트북 칩, NVIDIA의 DGX Spark 전부 이걸 써. GDDR, 그래픽 DDR은 외장 카드의 메모리야. 기판 위 GPU 둘레에 배치된 칩들이 각각 넓고 빠르고 뜨거운 채널에 달려서, 적당한 용량에 높은 대역폭을 줘. RTX 5090의 32 GB에 1,792 GB/s가 그 기술의 최신이야. HBM, 고대역폭 메모리는 DRAM 다이를 수직으로 쌓고 그 스택을 프로세서 옆 실리콘 인터포저 위에 놓아. 기판을 가로질러선 아예 못 달릴 만큼 넓은 인터페이스로. 데이터센터의 답이고, 대역폭은 초당 수십 테라바이트, 가격도 그만해.

표, 라벨과 함께

부품	기술	용량	대역폭	GB당 GB/s	증거
Apple M3 Ultra (office)	LPDDR5, 패키지 위	512 GB	819 GB/s	1.6	벤더
Apple M5 Ultra	LPDDR5X, 패키지 위	512 GB	"1.2TB/s"	2.4	벤더 (2026-08-25)
Apple M5 Max	LPDDR5X, 패키지 위	128 GB	614 GB/s	4.8	벤더
NVIDIA DGX Spark (GB10)	LPDDR5X-8533, 256비트	128 GB	273 GB/s	2.1	벤더
NVIDIA Vera CPU	LPDDR5X SOCAMM, 탈착식	"최대 1.5 TB"	"최대 초당 1.2테라바이트"	0.8	벤더 (Micron은 최대 2 TB라고 해서 충돌)
GeForce RTX 4090	GDDR6X, 384비트	24 GB	~1,008 GB/s	42	21 Gbps × 384 ÷ 8의 물리. NVIDIA는 수치를 안 찍어
GeForce RTX 5090	GDDR7, 512비트	32 GB	"1792 GB/sec"	56	벤더
RTX PRO 6000 Blackwell	GDDR7 with ECC, 512비트	96 GB	"1792 GB/s"	18.7	벤더
NVIDIA H100	HBM3	80 / 94 GB	"3.35TB/s \| 3.9TB/s"	42	벤더
NVIDIA H200	HBM3e	141 GB	"초당 4.8테라바이트"	34	벤더
NVIDIA Rubin GPU	HBM4	"최대 288 GB"	"최대 22 TB/s"	76	벤더 (2026-01-05)
AMD Instinct MI455X	HBM, 스택 12개	432 GB	23.3 TB/s	54	벤더

마지막 숫자 칸을 들여다봐. 기가바이트당 대역폭은 바이트가 몇 개 있는지에 비해 바이트 하나를 얼마나 빨리 다시 읽을 수 있느냐고, 원시 숫자 어느 쪽보다 기술을 더 날카롭게 가르. LPDDR은 1–5, GDDR은 18.7–56, HBM은 34–76. 디코드는 토큰마다 가중치의 모든 바이트를 다시 읽으니까, GB당 GB/s는 거의 메모리를 꽉 채우는 모델의 초당 토큰이야. 32 GB를 채운 카드는 그 모델을 초당 최대 56토큰으로 디코드하고, 512 GB를 채운 맥은 그 모델을 1.6으로 디코드해. 같은 공식이고, 두 기계가 경쟁자라기보단 다른 거리에 사는 이웃인 이유야.

각각 뭘 치르나

LPDDR은 좁은 채널로 용량과 에너지를 사. 그래서 셋 중 책상 위에서 0.5테라바이트에 닿는 유일한 기술이고, 더 넓은 패키지 없이는 대역폭을 못 올리는 유일한 기술이야. GDDR은 기판 위의 넓고 뜨거운 채널로 대역폭을 사고, 용량으로 치러. 칩이 작고 카드엔 그걸 둥글게 두를 자리밖에 없어. HBM은 인터포저 위에서 둘 다 사는데, 제조 비용은 Micron 최고경영자가 2025년 12월에 "DDR5 대비 3대 1 교환 비율"이라고 설명한 정도야. HBM 1기가바이트를 만들 때마다 평범한 DRAM 3기가바이트를 안 만드는 거고, 그 가격과 희소성이 거기서 나와. 애플의 숙제 트랙은 맥이 이 표에서 위로 올라갈 수 있는지 물어. 정직한 출발점은 세 기술이 다이얼 하나의 세 눈금이 아니라 세 가지 다른 기계만큼의 트레이드오프라는 거야.

Code

bandwidth_per_gb.py — 메모리 기술을 가르는 그 칸·python

#!/usr/bin/env python3
"""GB/s per GB = how many times per second the whole memory can be re-read.
For decode, that is roughly tokens/s for a model that fills the memory.
Vendor figures except where marked DERIVED."""

PARTS = [
    # part,                    tech,      GB,   GB/s,  evidence
    ("Apple M3 Ultra",         "LPDDR5",  512,   819,  "vendor"),
    ("Apple M5 Ultra",         "LPDDR5X", 512,  1229,  "vendor '1.2TB/s'"),
    ("Apple M5 Max",           "LPDDR5X", 128,   614,  "vendor"),
    ("NVIDIA DGX Spark GB10",  "LPDDR5X", 128,   273,  "vendor"),
    ("NVIDIA Vera (SOCAMM)",   "LPDDR5X", 1536, 1200,  "vendor 'up to'"),
    ("RTX 4090",               "GDDR6X",   24,  1008,  "DERIVED 21 Gbps x 384b"),
    ("RTX 5090",               "GDDR7",    32,  1792,  "vendor"),
    ("RTX PRO 6000 Blackwell", "GDDR7",    96,  1792,  "vendor"),
    ("H100 SXM",               "HBM3",     80,  3350,  "vendor"),
    ("H200",                   "HBM3e",   141,  4800,  "vendor"),
    ("Rubin GPU",              "HBM4",    288, 22000,  "vendor 'up to'"),
    ("AMD MI455X",             "HBM",     432, 23300,  "vendor"),
]

print(f"{'part':24} {'tech':8} {'GB':>5} {'GB/s':>6} {'GB/s per GB':>12}   evidence")
for name, tech, gb, gbs, ev in sorted(PARTS, key=lambda p: p[3] / p[2]):
    print(f"{name:24} {tech:8} {gb:5d} {gbs:6d} {gbs / gb:12.1f}   {ev}")

print("\nA model that fills the memory decodes at roughly GB/s-per-GB tokens per second.")

Exercise

bandwidth_per_gb.py를 돌리고 네 맥을 줄로 추가해. 그다음 네 맥의 GPU 작업 집합을 채우는 제일 큰 4비트 모델(물리 트랙의 토큰당 바이트 회계로 대략 10억 파라미터당 0.6 GB)을 찾고, 디코드 상한을 두 가지로 예측해. GB당 GB/s로, 그리고 달성 대역폭 ÷ 토큰당 바이트로. 둘이 모델이 메모리를 채울 때만 일치하는 이유를 한 문장으로 설명해.

Hint

GB당 GB/s는 모델이 메모리만큼 크다고 가정해. 512 GB 맥의 9B 모델은 토큰당 512가 아니라 4.5 GB를 읽으니까 상한이 1.6이 아니라 초당 ~180토큰이야. 그 칸은 기술의 순위를 매기고, 공식은 모델의 순위를 매겨.

답 셋

표, 라벨과 함께

각각 뭘 치르나

Code

External links

Exercise

Progress

댓글 0