모듈러가 반격하는 자리

"엣지는 통합으로 갔고, 데이터센터는 다시 모듈러로 가고 있어. 풀링되고, 공유되고, 교체 가능하게. 둘 다 옳아. 심판의 선이 그 사이를 지나니까."

메모리가 다시 패키지에서 내려와

이 트랙의 모든 레슨은 메모리가 패키지 위로 올라가는 걸 지켜봤어. 서버 규모에선 내려오고 있어. NVIDIA의 Vera CPU는 "up to 1.2 terabytes per second"에 "up to 1.5 TB of memory"를 위해 LPDDR5X를 "SOCAMM, detachable, field-replaceable modules"와 짝지어. 마이크론은 192 GB SOCAMM2를 대량 생산 중이고 256 GB 부품을 발표했고, 삼성은 그 폼팩터를 "easy memory upgrades or replacements without any mainboard modification"을 가능하게 한다고 서술해. 모듈이 내주는 속도는 작고 명시돼 있어. JEDEC의 SOCAMM2는 "up to 9.6Gb/s per pin where platform signal integrity allows"에 닿아. 납땜된 LPDDR6의 SK하이닉스 10.7 Gbps 샘플에 대해서. 노트북급 LPCAMM2는 8,533 MT/s로 출하되고 마이크론은 그게 "requires a new type of socket, which also adds cost"라고 적어. 코드 블록이 순위를 매겨. 모든 모듈은 교체 가능성 한 단계를 위해 핀당 속도 한 단계를 내려서는 거고, 그게 1.5테라바이트 있는 서버는 그 단계를 감당할 수 있어. Studio의 1,024비트 버스는 못 해. OEM 레슨의 팬아웃이 이유야. 그리고 그게 선이야. 모듈러 메모리는 용량을 테라바이트로 재고 버스가 보드에 퍼진 곳에서 이기고, 통합 메모리는 버스가 넓고 보드가 노트북인 곳에서 이겨.

풀링, 공유, 칩렛

표준 둘이 모듈성을 메모리 자체로 밀어 넣어. PCIe급 링크 위의 CXL은 2.0에서 "allows for pooling", 여러 호스트가 끌어 쓰는 상자 안의 메모리, 3.0에선 "in addition to memory pooling, we introduce the concept of memory sharing". 영역 하나, 호스트 여럿, 패브릭 지연에서. 인터페이스 레슨의 값을 일부러 치르는 거야. 사는 게 어느 한 기계에도 속하지 않는 메모리니까. UCIe는 "the interconnect between chiplets within a package"를 표준화해서 패키지 자체가 모듈러가 돼. 링크 하나 뒤의 다른 벤더 다이들, 인텔, AMD, Arm, 퀄컴, 삼성, TSMC와 클라우드 회사들이 2022년에 만든 컨소시엄. 애플의 UltraFusion은 같은 아이디어의 독점 판이야. 다이 둘을 칩 하나로. 차이는 두 번째 다이를 누가 공급할 수 있느냐야. 두 표준은 심판과 같은 말을 해. 경계의 성능이 충분해지면 업계는 경계를 표준화하고 그걸 가로질러 경쟁해.

처리량, 풀이 절대 못 이기는 절반

모듈러가 반격하는 마지막 자리는 표준이 아니라 워크로드야. 물리 트랙의 배치 레슨은 맥이 32 스트림을 단일 스트림 속도의 일곱 배로 서비스하는 걸 쟀어. 라이벌 트랙은 카드가 왜 더 잘하는지 값 매겼어. 배치가 디코드를 연산으로 바꾸고, 텐서 코어가 연산을 50 대 1로 이겨. NVLink 뒤의 HBM을 가진 카드 랙이 수천 사용자를 서비스하는 건 모듈러 세계의 최선이야. 작고 빠른 메모리들, 넓은 링크, 그것들에 퍼진 일, 빠를 필요 없는 부분엔 CXL로 풀링한 메모리. 풀은 카드에 안 들어가는 모델의 단일 스트림을 이기고, 랙은 들어가는 모델들의 모든 스트림을 동시에 이겨. 이 집은 방 안의 단일 스트림이고, 그래서 그 함대는 맥이야. 그리고 품질이 이기는 음성과 프론티어 모델엔 선의 랙 쪽인 클라우드를 써. 함대 트랙의 선택으로 클라우드 레슨이야. 모듈러는 통합에 지지 않았어. 둘 사이의 선이 움직였고, 이 퀘스트는 열한 트랙을 그 위치를 찾는 데 썼어.

Code

modular_memory.py — 메모리 폼팩터, 명시된 최고 속도, 그리고 각각이 사 주는 것·python

#!/usr/bin/env python3
"""Where modular strikes back: memory that comes off the package again. The form factors,
their top per-pin rates as the vendors state them, and what each gives up or gets back.
The soldered rate is the ceiling every module trades against."""
forms = [  # form factor, placement, top rate as stated, capacity as stated, who, what it buys
    ("LPDDR5X soldered (Apple, AMD, Qualcomm, NVIDIA GB10)", "on/next to package", "10.7 Gbps (SK hynix LPDDR6 16Gb sample); 9,600 MT/s shipping (Apple M5)", "up to 512 GB (Apple)", "the rate and the width; nothing replaceable"),
    ("SOCAMM2 (JEDEC; Micron, Samsung)",       "module, server",   "up to 9.6 Gb/s per pin 'where platform signal integrity allows'", "48–256 GB per module (Micron); 192 GB in high-volume production", "field-replaceable LPDDR at near-soldered rate"),
    ("NVIDIA Vera CPU on SOCAMM",              "module, server",   "up to 1.2 TB/s aggregate", "up to 1.5 TB", "'detachable, field-replaceable modules' at a pool's aggregate bandwidth"),
    ("LPCAMM2 (JEDEC CAMM2; Micron, Crucial)", "module, laptop",   "up to 9,600 Mbps (Micron); 8,533 MT/s shipping (Crucial)", "16–64 GB", "a laptop with LPDDR you can replace; 'requires a new type of socket, which also adds cost'"),
    ("DDR5 SO-DIMM (Intel Panther Lake)",      "module, laptop",   "DDR5-7200", "module-limited", "the classic socket, the lowest rate"),
    ("CXL 2.0 / 3.0 attached memory",          "over the fabric",  "PCIe-class links; 'memory pooling' (2.0) and 'memory sharing' (3.0)", "rack-scale", "memory as a shared resource across hosts, at fabric latency"),
    ("UCIe chiplets",                          "inside the package", "die-to-die standard, 'the interconnect between chiplets within a package'", "—", "a modular package: mix vendors' dies behind one interconnect"),
]
for ff, place, rate, cap, buys in forms:
    print(f"{ff}\n    where: {place}\n    rate:  {rate}\n    size:  {cap}\n    buys:  {buys}\n")
print("Ranking by top per-pin rate: soldered LPDDR5X/6 > SOCAMM2 > LPCAMM2 > DDR5 SO-DIMM. Every module is a step down the rate for a step up in replaceability.")

# Ranking by top per-pin rate: soldered LPDDR5X/6 > SOCAMM2 > LPCAMM2 > DDR5 SO-DIMM.

Exercise

심판의 선을 네 것으로 써. 네가 돌리는 가장 큰 모델, 동시 스트림 수, 그리고 기계가 사람 있는 방에 있는지. 그다음 네 일 중 어느 게 통합 쪽(방 안의 풀)이고 어느 걸 이미 모듈러 쪽(어딘가의 랙)에서 사는지 나열해. 그 분할을 카드에 올려. '맥이냐 NVIDIA냐'에 대한 퀘스트의 답이고, 일마다야.

Hint

대부분의 집은 풀에서의 추론과 랙에서 오는 프론티어 품질로 떨어져. 모든 일이 한쪽에 있으면 배치와 학습 행을 다시 확인해. 사람들이 잘못 놓는 행들이야.