HBM·GDDR 심화
NPU·GPU에서의 HBM 활용 — Weight·Activation·KV Cache 배치 분석
Weight·activation·KV cache — HBM 자리잡기와 시리즈 마무리.
· 12분 읽기
hbm npu
Tech articles, book reviews, and presentations.
페이지 39 / 73
Weight·activation·KV cache — HBM 자리잡기와 시리즈 마무리.
디바이스가 호스트 메모리를 캐시하는 프로토콜.
Bank·row·column·command — 컨트롤러가 보는 HBM과 scheduling·address mapping.
CXL.io 프로토콜의 PCIe 호환성과 CXL 고유 확장.
HBM stack의 열 부하·power state·refresh의 cost와 냉각 솔루션.
PCIe 7.0 기반 128 GT/s, Bundled Port·Streamlined Port의 동기와 효과.
Theoretical vs achievable — 메모리 대역폭의 실제와 roofline·memory wall.
CXL 2.0 pooling, CXL 3.x fabric, GFAM (Global Fabric Attached Memory).
고속 그래픽 메모리 — clock·PAM 신호의 진화로 32 Gbps에 도달한 경로.
Host-managed Device Memory 두 종류와 일관성 메커니즘.