본문으로 건너뛰기
Series · 12 posts

HBM·GDDR 심화

3d-stack accelerator bandwidth bank base-die bottleneck cache-coherency cxl cxl-mem cxl-type datacenter ddr fabric gddr gddr6 gddr7 gfam gpu hbm hbm2 hbm3 hbm3e hbm4 hdm-decoder llm-serving memory memory-controller memory-expander memory-pooling memory-tiering ndp npu pam3 power refresh roofline scheduling thermal tsv
hbm 12
1

HBM과 GDDR 분기점 분석 — Bandwidth·Capacity·Cost 트레이드오프

HBM과 GDDR의 분기점 — bandwidth·capacity·cost의 트레이드오프와 시장 분할.

2

HBM 3D 스택 구조 분해 — TSV·Microbump·Base Die의 역할

Base die + DRAM die stack — 3D 메모리의 구성요소와 TSV·microbump의 역할.

3

HBM2·HBM2E·HBM3·HBM3E 세대 비교 — JEDEC 표준 진화 흐름

세대별 bandwidth·capacity·signaling — JEDEC 표준의 진화 흐름.

4

GDDR6·GDDR6X·GDDR7 분석 — PAM 신호로 32 Gbps 도달한 경로

고속 그래픽 메모리 — clock·PAM 신호의 진화로 32 Gbps에 도달한 경로.

5

메모리 대역폭 병목 분석 — Theoretical vs Achievable·Roofline·Memory Wall

Theoretical vs achievable — 메모리 대역폭의 실제와 roofline·memory wall.

6

HBM 열 설계와 전력 관리 — Stack 열 부하·Refresh Cost·냉각 솔루션

HBM stack의 열 부하·power state·refresh의 cost와 냉각 솔루션.

7

HBM 메모리 컨트롤러 분석 — Bank·Row·Column·Address Mapping·Scheduling

Bank·row·column·command — 컨트롤러가 보는 HBM과 scheduling·address mapping.

8

NPU·GPU에서의 HBM 활용 — Weight·Activation·KV Cache 배치 분석

Weight·activation·KV cache — HBM 자리잡기와 시리즈 마무리.

9

CXL.mem 분석 — HBM·GDDR·DDR 다음의 메모리 계층

CXL.mem이 메모리 계층에 끼어드는 자리 — on-package HBM과 DRAM DIMM 사이의 새 tier.

10

CXL.mem 프로토콜 분해 — M2S·S2M 메시지와 HDM Decoder

CXL.mem 트랜잭션 흐름 — M2S Req·S2M NDR/DRS, HDM Decoder의 주소 매핑, BI·Snoop Filter 동작.

11

CXL Type 1·2·3 디바이스 분류 — Cache·Accelerator·Memory

CXL 디바이스 세 유형 — Type 1 (cache-only), Type 2 (accelerator with memory), Type 3 (memory expander)의 사용 사례와 트래픽 패턴.

12

메모리 풀링과 데이터센터 토폴로지 — CXL Switch와 Fabric

CXL 2.0/3.x switch가 만드는 메모리 풀링 — 다중 호스트가 공유하는 메모리 풀과 Coherent Fabric 토폴로지.