Embedded Performance Engineering
실전 사례 — CXL.mem 추가로 LLM inference KV cache 처리량 회복
70B 모델 KV cache가 HBM 한계를 넘어 throughput이 무너졌을 때, CXL.mem 256 GB pool 추가로 회복한 실전 케이스.
· 7분 읽기
cxl llm-inference
#hbm
10개의 포스트
HBM·GDDR 심화
CXL.mem 분석 — HBM·GDDR·DDR 다음의 메모리 계층
CXL.mem이 메모리 계층에 끼어드는 자리 — on-package HBM과 DRAM DIMM 사이의 새 tier.
· 11분 읽기
cxl memory-tiering
HBM·GDDR 심화
NPU·GPU에서의 HBM 활용 — Weight·Activation·KV Cache 배치 분석
Weight·activation·KV cache — HBM 자리잡기와 시리즈 마무리.
· 12분 읽기
hbm npu
HBM·GDDR 심화
HBM 메모리 컨트롤러 분석 — Bank·Row·Column·Address Mapping·Scheduling
Bank·row·column·command — 컨트롤러가 보는 HBM과 scheduling·address mapping.
· 8분 읽기
hbm memory-controller
HBM·GDDR 심화
HBM 열 설계와 전력 관리 — Stack 열 부하·Refresh Cost·냉각 솔루션
HBM stack의 열 부하·power state·refresh의 cost와 냉각 솔루션.
· 9분 읽기
hbm thermal
HBM·GDDR 심화
메모리 대역폭 병목 분석 — Theoretical vs Achievable·Roofline·Memory Wall
Theoretical vs achievable — 메모리 대역폭의 실제와 roofline·memory wall.
· 8분 읽기
hbm bandwidth
HBM·GDDR 심화
HBM2·HBM2E·HBM3·HBM3E 세대 비교 — JEDEC 표준 진화 흐름
세대별 bandwidth·capacity·signaling — JEDEC 표준의 진화 흐름.
· 13분 읽기
hbm hbm2
HBM·GDDR 심화
HBM 3D 스택 구조 분해 — TSV·Microbump·Base Die의 역할
Base die + DRAM die stack — 3D 메모리의 구성요소와 TSV·microbump의 역할.
· 9분 읽기
hbm tsv
HBM·GDDR 심화
HBM과 GDDR 분기점 분석 — Bandwidth·Capacity·Cost 트레이드오프
HBM과 GDDR의 분기점 — bandwidth·capacity·cost의 트레이드오프와 시장 분할.
· 10분 읽기
hbm gddr
Modern Embedded Recipes
NUMA Memory Topology — numactl·numa_alloc·HBM 적용
NUMA node topology, numactl 운영, libnuma API, HBM/CXL tier, 자동차 ECU의 mini-NUMA까지 정리합니다.
· 6분 읽기
recipes numa