부트 시 메모리 토폴로지 결정 — DDR + CXL.mem 통합 인식

#한 줄 요약

“현세대 서버의 메모리는 4가지 이상의 다른 영역이 하나의 SPA 공간으로 통합됩니다.” — DDR DIMM·HBM·CXL.mem·Persistent memory가 각각 다른 지연·대역폭·persistence를 가지지만, 부트로더가 SRAT·HMAT·SLIT을 정교하게 채워 두면 커널이 자동으로 tier 분류·NUMA 노드 매핑을 합니다. 이게 시리즈의 마무리입니다.

Ch 34에서 PCIe enumeration, Ch 35에서 UEFI의 CEDT 생성을 봤습니다. 이 마지막 장은 전체 메모리 토폴로지가 어떻게 통합 인식되는지를 정리하면서 Bootloader Internals 시리즈를 마무리합니다.

#메모리 토폴로지의 4가지 구성

현세대 서버는 최소 4가지 메모리 영역을 동시에 갖습니다.

부트로더의 책임은 이 모든 영역을 식별하고 적절한 ACPI 테이블에 통합 표현하는 것.

#부트로더의 책임 분해

전체 흐름을 부트로더가 담당하는 단계로 나누면:

각 단계가 순서대로 정확해야 커널이 일관된 메모리 view를 갖습니다.

#SRAT — System Resource Affinity Table

SRAT는 NUMA 노드와 메모리·CPU의 affinity를 정의합니다.

CXL.mem은 Generic Initiator Affinity 또는 Memory Affinity로 등록되어 별도 NUMA 노드가 됩니다.

1
[SRAT Memory Affinity 예시]
2

3
Affinity 0: range 0x0 ~ 0x80000000, proximity domain 0  (socket 0 DDR)
4
Affinity 1: range 0x80000000 ~ 0x100000000, proximity domain 1  (socket 1 DDR)
5
Affinity 2: range 0x100000000 ~ 0x180000000, proximity domain 2  (CXL.mem)
6
Affinity 3: range 0x180000000 ~ 0x200000000, proximity domain 3  (HBM on-package)

#HMAT — Heterogeneous Memory Attribute Table

HMAT은 각 메모리 영역의 성능 특성을 정의합니다. Tiered memory의 핵심.

핵심은 SLLBI. 읽기·쓰기·access pattern별로 latency·bandwidth를 매트릭스 형태로 정의:

1
[HMAT SLLBI 매트릭스 예시 — Read Latency (ns)]
2

3
           Target → DDR0  DDR1  CXL   HBM
4
Initiator
5
CPU0           100   140   240    90
6
CPU1           140   100   240   180
7
CXL device     240   240   180     —

커널이 HMAT를 자동 파싱해 각 노드를 hot/cold tier로 분류. DAMON의 자동 promotion/demotion이 이 정보 기반.

#SLIT — System Locality Information Table

SLIT는 NUMA 노드 간 distance matrix를 정의합니다.

1
[SLIT distance 매트릭스 예시]
2

3
node:   0   1   2   3
4
  0:   10  21  50  17    # socket 0
5
  1:   21  10  50  35    # socket 1
6
  2:   50  50  10  60    # CXL.mem
7
  3:   17  35  60  10    # HBM on-package socket 0

이 distance가 NUMA balancer의 page migration 결정에 직접 사용됩니다.

#메모리 분류 의사 결정

부트로더는 각 메모리 영역을 어떤 ZONE으로 노출할지 결정합니다.

CXL.mem을 Movable로 노출하면 hot-remove 가능. System RAM으로 노출하면 일반 메모리처럼 사용하지만 hot-remove 어려움.

#Tiered Memory 자동 인식 흐름

부트 → 커널 → 운영의 전체 흐름:

운영 검증:

1
$ numactl --hardware
2
node distances:
3
node   0   1   2
4
  0:  10  21  50
5
  1:  21  10  50
6
  2:  50  50  10
7

8
$ dmesg | grep -i "hmat\|memory_tier"
9
ACPI: HMAT: Memory Latency: 100ns at node 0
10
ACPI: HMAT: Memory Latency: 240ns at node 2
11
memory_tier: assigned tier 0 (DDR) to node 0
12
memory_tier: assigned tier 0 (DDR) to node 1
13
memory_tier: assigned tier 1 (CXL) to node 2
14

15
$ ls /sys/devices/virtual/memory_tiering/
16
memory_tier0/  memory_tier1/
17

18
$ cat /sys/devices/virtual/memory_tiering/memory_tier0/nodelist
19
0,1
20
$ cat /sys/devices/virtual/memory_tiering/memory_tier1/nodelist
21
2

#부트 시점 vs 런타임 결정

무엇이 부트 시점에 결정되고 무엇이 런타임인지 구분 중요:

부트 시점 결정은 변경 불가. 잘못 설정하면 reboot만이 답.

#CXL Fabric의 부트 인식 한계

CXL 3.0 fabric의 동적 pooling은 부트 시점에 완전히 인식 불가합니다.

부트로더는:

• 정적으로 할당된 영역: SRAT·HMAT에 포함
• 동적 영역: CFMWS에 예약된 window로 표시
• 런타임에는 Fabric Manager가 OS에 hot-add 알림

이 2단계 발견 모델이 fabric의 표준 흐름입니다.

#실 운영 예 — Granite Rapids + Astera Leo

가상 시나리오 (현장 일반화):

1
# 부팅 후 numactl 출력
2
$ numactl --hardware
3
available: 3 nodes (0-2)
4
node 0 cpus: 0-63
5
node 0 size: 256000 MB     # socket 0 DDR
6
node 1 cpus: 64-127
7
node 1 size: 256000 MB     # socket 1 DDR
8
node 2 cpus:
9
node 2 size: 2097152 MB    # CXL.mem 2 TB
10
node distances:
11
node   0   1   2
12
  0:  10  21  60
13
  1:  21  10  60
14
  2:  60  60  10
15

16
# HMAT 확인
17
$ dmesg | grep -i hmat
18
ACPI: HMAT: Memory Latency: 100ns, Bandwidth: 96000MB/s at node 0
19
ACPI: HMAT: Memory Latency: 100ns, Bandwidth: 96000MB/s at node 1
20
ACPI: HMAT: Memory Latency: 280ns, Bandwidth: 56000MB/s at node 2  # CXL
21

22
# Memory tier 분류
23
$ cat /sys/devices/virtual/memory_tiering/memory_tier*/nodelist
24
0,1
25
2

노드 2 (CXL)가 자동으로 tier 1로 분류되어 DAMON·NUMA balance가 cold page를 자동 이동.

#자주 하는 실수

#SRAT에 CXL.mem 누락

1
[증상]
2
guest$ numactl --hardware
3
available: 2 nodes (0-1)   # CXL 노드 안 보임
4

5
# 그러나 lspci에는 디바이스 존재
6
guest$ lspci | grep CXL
7
5e:00.0 ... CXL Memory Device
8

9
# 메모리는 node 0의 일부로 잘못 인식

BIOS의 CXL 활성화 옵션이 disabled 또는 EDK II에 CXL 모듈 누락. BIOS update가 답.

#HMAT 누락 → tier 자동 분류 실패

1
[증상]
2
guest$ ls /sys/devices/virtual/memory_tiering/
3
# 비어 있음
4

5
guest$ dmesg | grep hmat
6
# 출력 없음

HMAT가 없으면 모든 노드를 single tier로 가정. DAMON promotion/demotion 동작 안 함. 수동 tiering 구성이 답이지만 근본 해결은 BIOS 수정.

#SLIT distance 잘못 → 역방향 promotion

1
[증상]
2
node distances:
3
node   0   1   2
4
  0:  10  21  20   # CXL.mem이 cross-socket보다 가까움 (잘못)
5
  1:  21  10  20
6
  2:  20  20  10

distance가 틀리면 NUMA balancer가 CXL.mem을 hot으로 잘못 판단. 성능이 떨어지는 노드로 page promote가 일어남.

#Memory map 영역 충돌

1
[부팅 로그]
2
EFI: Memory Map: range 0x100000000-0x180000000 conflicting
3
EFI: dropping CXL region overlap

UEFI Memory Map과 CFMWS·SRAT의 range가 겹치면 일부 영역이 사라집니다. BIOS의 memory map 계산 오류. 보통 BIOS bug.

#Firmware-managed mode에서 user commit 시도

1
$ cxl create-region -d decoder0.0 -t ram -s 128G
2
Error: decoder firmware-locked

BIOS가 모든 HDM을 미리 commit했고 user의 추가 commit이 불가. BIOS 옵션에서 user-managed mode로 전환해야.

#정리

• 현세대 서버 메모리는 HBM·DDR·CXL.mem·persistent의 4가지 이상 영역이 한 SPA 공간으로 통합됩니다.
• 부트로더는 SRAT·HMAT·SLIT·CEDT·NFIT를 정교하게 채워 커널이 자동으로 NUMA·tier 분류하게 합니다.
• HMAT의 latency·bandwidth 정보가 memory tier 자동 분류의 근거. DAMON·NUMA balancing이 그 정보 기반.
• Firmware-managed vs user-managed HDM mode는 부트 시점 vs 런타임 결정 분기.
• CXL Fabric의 동적 영역은 부트 시점에 예약되고 런타임에 hot-add. 2단계 발견 모델.
• 흔한 실수는 SRAT/HMAT 누락·distance 잘못·memory map 충돌·mode 충돌 5가지.

#시리즈 마무리 — Bootloader Internals 36편 회고

본 시리즈는 전원 인가 직후의 0 명령어에서 시작해 복잡한 multi-tier 메모리 토폴로지까지 부트로더의 전체 책임을 다뤘습니다.

CXL 통합 챕터(34~36)는 임베디드 부트로더가 데이터센터 서버까지 확장되는 흐름을 보여 줍니다.

다음 깊이는 기존 다른 시리즈에 분산 추가된 챕터로 자연 연결:

• 보안: Embedded Security Ch 11~13
• 드라이버: Modern Embedded Recipes Ch 151
• 디버깅: Embedded Debugging Ch 8~9

#관련 항목

• Ch 1: ROM부터 init까지 — 시리즈 시작
• Ch 9: DDR Controller 프로그래밍과 PHY Training — 메모리 초기화의 시작
• Ch 19: Linux Boot ABI — 커널 인계 규약
• Ch 34: U-Boot PCIe Enumeration
• Ch 35: EFI·UEFI에서 CXL 초기화
• HBM·GDDR 심화 Ch 12: 메모리 풀링과 데이터센터 토폴로지
• Embedded Performance Engineering Ch 54: CXL.mem 지연·대역폭 실측