본문으로 건너뛰기
Modern Embedded Recipes · 151/152

Linux CXL 드라이버 분석 — cxl_pci·cxl_core·region·DAX

· Hawk · 5분 읽기
recipes linux cxl kernel-driver dax sysfs

#한 줄 요약

“Linux CXL 드라이버는 cxl_acpi → cxl_pci → cxl_core → cxl_mem의 의존성 체인으로 동작합니다.” 어느 한 모듈만 로딩 안 돼도 침묵하며 동작 안 합니다.

#이 레시피가 푸는 것

CXL 디바이스가 안 올라올 때 가장 곤란한 점은 에러가 안 난다는 것입니다. lspci에는 보이는데 /sys/bus/cxl/devices/가 비어 있거나, memdev는 있는데 numactl --hardware에 노드가 안 생기거나, region은 만들어졌는데 commit이 거부됩니다. 각 경우가 서로 다른 층에서 끊긴 것인데 증상만 보면 구분이 안 갑니다.

이 글은 그 층을 아래에서 위로 하나씩 짚어 어디서 끊겼는지 좁히는 절차입니다. 각 층의 커널 코드가 실제로 무엇을 하는지는 CXL 4.0 Internals Ch 11: Linux drivers/cxl/ 분석에서 cxl_pci_probe부터 cxl_region_attach까지 따라갑니다.

#층 구분

먼저 지도를 잡습니다. 디바이스가 메모리로 쓰이기까지 통과하는 층은 다섯입니다.

층확인 지점끊기면
1. PCI 열거lspci에 CXL 디바이스물리·링크 문제
2. 모듈 로딩lsmod | grep cxl서브시스템 자체가 안 뜸
3. CXL 등록/sys/bus/cxl/devices/probe가 중간에 멈춤
4. Regioncxl list -RT의 regiondecoder·interleave 설정 문제
5. NUMAnumactl --hardwareDAX 모드 전환 누락

아래로 내려갈수록 원인이 물리에 가깝습니다. 그래서 위에서부터 확인하되 실패한 지점의 한 층 아래를 의심하는 것이 빠릅니다.

#1층 — PCI에 보이는가

가장 먼저 디바이스가 PCI 레벨에서 열거됐는지 봅니다.

Terminal window
$ lspci -nn | grep -i cxl
$ lspci -vv -s 0c:00.0 | grep -A4 "Designated Vendor-Specific"

CXL 디바이스는 DVSEC(Designated Vendor-Specific Extended Capability)로 자신이 CXL임을 알립니다. lspci에는 뜨는데 DVSEC가 없으면 커널은 그냥 PCI 디바이스로 취급하고 CXL 경로를 아예 타지 않습니다. 이 경우 CXL 모듈을 아무리 로딩해도 소용없습니다.

#2층 — 모듈 체인이 다 올라왔는가

CXL 모듈은 순서가 있고, 아래 것이 없으면 위 것이 조용히 실패합니다.

Terminal window
$ lsmod | grep cxl
cxl_mem      cxl_core
cxl_pci      cxl_core
cxl_acpi     cxl_core
cxl_core

cxl_core가 베이스이고 나머지가 그 위에 얹힙니다. 정상적인 시스템에서는 CEDT가 있으면 modprobe cxl_acpi 한 번으로 의존성이 자동 해결됩니다. 손으로 하나씩 올리다 cxl_mem not found가 나온다면 대개 순서 문제입니다.

cxl_acpi가 안 올라온다면 펌웨어 쪽을 봅니다. CEDT 테이블이 없으면 root port를 등록할 근거가 없습니다.

Terminal window
$ ls /sys/firmware/acpi/tables/CEDT

#3층 — CXL 서브시스템에 등록됐는가

모듈이 다 올라왔는데 아래가 비어 있다면 probe가 중간에 멈춘 것입니다.

Terminal window
$ ls /sys/bus/cxl/devices/
mem0/  decoder0.0/  port0/  root0/


$ dmesg | grep -i cxl | tail -20

mem0은 있는데 decoder0.0이 없는 식으로 일부만 등록되는 경우가 실제로 자주 나옵니다. probe가 어느 단계에서 멈췄는지는 ftrace로 잡는 것이 가장 빠릅니다.

Terminal window
$ echo 'cxl_*' > /sys/kernel/debug/tracing/set_ftrace_filter
$ echo function > /sys/kernel/debug/tracing/current_tracer
$ echo 1 > /sys/kernel/debug/tracing/tracing_on
$ modprobe -r cxl_pci && modprobe cxl_pci
$ cat /sys/kernel/debug/tracing/trace | grep cxl

마지막으로 호출된 cxl_* 함수가 멈춘 지점입니다. 그 함수가 무엇을 하려던 것인지는 Kernel Debugging Ch 8에서 다룹니다.

#4층 — region이 만들어지고 commit되는가

여기가 가장 많이 막히는 층입니다. region 생성은 sysfs write의 연속이고, 각 write가 실패하면 그 자리에서 errno를 돌려줍니다.

Terminal window
$ cxl create-region -d decoder0.0 -t ram -s 128G
# 실패하면 어느 write에서 났는지 확인
$ dmesg | tail -5

cxl-cli가 하는 일은 결국 sysfs에 값을 쓰는 것이라, 막히면 손으로 한 단계씩 밟아 어디서 거부되는지 볼 수 있습니다.

Terminal window
$ echo region0 > /sys/bus/cxl/devices/decoder0.0/create_ram_region
$ echo mem0   > /sys/bus/cxl/devices/region0/target0
$ echo 137438953472 > /sys/bus/cxl/devices/region0/size
$ echo 1      > /sys/bus/cxl/devices/region0/commit

commit은 되돌릴 수 없습니다. decoder를 잘못 프로그래밍한 채 commit하면 그 decoder는 reboot 전까지 그 상태입니다. size와 target을 확인하고 마지막 줄을 실행합니다.

commit이 -EBUSY로 거부되면 decoder가 이미 enable 상태입니다. 앞선 시도가 절반쯤 성공한 채 남아 있는 경우가 대부분입니다.

#5층 — NUMA 노드로 올라오는가

region까지 됐는데 numactl에 안 보인다면 대개 DAX 모드 전환이 빠진 것입니다.

Terminal window
$ daxctl list
$ daxctl reconfigure-device dax0.0 -m system-ram
$ numactl --hardware

devdax 모드는 /dev/dax0.0 문자 디바이스로만 보이고 일반 메모리로는 안 잡힙니다. system-ram으로 바꿔야 커널이 hot-add해 NUMA 노드가 생깁니다.

#mailbox가 응답하지 않을 때

디바이스 상태를 물어보는 명령(cxl health, poison list 조회 등)이 멈춘다면 mailbox 층입니다.

명령마다 걸리는 시간이 크게 다르다는 점이 함정입니다. Identify는 즉시 돌아오지만 firmware update나 flash 계열은 수십 초가 걸립니다. 드라이버의 mailbox timeout이 짧게 잡혀 있으면 정상 동작 중인 명령을 timeout으로 죽입니다. 기본값은 2000 ms 이상을 씁니다.

#RAS 이벤트가 안 보일 때

CXL의 에러는 PCIe AER 경로를 타고 올라옵니다. 그래서 AER이 꺼져 있으면 에러가 조용히 사라집니다.

Terminal window
$ cat /proc/cmdline | grep -o 'pci=noaer'

pci=noaer는 다른 문제를 디버깅하다 넣어 두고 잊는 대표적인 옵션입니다. 이게 남아 있으면 CXL 디바이스가 media error를 내고 있어도 호스트는 모릅니다.

#Hot-remove 전에

디바이스를 뽑기 전에 region을 쓰는 워크로드를 먼저 정리합니다. hot-remove 중 region cleanup에는 시간이 걸리고, 그 사이 접근하는 프로세스는 SIGBUS를 받거나 최악의 경우 OOPS로 이어집니다.

Terminal window
$ umount /mnt/cxl-backed   # 있다면 먼저
$ cxl disable-region region0
$ cxl destroy-region region0

#정리

  • 층을 나눠 좁힙니다. PCI 열거 → 모듈 체인 → CXL 등록 → region → NUMA 순서로, 실패 지점의 한 층 아래를 의심합니다.
  • lspci에 보여도 DVSEC가 없으면 커널은 CXL 경로를 타지 않습니다.
  • cxl_core가 베이스입니다. 손으로 modprobe하면 순서를 맞춰야 합니다.
  • region commit은 되돌릴 수 없습니다. -EBUSY는 앞선 시도가 절반 남아 있다는 뜻입니다.
  • region이 있는데 NUMA 노드가 없으면 daxctl reconfigure-device -m system-ram이 빠진 것입니다.
  • mailbox timeout은 2000 ms 이상. firmware 계열 명령은 수십 초가 정상입니다.
  • pci=noaer가 남아 있으면 RAS 이벤트가 통째로 사라집니다.

다음 편은 Modern Embedded Recipes 시리즈의 Part 12 (Edge AI·IoT) 영역으로 이어집니다.

#관련 항목

Modern Embedded Recipes · 152 of 152

  1. 1 Modern Embedded Recipes — 모던 임베디드 실전 레시피 시리즈 소개
  2. 2 디지털 신호 기초 — Voltage Level·Edge·Setup/Hold 분석
  3. 3 임베디드 클럭과 타이밍 — Skew·Jitter·PLL·MMCM 분석
  4. 4 GPIO 내부 구조 분해 — Push-Pull·Open-Drain·Schmitt Trigger
  5. 5 UART 하드웨어 동작 분석 — Baud Rate·Framing·FIFO
  6. 6 SPI 하드웨어 분석 — Clock Mode·MOSI/MISO·Chip Select
  7. 7 I2C 하드웨어 분석 — Open-Drain·Clock Stretching·Arbitration
  8. 8 ADC 동작 원리 — SAR·Sigma-Delta·Pipelined 비교
  9. 9 DAC 동작 원리 — R-2R Ladder·Sigma-Delta·Settling Time
  10. 10 PWM 신호 생성 분석 — Duty·Frequency·Dead Time·Center-Aligned
  11. 11 CAN 버스 전기적 특성 — Differential·Termination·Dominant/Recessive
  12. 12 RS-485·RS-422 차동 신호 분석 — Termination·Biasing·Topology
  13. 13 LVDS 차동 신호 분석 — Common-Mode·Impedance·Eye Pattern
  14. 14 ARM Cortex-M 시리즈 비교 — M0·M3·M4·M7·M33·M55 분석
  15. 15 ARM Cortex-A 시리즈 비교 — A53·A55·A72·A78·X1 분석
  16. 16 ARM 레지스터 구조 분석 — R0~R15·CPSR·SPSR·Banked Registers
  17. 17 Cortex-M 예외 처리 — Vector Table·NVIC·Tail-Chaining 추적
  18. 18 ARM 메모리 맵 분석 — Normal·Device·Strongly-Ordered Region
  19. 19 ARM L1·L2 캐시 분석 — Set Associative·Inclusive·Maintenance
  20. 20 ARM MPU 활용 — Region·Attribute·Privilege Separation
  21. 21 ARM MMU 기초 분석 — Translation Table·TLB·ASID
  22. 22 ARM TrustZone-M 기초 — Secure/Non-Secure·NSC·MPC
  23. 23 ARM Memory Barrier 실전 — DMB·DSB·ISB·DMA·MMIO
  24. 24 임베디드 크로스 컴파일러 분석 — GCC·Clang·Sysroot 구성
  25. 25 C 컴파일 4단계 — Preprocess·Compile·Assemble·Link 추적
  26. 26 ELF 파일 구조 분석 — Section·Segment·Symbol Table·DWARF
  27. 27 링커 스크립트 기초 — SECTIONS·MEMORY·entry point
  28. 28 링커 스크립트 고급 — Overlay·BSS·init_array·LMA/VMA
  29. 29 임베디드 스타트업 코드 분석 — Reset_Handler·Vector Table·SystemInit
  30. 30 C 런타임 crt0 분석 — Stack·BSS Zero·Data Copy·atexit
  31. 31 임베디드 메모리 레이아웃 — .text·.rodata·.data·.bss·.heap·.stack
  32. 32 임베디드 컴파일러 최적화 분석 — -O0~-O3·-Os·-LTO 비교
  33. 33 Map 파일 분석 — Symbol·Section·Size 추적으로 코드 크기 진단
  34. 34 Make·CMake 크로스 컴파일 — Toolchain File·Sysroot 통합
  35. 35 임베디드 Bootloader 체인 — BootROM·SPL·U-Boot·Kernel·Secure Boot
  36. 36 첫 bare-metal 프로그램 작성 — Linker·Startup·main의 최소 구성
  37. 37 MMIO 레지스터 직접 접근 — volatile·Memory Map·Aliasing 분석
  38. 38 GPIO 드라이버 직접 구현 — STM32 HAL 없이 레지스터로
  39. 39 임베디드 클럭 설정 분석 — HSE·PLL·SYSCLK·AHB/APB 분주
  40. 40 Cortex-M 인터럽트 핸들링 — NVIC·Priority·Vector·EXTI
  41. 41 SysTick 타이머 활용 — 24-bit Counter·1ms Tick·delay 구현
  42. 42 UART 드라이버 구현 — polling·interrupt·DMA 3가지 방식 비교
  43. 43 SPI 드라이버 구현 — Master·Slave·CRC·DMA
  44. 44 I2C 드라이버 구현 — Master·7-bit/10-bit·Clock Stretching 처리
  45. 45 임베디드 DMA 기초 — Memory-to-Memory·Peripheral·Circular Mode
  46. 46 저전력 모드 분석 — Sleep·Stop·Standby·Wake-up Source
  47. 47 IWDG·WWDG 워치독 구현 — Independent vs Window 비교
  48. 48 임베디드 Flash 프로그래밍 — Erase·Program·Read While Write
  49. 49 DDR 초기화 실패 진단 — Timing·Calibration·Walking Bit Test
  50. 50 PWM 출력 실전 — LED 밝기·모터 속도 제어
  51. 51 DC 모터 제어 — H-Bridge·PWM Duty·Encoder Feedback
  52. 52 스테퍼 모터 제어 — Full Step·Half Step·Microstepping
  53. 53 서보 모터 제어 — PWM 1ms~2ms·Closed Loop·PID
  54. 54 Character LCD 제어 — HD44780·4-bit Mode·Custom Char
  55. 55 SPI OLED 제어 — SSD1306·Frame Buffer·Page 단위 갱신
  56. 56 TFT 디스플레이 구동 — RGB565·FSMC·LTDC·DMA2D
  57. 57 환경 센서 활용 — BME280 온습압·SHT3x·BMP180 비교
  58. 58 IMU 센서 활용 — MPU6050·LSM6DSO·Sensor Fusion
  59. 59 CAN 통신 구현 — bxCAN·Filter·Mailbox·CAN-FD
  60. 60 USB Device 기초 — Descriptor·Enumeration·Endpoint·HID/CDC
  61. 61 Ethernet MAC+PHY 통합 — RMII·lwIP·DMA Descriptor
  62. 62 SD Card + FatFs 구현 — SPI/SDIO 모드·CSD/CID·Wear
  63. 63 RTC 활용 — Calendar·Alarm·Wake-up Timer·Backup Domain
  64. 64 RTOS 도입 결정 분석 — Super Loop vs RTOS 트레이드오프
  65. 65 RTOS Task 설계 패턴 — 우선순위·스택·State Machine
  66. 66 RTOS Scheduler 동작 분석 — Tick·Context Switch·Yield
  67. 67 RTOS Semaphore 활용 — Binary·Counting·ISR Give
  68. 68 RTOS Mutex 활용 — Recursive·Priority Inheritance 적용
  69. 69 RTOS Queue 활용 — By-Value·By-Reference·Timeout 패턴
  70. 70 RTOS Event Group 활용 — Bit Wait·Sync·Notify
  71. 71 RTOS Software Timer 활용 — One-shot·Auto-reload·Daemon Task
  72. 72 ISR-Safe API 설계 — Reentrant·Atomic·Defer 패턴
  73. 73 Priority Inversion 진단·예방 — Mars Pathfinder Lesson 추적
  74. 74 Timer Wheel 분석 — Hashed·Hierarchical·O(1) Tick
  75. 75 RTOS 디버깅 기법 — Tracealyzer·SystemView·Stack 추적
  76. 76 임베디드 Linux 부팅 흐름 분석 — BootROM·U-Boot·Kernel·init
  77. 77 U-Boot 활용 — bootcmd·env·tftp·boot.scr 분석
  78. 78 Device Tree 실전 — DTS·DTB·Overlay·Phandle 추적
  79. 79 Device Tree Overlay 적용 — Runtime fragment·dtoverlay
  80. 80 임베디드 커널 빌드 — defconfig·menuconfig·Image·zImage
  81. 81 커널 모듈 기초 — init/exit·Parameter·KBuild·DKMS
  82. 82 캐릭터 드라이버 작성 — file_operations·cdev·register_chrdev
  83. 83 Platform 드라이버 작성 — probe·remove·of_match·DT 바인딩
  84. 84 mmap 4가지 모드 — Anonymous·File·Shared·Huge Page
  85. 85 epoll 실전 — LT·ET·ONESHOT·EXCLUSIVE 비교
  86. 86 UIO·VFIO 분석 — User-Space Driver와 IOMMU 격리
  87. 87 sysfs·configfs 활용 — kobject 기반 User 인터페이스
  88. 88 IRQ Affinity 튜닝 — smp_affinity·isolcpus·irqbalance
  89. 89 루트 파일시스템 구축 — Buildroot 기초·Package·Toolchain
  90. 90 임베디드 동적 메모리 — malloc 위험·결정성·대안 분석
  91. 91 메모리 정렬과 패딩 분석 — Natural·Strict Alignment·Trap
  92. 92 Cache Line Alignment — alignas·Padding·SoA 적용
  93. 93 DMA-Friendly Allocator — dma_alloc_coherent·IOMMU·Pool
  94. 94 Zero-Copy Pipeline — DMA-BUF·sendfile·io_uring·splice
  95. 95 NUMA Memory Topology — numactl·numa_alloc·HBM 적용
  96. 96 SIMD 활용 분석 — Intrinsics·Auto-Vectorization·OpenMP SIMD
  97. 97 ARM NEON 심화 — Matrix Multiply·FFT·Image Filter 적용
  98. 98 임베디드 스택 분석 — high-water·overflow 탐지
  99. 99 임베디드 코드 크기 최적화 — -Os·LTO·Section Garbage Collection
  100. 100 임베디드 전력 최적화 — Sleep Mode·Clock Gating·DVFS
  101. 101 WCET 분석 기법 — Static·Measurement·Hybrid 방법론
  102. 102 Lock-Free Ring Buffer 구현 — SPSC·Power-of-2·Memory Order
  103. 103 Wait-Free Signaling — Atomic Flag·Sequence·Latest-Value
  104. 104 RCU (Read-Copy-Update) 기초 — Quiescent State·Grace Period
  105. 105 Hazard Pointer 분석 — Lock-Free Memory Reclamation
  106. 106 Compare-And-Swap 패턴 — Stack·Counter·Linked List 적용
  107. 107 Atomic Operation 비용 분석 — Fence·Cache Line·Contention
  108. 108 Spinlock vs Mutex 결정 가이드 — Context Switch·Hold Time
  109. 109 ABA 문제 회피 — Tagged Pointer·Hazard·Generation Counter
  110. 110 False Sharing 해결 — Cache Line Padding·SoA 적용
  111. 111 MPMC Queue 구현 — Multi-producer Multi-consumer Lock-Free
  112. 112 임베디드 디버깅 마인드셋 — 가설·격리·재현·이분탐색
  113. 113 JTAG·SWD 안 붙을 때 — 핀·전압·속도·세션 진단
  114. 114 GDB 원격 디버깅 — OpenOCD·J-Link·target remote 구성
  115. 115 Cortex-M 하드폴트 분석 — Stacked Frame·CFSR 읽기
  116. 116 UART 안 찍힐 때 — Bare-metal 체크리스트
  117. 117 임베디드 부팅 실패 진단 — 단계별 Isolation
  118. 118 인터럽트 누락·중복 진단 — Priority·Pending·Re-entry 추적
  119. 119 메모리 오버플로우·오염 진단 — Canary·MPU·Pattern 분석
  120. 120 타이밍·Race 진단 — Heisenbug 잡는 법
  121. 121 통신 프로토콜 분석 — Logic Analyzer와 Protocol Decoder
  122. 122 임베디드 로깅 시스템 설계 — 레벨·버퍼·SWO·Deferred
  123. 123 임베디드 포스트모템 분석 — Core Dump와 Field Crash
  124. 124 FPGA 기초 분석 — LUT·FF·BRAM·DSP 자원 구조
  125. 125 Vivado 사용법 — Project·Constraint·Synth·Impl·Bitstream
  126. 126 PCIe BAR 매핑 분석 — Config Space·Enumeration·MMIO 접근
  127. 127 AXI 인터페이스 — AXI4·AXI4-Lite·AXI-Stream 비교
  128. 128 Zynq PS-PL 통신 — GP·HP·ACP 인터페이스 선택
  129. 129 Mailbox Protocol 분석 — Host와 Accelerator를 잇는 Doorbell
  130. 130 Command Queue·Submission Queue — NVMe·XDMA 공통 패턴
  131. 131 DMA Completion 메커니즘 — Interrupt·Polling·Completion Ring
  132. 132 PCIe Streaming 분석 — BAR Type·MSI-X·Kernel Bypass
  133. 133 Vitis HLS 분석 — Pragma·Pipeline II·Dataflow 실전 감각
  134. 134 HLS 최적화 기법 — Pipeline·Unroll·Partition·Dataflow
  135. 135 Vitis AI 분석 — DPU·xmodel·VART
  136. 136 OpenCL on FPGA — Kernel·Channel·Burst Memory 분석
  137. 137 Intel Quartus 사용법 — Platform Designer·Nios II·HLS
  138. 138 Edge Inference 분석 — Cloud vs Edge·Latency·Privacy
  139. 139 NPU 아키텍처 분석 — Ethos·Hexagon·Systolic Array 비교
  140. 140 딥러닝 Quantization 분석 — PTQ·QAT·INT8·INT4·Calibration
  141. 141 TensorRT 분석 — ONNX→Engine·FP16·INT8·DLA·Multi-Stream
  142. 142 TFLite Micro 분석 — Op Resolver·Tensor Arena·Cortex-M
  143. 143 ONNX Runtime 분석 — Execution Provider와 Cross-Platform 배포
  144. 144 Edge Thermal Management — Throttling·DVFS·Fan Curve·Sustained
  145. 145 NVIDIA Jetson 분석 — Nano·Xavier·Orin·Thor·JetPack·DLA·VPI
  146. 146 Zero-Copy Camera Pipeline — V4L2·DMA-BUF·GPU Import·NPU 직결
  147. 147 온디바이스 LLM 추론 — llama.cpp·GGUF·MLX·KV Cache·NPU Backend
  148. 148 Cortex-M33 TF-M·TrustZone — Secure Firmware·PSA·MCUboot
  149. 149 Matter·Thread 분석 — IoT 통합 표준·Commissioning·Multi-Fabric
  150. 150 PCIe → CXL 진화 — 같은 PHY 위 cache-coherent 프로토콜 추가
  151. 151 QEMU CXL Type 3 디바이스 에뮬레이션 — 노트북에서 CXL 개발 환경 구축
  152. 152 Linux CXL 드라이버 분석 — cxl_pci·cxl_core·region·DAX

관련 글

QEMU CXL Type 3 디바이스 에뮬레이션 — 노트북에서 CXL 개발 환경 구축

QEMU 8.0+로 CXL Type 3 개발 환경을 30분 안에 세우는 레시피 — 한 번에 붙여넣는 실행 명령, 부팅 후 검증 순서, 처음 세울 때 걸리는 함정.

· recipes

같은 시리즈에서 이어 읽기

PCIe → CXL 진화 — 같은 PHY 위 cache-coherent 프로토콜 추가

PCIe 5.0/6.0 PHY 위에서 CXL이 어떻게 cache coherency를 얹는지 — Flex Bus, 세 프로토콜 다중화, Type 1/2/3 디바이스 구분.

· recipes

같은 시리즈에서 이어 읽기

NUMA Memory Topology — numactl·numa_alloc·HBM 적용

NUMA node topology, numactl 운영, libnuma API, HBM/CXL tier, 자동차 ECU의 mini-NUMA까지 정리합니다.

· recipes

같은 시리즈에서 이어 읽기

이 글을 참조하는 글 (7)