PCIe → CXL 진화 — 같은 PHY 위 cache-coherent 프로토콜 추가

#한 줄 요약

“CXL은 PCIe 케이블을 그대로 쓰면서 cache coherency를 얹은 표준입니다.” PCIe 5.0/6.0 PHY 위에 세 프로토콜이 다중화되어 흐릅니다.

#PCIe와 CXL의 관계

Ch 125 (PCIe BAR)에서 PCIe로 device를 enumerate하고 MMIO로 register를 read/write하는 흐름을 봤습니다. CXL은 같은 PCIe 인프라를 그대로 쓰면서 추가 능력을 얹은 표준입니다.

레이어 구조:

같은 케이블·같은 connector·같은 enumeration입니다. 디바이스 측이 CXL을 지원하면 config space에 CXL DVSEC이 추가되어 host가 인식합니다.

#세 프로토콜의 역할

CXL.io는 모든 디바이스 필수입니다. PCIe 호환 enumeration을 위해서입니다. 나머지 둘은 디바이스 타입에 따라 선택적입니다.

#Type 1/2/3 디바이스

CXL 디바이스는 지원 프로토콜 조합으로 세 타입으로 나뉩니다.

가장 간단한 게 Type 3입니다. DRAM 모듈을 PCIe 너머로 노출하는 디바이스로, CXL.io는 enumeration용, CXL.mem은 host의 load/store용입니다.

#Flex Bus — 한 링크에서 시분할

같은 PCIe 5.0 x16 링크에서 세 프로토콜이 동시에 흐릅니다.

1
[Flex Bus 시분할 — flit 단위]
2

3
t=0   CXL.mem M2S Req   (host → device, load addr=0x1000)
4
t=1   CXL.io  TLP       (config write)
5
t=2   CXL.cache D2H Req (device → host, snoop addr=0x2000)
6
t=3   CXL.mem S2M DRS   (device → host, data 64 B)
7
...

Arbiter가 flit별로 우선순위를 정합니다. CXL.mem과 CXL.cache가 latency-critical이라 우선됩니다.

#호스트 측에서 CXL 디바이스 인식

Linux에서 PCIe enumeration이 CXL을 보려면 *kernel 6.0+*이 필요합니다.

1
# 1. lspci로 보면 PCIe device로 보임
2
$ lspci -nn
3
5e:00.0 Memory controller [0508]: Samsung CMM-D [1234:5678]
4

5
# 2. CXL DVSEC 확인
6
$ lspci -vvv -s 5e:00.0 | grep -A 5 "Designated Vendor"
7
Capabilities: [60] Designated Vendor-Specific: Vendor=1e98 ID=0000
8
    Compute Express Link
9
    DVSEC Rev: 1, Len: 56
10

11
# 3. CXL 서브시스템에 등록 확인
12
$ ls /sys/bus/cxl/devices/
13
root0/  port0/  decoder0.0/  mem0/
14

15
# 4. 메모리 region 확인
16
$ cxl list -m mem0
17
[
18
  {
19
    "memdev":"mem0",
20
    "ram_size":274877906944,    # 256 GB
21
    "host":"0000:5e:00.0"
22
  }
23
]

PCI subsystem이 디바이스를 발견하면 CXL subsystem이 추가로 등록해 별도 sysfs entry를 만듭니다. cxl-cli가 이 정보를 노출합니다.

#임베디드에서 CXL을 만나는 자리

CXL은 데이터센터 표준으로 시작했지만 임베디드 영역에도 영향이 들어오고 있습니다.

Cortex-A 기반 SoC들이 PCIe 5.0 root port를 갖추면서 CXL 1.1 디바이스를 attach 가능해지고 있습니다.

#자주 하는 실수

⚠️ CXL 디바이스를 일반 PCIe device로 취급

1
# PCIe로만 본 enumeration
2
$ lspci | grep Samsung
3
5e:00.0 Memory controller: Samsung CMM-D
4

5
$ ls /sys/bus/pci/devices/0000:5e:00.0/
6
# → 평범한 PCIe device처럼 보이지만 CXL 영역이 안 보임

CXL 서브시스템(/sys/bus/cxl)을 반드시 확인해야 region·decoder·memdev가 보입니다. PCIe sysfs만 보면 CXL.mem capability를 놓칩니다.

⚠️ 호스트 BIOS·UEFI가 CXL 미지원

1
# dmesg
2
[    0.524] cxl_pci: device 0000:5e:00.0 — CHBS not found in CEDT

CXL은 *ACPI CEDT(CXL Early Discovery Table)*가 BIOS·UEFI에서 제공되어야 host가 인식합니다. 오래된 BIOS는 CXL 디바이스를 비활성 PCIe로 인식합니다. BIOS update가 필요합니다.

⚠️ Kernel 5.x에서 CXL 사용 시도

1
$ uname -r
2
5.15.0-...
3

4
$ ls /sys/bus/cxl
5
ls: cannot access '/sys/bus/cxl': No such file or directory

CXL subsystem은 *kernel 6.0+*에서 mainline에 들어왔습니다. 6.5+에서 region·DAX 통합이 안정됩니다. 5.15 LTS는 OEM patch 없이는 CXL을 못 봅니다.

⚠️ PCIe 4.0 슬롯에 CXL 디바이스 장착

1
# CXL 디바이스가 PCIe 4.0으로 fall-back
2
$ cxl list -m mem0
3
"link_speed":"16.0 GT/s",  # PCIe 4.0 속도
4
"cxl_mode":false           # CXL 모드 비활성

CXL은 PCIe 5.0 이상 슬롯이 필요합니다. PCIe 4.0 슬롯에서는 PCIe로만 동작하고 CXL.mem·CXL.cache는 비활성됩니다.

#정리

• CXL은 PCIe 5.0/6.0 PHY를 그대로 쓰면서 cache coherency 프로토콜을 얹은 표준입니다.
• 세 프로토콜(CXL.io·CXL.cache·CXL.mem)이 Flex Bus 위에서 시분할로 흐릅니다.
• Type 1은 cache-only, Type 2는 memory 가진 가속기, Type 3은 memory expander입니다.
• Linux *kernel 6.0+*과 BIOS의 CEDT 제공이 함께 있어야 CXL 디바이스가 호스트에 등록됩니다.
• 임베디드 SoC에도 PCIe 5.0 root port가 등장하면서 CXL 1.1 디바이스 attach가 가능해지고 있습니다.
• cxl-cli가 CXL 전용 sysfs를 노출해 region·decoder·memdev 정보를 보여줍니다.

다음 편은 Ch 150: QEMU CXL Type 3 디바이스 에뮬레이션 — 노트북에서 실 하드웨어 없이 CXL 개발 환경을 만드는 법을 정리합니다.

#관련 항목

• 11-03: PCIe BAR 매핑 분석
• 11-09: PCIe Streaming 분석
• HBM·GDDR 심화 Ch 9: CXL.mem 분석
• Embedded Performance Engineering Ch 29: CXL Interconnect 분석
• Embedded Security Ch 11: PCIe·CXL IDE 분석