Ch 15: Tools — lspci·setpci·pcimem·protocol analyzer

#한 줄 요약

“PCIe 트러블슈팅은 lspci로 topology·capability dump → setpci로 register read·write → pcimem으로 BAR 직접 access → dmesg·debugfs로 kernel state → 마지막에 protocol analyzer의 흐름입니다.” — 대부분 문제는 lspci -vv + dmesg로 해결, 드물게 setpci의 raw write가 필요, 진짜 link 문제는 protocol analyzer hardware.

Ch 1~14에서 PCIe의 동작 원리를 봤습니다. 이 장은 그것을 진단·검증할 도구를 본격적으로 분해합니다.

#lspci — 1차 진단 도구

pciutils 패키지에 포함. PCIe device 정보 dump:

#lspci -vv 출력 해석

1
01:00.0 Network controller [0280]: Intel Corp. 82599EB ...
2
        Subsystem: Intel Corp. ...
3
        Flags: bus master, fast devsel, latency 0, IRQ 50
4
        Memory at f7800000 (64-bit, prefetchable) [size=4M]
5
        Capabilities: [40] Power Management ...
6
        Capabilities: [50] MSI: Enable+ Count=1/1 ...
7
        Capabilities: [60] MSI-X: Enable+ Count=64 ...
8
        Capabilities: [a0] Express Endpoint, ...
9
                LnkCap: Port #0, Speed 8GT/s, Width x8 ...
10
                LnkSta: Speed 8GT/s (ok), Width x8 (ok)
11
                DevCtl: ... MaxPayload 256 ...
12
                DevCtl2: ... LTR+ ...
13
        Capabilities: [100] AER ...
14
        Capabilities: [140] SR-IOV ... NumVF 0
15
        Kernel driver in use: ixgbe

핵심:

• LnkCap vs LnkSta — 광고와 현재 일치 여부
• MaxPayload·MaxReadRequest — performance tuning
• AER 상태·카운터

#setpci — Raw Register Access

직접 Configuration Space write. 위험!

1
# bus master + memory space enable
2
setpci -s 01:00.0 COMMAND=0x06
3

4
# MaxPayload 256 byte set (Device Control)
5
setpci -s 01:00.0 CAP_EXP+8.W=0x2810
6

7
# AER capability enable
8
setpci -s 01:00.0 ECAP_AER+18.L=0x00000007

driver가 인지 못 하는 변경 — race 가능. 디버깅·연구용.

#pcimem — BAR Direct R/W

pcimem 도구 (github.com/billfarrow/pcimem):

1
# BAR0의 offset 0x100 32-bit read
2
pcimem /sys/bus/pci/devices/0000:01:00.0/resource0 0x100 w
3

4
# write
5
pcimem /sys/bus/pci/devices/0000:01:00.0/resource0 0x100 w 0xdeadbeef

driver 없이도 BAR access. register layout 검증·하드웨어 brings up.

#/sys/bus/pci/devices//

1
# config space dump
2
xxd /sys/bus/pci/devices/0000:01:00.0/config | head
3

4
# FLR
5
echo 1 > /sys/bus/pci/devices/0000:01:00.0/reset
6

7
# runtime PM
8
echo auto > /sys/bus/pci/devices/0000:01:00.0/power/control

#debugfs

/sys/kernel/debug/pci/에 디버깅 인터페이스:

mount -t debugfs none /sys/kernel/debug 필요.

#dmesg — Kernel Log

1
dmesg | grep -iE "pci|pcie|aer" | tail -50

첫 line부터 timing·sequence 추적. boot 직후 init·error 동시 추적.

#aer-inject

drivers/pci/pcie/aer_inject.c로 AER 에러 인위 발생. driver recovery callback 검증용:

1
# 모듈 로드
2
modprobe aer_inject
3

4
# 가짜 CE 발생
5
echo "0000:01:00.0 cor=000001" > /sys/kernel/debug/pci/aer_inject
6

7
# driver의 error_detected callback 확인
8
dmesg | grep "error_detected"

#dpc-test

drivers/pci/pcie/dpc-test.c로 DPC 동작 검증. Switch port의 DPC trigger test.

#Protocol Analyzer — Hardware

Cost 수천만 원. 제조사·card vendor에서 진짜 link 문제 분석에 사용.

#NVMe·NIC 특화 도구

#트러블슈팅 결정 트리 (간략)

자세한 시나리오북은 Ch 16 Troubleshooting.

#자주 하는 실수

#”setpci로 BAR 변경”

driver가 동작 중이면 driver 입장의 BAR이 invalid. device hang. unbind 후 setpci, 또는 manual driver만.

#”lspci -vv가 항상 동작”

kernel access 필요. VFIO-bound device는 userspace 소유라 상세 정보 제한. unbind 후 다시.

#”AER counter 0이면 정상”

Mask로 가려진 경우도. lspci -vv | grep "AER.*MaskSta" 확인 필요.

#”Protocol Analyzer가 모든 문제 해결”

Hardware 자체의 비결정적 fault는 analyzer로도 reproduction 어려움. 통계적 RAS 누적 → analyzer trigger가 일반 워크플로.

#”debugfs는 production에 안전”

Read는 OK, write·trigger는 production 위험. staging·QA에서만 trigger.

#정리

• lspci -vv가 PCIe 진단의 1순위. topology·capability·LnkCap/LnkSta 모두 dump.
• setpci는 raw register access — driver 무관하게 변경 가능, 위험.
• pcimem이 BAR 직접 R/W. driver brings up·register 검증.
• sysfs (/sys/bus/pci/)·debugfs가 kernel state·counter·reset trigger.
• dmesg에서 boot·link·error timing 추적.
• aer-inject·dpc-test가 driver recovery 검증.
• Protocol analyzer는 진짜 link 문제에. cost 큼.

#다음 편

Ch 16: Troubleshooting — 시나리오북에서 실무 자주 만나는 PCIe 문제 케이스북과 진단 decision tree를 본격적으로 분해합니다.

#관련 항목

• Ch 3: Configuration Space — lspci 출력 영역
• Ch 7: Error Handling — AER counter 의미
• Ch 16: Troubleshooting
• Ch 18: Register Maps — setpci 비트 reference

#시리즈 자료 출처 안내

본 글의 1차 자료·정책은 Ch 1 footer 참고.