Ch 7: Error Handling — Correctable·Uncorrectable·AER·DPC

#한 줄 요약

**“PCIe 에러는 Correctable (CE)·Uncorrectable Non-Fatal (UE-NF)·Uncorrectable Fatal (UE-F)의 3-tier 분류입니다.” — Physical·DLL·TL 각 계층이 자기 단계에서 정정·검출. AER capability가 상세 로깅·report, *DPC (Downstream Port Containment)*가 switch 단에서 fault 격리. Linux는 pci_error_handlers callback으로 driver-level 복구 지원.

Ch 2 TLP·Ch 8 DLL에서 ECRC·LCRC·ACK/NAK가 각 계층 무결성 보장임을 봤습니다. 이 장은 그 보호망을 넘은 에러를 어떻게 분류·report·복구하는지 본격적으로 분해합니다.

#Error 3-Tier 분류

Critical workload (RAS-sensitive)은 모든 tier 로깅, server 환경은 CE 누적도 health monitoring.

#계층별 에러

각 계층이 자기 단계에서 detect·report. 상위 계층은 모름.

#AER — Advanced Error Reporting

*AER (Extended Cap ID 0x0001)*가 상세 에러 정보:

lspci -vv | grep -A 20 "Advanced Error Reporting"로 device의 AER 상태 dump.

#ERR Messages

UE/CE 발생 시 EP가 Message TLP로 RC에 report:

Switch는 내려온 ERR Message를 RC로 forward. RC가 AER root status에 record + MSI/MSI-X로 OS interrupt.

#DPC — Downstream Port Containment

*DPC (Extended Cap ID 0x001D)*는 fault 격리 메커니즘:

DPC 없으면 fault가 propagate해 다른 device·system 영향. enterprise server·NVMe·CXL에 필수.

#Linux pci_error_handlers

driver가 복구 callback 등록:

1
static const struct pci_error_handlers my_err_handler = {
2
    .error_detected = my_error_detected,
3
    .mmio_enabled   = my_mmio_enabled,
4
    .slot_reset     = my_slot_reset,
5
    .resume         = my_resume,
6
};
7

8
static struct pci_driver my_driver = {
9
    .name        = "mydrv",
10
    .id_table    = my_id_table,
11
    .probe       = my_probe,
12
    .err_handler = &my_err_handler,
13
};

#Poisoned TLP

Header 손상 또는 명시적 poison된 TLP는 EP가 special bit set:

ECC memory의 poison bit과 유사 — bad data를 표시해서 downstream이 사용 회피.

#Reset 종류

UE Fatal 후 복구는 다양한 reset 옵션:

echo 1 > /sys/bus/pci/devices/.../reset이 FLR 또는 secondary bus reset. VFIO pass-through 시 필수.

#Replay·Replay Timer

DLL 단계에서 NAK 받으면 replay buffer로 재전송. replay timer 만료 시:

*Frequent CE (Replay)*는 physical layer 문제 신호 — cable·connector·signal integrity 검토 필요.

#EEH — Enhanced Error Handling (POWER)

IBM POWER 아키텍처의 추가 mechanism. Linux 일반은 AER + DPC만, POWER는 EEH로 PE (Partitionable Endpoint) 격리. enterprise POWER server에서.

#자주 하는 실수

#”CE는 무시해도 된다”

개별 CE는 무시 OK. Frequent CE 누적은 physical layer 임박 fault 신호. server monitoring에서 CE rate threshold alarm 필수.

#”AER 활성하면 자동 복구”

AER는 report만. 복구는 driver의 pci_error_handlers callback. driver 미지원 device는 fatal 시 OS panic 가능.

#”DPC가 NIC도 reset한다”

DPC는 downstream port의 link 차단만. NIC 자체 reset은 driver의 slot_reset callback. DPC가 containment이고 recovery는 별도.

#”FLR은 모든 device 지원”

FLR Capability bit 확인 필요. legacy device는 FLR 미지원 — secondary bus reset만. FLR 미지원 device가 같은 bus면 모두 reset 영향.

#”Replay Number Rollover면 끝”

UE에 진입하지만 driver·OS가 reset으로 복구 가능. 다만 link instability가 근본 원인이라 물리적 해결 (cable·card 교체) 권장.

#정리

• PCIe error는 CE·UE-NF·UE-F 3-tier. 각 계층 (Physical·DLL·TL)이 detect·report.
• *AER (0x0001)*가 상세 로깅·classification·Header Log.
• ERR_COR·ERR_NONFATAL·ERR_FATAL Message가 EP → RC.
• *DPC (0x001D)*가 fault 격리 — switch가 link 차단.
• Linux pci_error_handlers가 driver-level 복구 callback.
• Poisoned TLP가 bad data 전파 차단.
• Reset: FLR (function)·Hot Reset·Secondary Bus·PERST#.
• Frequent CE가 physical 임박 fault 신호.

#다음 편

Ch 8: Data Link Layer — DLLP·ACK/NAK·Flow Control·FLIT Mode에서 TLP 위에 신뢰성·credit-based flow control을 얹는 DLL과 Gen 6 FLIT mode의 큰 변화를 본격적으로 분해합니다.

#관련 항목

• Ch 2: TLP — ECRC·Poisoned TLP
• Ch 8: DLLP — Replay·NAK
• Ch 14: Linux Operations (Hot-plug·AER·DPC)
• Ch 16: Troubleshooting — error 시나리오

#시리즈 자료 출처 안내

본 글의 1차 자료·정책은 Ch 1 footer 참고.