Ch 14: Linux Operations — Hot-plug·AER Recovery·DPC·ARI

#한 줄 요약

“운영 환경에서 자주 만나는 hot-plug·AER recovery·DPC integration은 kernel callback chain으로 짜여 있습니다.” — pciehp driver가 surprise·orderly hot-plug 처리, AER가 detected → reset → resume의 4-callback chain, DPC가 fault containment, ARI가 single device에 256 function. POWER 환경은 EEH로 PE 격리.

Ch 7 Error Handling에서 AER·DPC 개념을 봤습니다. 이 장은 그것이 운영 중 어떻게 동작하고 hot-plug·ARI는 어떻게 통합되는지 본격적으로 분해합니다.

#Hot-plug 종류

#Slot Capabilities·Status·Control

PCIe Cap의 Slot register 3개:

pciehp가 이 register들로 hot-plug 처리. lspci -vv | grep -A 5 "SltCap"로 확인.

#Hot-plug 시퀀스 — 추가

각 단계 delay·timeout. 보통 수백 ms ~ 수 s.

#Hot-plug 시퀀스 — 제거

Surprise removal은 진행 중 I/O가 fail — driver의 unbind callback에서 graceful cleanup.

#AER Recovery Callback Chain

pci_error_handlers의 callback 순서:

Return 값:

1
static pci_ers_result_t my_error_detected(
2
    struct pci_dev *pdev,
3
    pci_channel_state_t state)
4
{
5
    struct my_dev *dev = pci_get_drvdata(pdev);
6
    drain_outstanding_io(dev);
7
    return PCI_ERS_RESULT_NEED_RESET;
8
}
9

10
static pci_ers_result_t my_slot_reset(struct pci_dev *pdev)
11
{
12
    pci_restore_state(pdev);
13
    reinit_hardware(dev);
14
    return PCI_ERS_RESULT_RECOVERED;
15
}

#DPC Integration

DPC가 AER recovery와 어떻게 결합:

drivers/pci/pcie/dpc.c가 handler. dpcgo·debug script로 manual trigger 가능.

#ARI — Alternative Routing-ID Interpretation

기존: 8-bit function (8 function/device). ARI: 전체 8-bit를 function으로 — 256 function/device:

활성화: Switch downstream port + EP 모두 ARI Capability. lspci -vv | grep "ARI Cap".

#EEH — POWER Architecture

IBM POWER의 Partitionable Endpoint (PE) 기반 격리:

x86은 AER + DPC, POWER는 EEH + AER. 동일 목적 다른 메커니즘.

#ARI vs SR-IOV 결합

NIC vendor가 ARI 활성 펌웨어 권장.

#Pciehp + SR-IOV 상호작용

#Surprise Removal

진행 중 I/O는 fail. driver가 graceful handle — outstanding submission에 error 표시.

#자주 하는 실수

#”Hot-plug가 자동 detect”

Slot Cap의 Hot-Plug Capable 비트가 firmware·platform 지원 표시. UEFI/BIOS에서 Hot-plug enable 옵션이 별도. PCIe slot이 Hot-plug 지원 hardware일 것.

#”AER recovery 자동”

pci_error_handlers 등록 안 한 driver는 recovery callback chain 진입 안 함 → device offline 또는 OS panic. production driver는 항상 등록.

#”DPC가 AER 대체”

보완. AER는 detection·logging·report, DPC는 containment. 둘 다 활성해야 완전 RAS.

#”ARI = SR-IOV”

ARI는 routing 확장, SR-IOV는 virtualization. SR-IOV with NumVFs > 7에 ARI 필요. 다른 용도는 순수 ARI만.

#”Surprise removal은 OS panic”

잘 짠 driver는 graceful handle. NVMe는 transfer 진행 중 surprise removal도 안전. driver bug가 panic의 진짜 원인.

#정리

• pciehp가 native PCIe hot-plug, Slot Capabilities·Status·Control register 활용.
• Surprise vs Orderly — 사용자 통보 여부.
• AER recovery callback chain: error_detected → mmio_enabled → slot_reset → resume.
• DPC integration — fault containment 후 AER chain 진행.
• ARI가 256 function/device — SR-IOV with NumVFs > 7 필수.
• *EEH (POWER)*가 PE frozen·unfreeze 모델.
• Surprise removal은 driver의 graceful handle에 의존.

#다음 편

Ch 15: Tools — lspci·setpci·pcimem·protocol analyzer에서 PCIe 트러블슈팅 도구를 본격적으로 분해합니다.

#관련 항목

• Ch 7: Error Handling — AER·DPC 개념
• Ch 10: Linux PCI Basics — pcie-portdrv
• Ch 12: Virtualization I — SR-IOV·ARI

#시리즈 자료 출처 안내

본 글의 1차 자료·정책은 Ch 1 footer 참고.