Ch 5: Interrupts — INTx·MSI·MSI-X·Interrupt Remapping

#한 줄 요약

**“PCIe 인터럽트는 INTx (legacy, virtual wire) → MSI (32 vector) → MSI-X (2048 vector)로 진화했습니다.” — INTx는 Assert/Deassert Message로 PCI 4-wire를 simulate. MSI는 single address+data write, MSI-X는 per-vector table + Pending Bit Array. IOMMU Interrupt Remapping이 virtualization 시 redirection. NVMe·100 GbE는 MSI-X 거의 필수.

Ch 2 TLP에서 Message TLP가 implicit routing임을 봤습니다. INTx Message가 그 한 종류. 이 장은 3가지 인터럽트 메커니즘과 driver·OS 통합을 본격적으로 분해합니다.

#INTx — Legacy Virtual Wire

원본 PCI는 *4 wire (INTA·INTB·INTC·INTD)*로 인터럽트. PCIe는 wire 없음 → INTx Message로 simulate:

level-triggered semantics. shared interrupt 가능 — 여러 device가 같은 INTA 사용 시 driver가 polling으로 source 식별. overhead 큼.

UEFI BIOS·legacy OS 호환용. 현대 driver는 MSI/MSI-X 우선.

#MSI — Message Signaled Interrupt

*MSI Capability (ID 0x05)*가 interrupt를 memory write로 전달:

32 vector 최대. 연속된 vector만 가능 — base vector + N. *Mask는 전체 또는 per-vector.

흐름: device가 Message Address에 Message Data를 memory write → CPU APIC가 받음 → 해당 vector의 ISR 호출.

#MSI-X — Per-vector Independent

MSI 제한 (32 vector·연속만)을 해결한 게 MSI-X (ID 0x11):

Table·PBA는 별도 BAR 영역에 위치. table size = vector 수 × 16 byte.

NIC·NVMe는 queue별 vector로 core당 1 vector. 100 GbE에 32 core면 32 vector. parallel ISR로 throughput 극대.

#MSI-X Table Entry — 16 byte

per-vector mask bit가 vector별 independent disable 가능. 부분 service에 유용 (예: 부하 높은 vector만 disable).

#Interrupt 흐름 — Device에서 ISR까지

MSI-X 기준:

#Interrupt Remapping — IOMMU

가상화 환경에서 device가 보낸 interrupt를 어느 vCPU로 전달할지 결정:

가상화 안 쓸 때도 MSI-X 같은 source는 IOMMU IR이 default. security·vCPU 분리 양쪽 목적.

#Linux PCI IRQ API

대표 API:

1
// Driver 예
2
int nvecs = pci_alloc_irq_vectors(pdev, 1, 32,
3
                                  PCI_IRQ_MSIX | PCI_IRQ_MSI);
4
for (int i = 0; i < nvecs; i++) {
5
    int irq = pci_irq_vector(pdev, i);
6
    request_irq(irq, my_isr, 0, "mydev", queue[i]);
7
}

PCI_IRQ_MSIX가 우선, 실패하면 MSI fallback, 그것도 실패하면 INTx.

#CPU 분산 — IRQ Affinity

여러 vector를 여러 core에 분산하는 게 throughput의 핵심:

NVMe driver는 queue 수 = vector 수 = core 수로 1

#자주 하는 실수

#”INTx가 PCIe에도 있다”

PCIe는 물리 wire 없음. INTx는 Message로 simulate. 4 wire를 logical하게 만들어 legacy compatibility 제공. 새 driver는 INTx 회피.

#”MSI-X면 무조건 빠르다”

Vector·queue·core 분산 안 하면 효과 적음. MSI-X 16 vector 받았는데 모든 ISR이 core 0만 처리면 MSI보다 못한 throughput. affinity 설정 필수.

#”Mask와 Disable는 같다”

Mask는 vector pending만 setting, unmask 시 pending 처리. Disable은 완전 차단. NVMe는 runtime mask/unmask로 coalescing 유사 효과.

#”Per-vector mask는 항상 있다”

MSI capability에 per-vector mask는 optional. Multiple Message Capable가 지원 여부 표시. MSI-X는 항상 per-vector mask.

#”interrupt remapping은 가상화 전용”

비가상화 환경도 기본 활성 — security (rogue device가 임의 vector send 방지). intremap=off는 security 약화.

#정리

• INTx는 legacy 4-wire를 Message로 simulate. shared·level-triggered, overhead 큼.
• MSI는 memory write로 interrupt. 32 vector·연속만. Per-vector mask는 optional.
• MSI-X는 2048 vector·불연속 가능·per-vector independent. NIC·NVMe 표준.
• MSI-X Table·PBA는 별도 BAR 영역. table entry 16 byte.
• IOMMU Interrupt Remapping이 redirection·security.
• Linux API: pci_alloc_irq_vectors → pci_irq_vector → request_irq.
• IRQ affinity가 throughput의 핵심 — queue·vector·core 1
  binding.

#다음 편

Ch 6: Power Management — D-state·L-state·ASPM에서 PCIe의 device·link 전력 상태와 *active state PM (ASPM)*을 본격적으로 분해합니다.

#관련 항목

• Ch 3: Configuration Space — MSI·MSI-X Capability 위치
• Ch 4: BAR & MMIO — MSI-X Table BAR
• Ch 11: DMA·IOMMU — Interrupt Remapping
• Ch 10: Linux PCI Basics — pci_alloc_irq_vectors

#시리즈 자료 출처 안내

본 글의 1차 자료·정책은 Ch 1 footer 참고.