Ch 12: Virtualization I — Pass-through·SR-IOV·VFIO·DPDK·SPDK

#한 줄 요약

“PCIe pass-through는 guest VM·userspace process에 물리 device를 직접 owner로 제공하는 메커니즘입니다.” — SR-IOV가 PF 1개를 N개 VF로 분할하는 hardware partition, VFIO가 Linux kernel의 userspace DMA-safe interface, DPDK·SPDK가 그 위에 응용. ACS가 IOMMU 그룹 분리의 핵심, FLR가 device 격리 reset.

Ch 11 IOMMU에서 IOMMU group·ATS·PRI·PASID를 봤습니다. 이 장은 그 토대 위 hardware virtualization을 본격적으로 분해합니다.

#SR-IOV — PF·VF 모델

*PF (Physical Function)*가 *N개 VF (Virtual Function)*를 광고:

활성화:

1
# PF에 8개 VF 활성
2
echo 8 > /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs
3

4
# VF가 새 BDF로 등록
5
ls /sys/bus/pci/devices/ | grep "01:00"
6
0000:01:00.0  # PF
7
0000:01:10.0  # VF 0
8
0000:01:10.1  # VF 1
9
...

VF는 별도 driver 가능. Mellanox NIC·Intel 100 GbE가 SR-IOV 채택해 one NIC이 64+ VF로 분할.

#VF Capability·Restrictions

VF가 light-weight인 만큼 대부분 기능을 PF에 의존. NIC driver는 PF driver + VF driver 별도.

#VFIO — Userspace PCI Driver Framework

kernel이 device를 userspace에 넘기는 안전한 방법. 4 계층:

1
// Userspace에서 (간략화)
2
int container = open("/dev/vfio/vfio", O_RDWR);
3
int group = open("/dev/vfio/15", O_RDWR);
4
ioctl(group, VFIO_GROUP_SET_CONTAINER, &container);
5
ioctl(container, VFIO_SET_IOMMU, VFIO_TYPE1_IOMMU);
6
int device = ioctl(group, VFIO_GROUP_GET_DEVICE_FD, name);

이후 device fd로 BAR mmap·IRQ event·DMA buffer 등록. kernel은 IOMMU·interrupt remapping만 보호, 나머지는 userspace 자유.

#vfio-pci → QEMU 흐름

1
QEMU process
2
  └─ VFIO API 호출
3
        ├─ container (guest address space)
4
        ├─ group (IOMMU group)
5
        └─ device fd (실 PCIe device)
6
              ↓
7
        Kernel VFIO driver
8
              ↓
9
        IOMMU (mapping·isolation)
10
              ↓
11
        Real PCIe device

1
# QEMU
2
qemu-system-x86_64 \
3
  -device vfio-pci,host=01:00.0 \
4
  ...
5

6
# Guest 안에서 그 device가 *그대로* 보임

GPU·NIC pass-through가 흔한 사용. Guest driver가 직접 device 제어.

#ACS — Access Control Services

IOMMU 그룹 분리 가능성 결정:

Switch downstream port가 ACS 활성해야 그 port에 매달린 device가 단독 group. ACS 미지원 switch면 모든 downstream device가 한 group.

lspci -vvv | grep ACS로 확인. ACS override patch로 강제 분리 가능하지만 security 약화.

#DPDK — Userspace NIC Driver

*Poll Mode Driver (PMD)*가 kernel network stack 우회:

1
# NIC을 vfio-pci binding
2
dpdk-devbind.py --bind=vfio-pci 01:00.0
3

4
# hugepage 예약
5
echo 4096 > /proc/sys/vm/nr_hugepages
6

7
# DPDK app 실행 (lcore 4개)
8
./l3fwd -l 0-3 -n 4 -- -p 0x3 --config="(0,0,0),(1,0,1)"

Telco vRAN·UPF·Open vSwitch-DPDK·SmartNIC firmware가 DPDK 토대.

#SPDK — Userspace NVMe Driver

같은 패턴을 NVMe SSD에 적용:

NVMe AFA (Lightbits·Pavilion·NetApp) target이 SPDK 기반. latency·throughput에서 kernel block stack 대비 큰 우위.

#VFIO와 DPDK/SPDK 관계

VFIO는 제공만, 어떻게 쓸지는 userspace. *vfio-user (out-of-process)*도 SPDK가 활발 채택.

#Mediated Devices (mdev)

soft partition — hardware SR-IOV 없을 때 driver가 software로 분할:

hardware partition (SR-IOV) vs software partition (mdev). mdev는 isolation 약함, flexibility 높음.

#Reset 종류 (VFIO 시점)

VFIO는 device를 guest에 넘기기 전 reset — 이전 상태 영향 제거. FLR 미지원 device는 secondary bus reset 필요해 같은 bus 다른 device 영향.

#자주 하는 실수

#”SR-IOV NumVFs은 자유”

PF의 펌웨어 max VF까지만. 데이터시트 확인 필요. NumVFs 변경 후 VF 등록 실패면 resource 부족 또는 펌웨어 한계.

#”VFIO bind = userspace 안전”

반드시 IOMMU 활성 + ACS 적절 + group 분리 필요. 미흡하면 user space process가 임의 메모리 corruption 가능. vfio_iommu_type1_dma_map에서 권한 검증.

#”DPDK 쓰면 모든 NIC 빨라진다”

PMD·driver 지원 필수. 지원 안 되는 NIC는 DPDK에서 작동 안 함. NIC capability + driver 매칭 확인.

#”ACS override patch 안전”

같은 group의 device들 사이 cross-DMA 가능. security 명백히 약화. production에서 피해야 함. home lab GPU pass-through에는 흔히 사용.

#”VF는 PF와 독립”

VF의 대부분 설정·reset·hot-plug는 PF 관여. PF 비활성하면 모든 VF 동작 안 함.

#정리

• SR-IOV가 PF 1개 → N개 VF의 hardware partition.
• VF는 light-weight. PF가 대부분 control.
• VFIO가 kernel userspace DMA-safe interface. 4 계층 (container·group·device·vfio-pci).
• ACS가 IOMMU 그룹 분리. switch downstream port의 ACS 활성이 핵심.
• DPDK·SPDK가 VFIO 위 userspace driver framework. PMD·hugepage·lcore.
• *Mediated Devices (mdev)*는 software partition (vGPU 등).
• FLR·Secondary Bus·Hot Reset이 VFIO reset 옵션.

#다음 편

Ch 13: Virtualization II — vIOMMU·Scalable IOV·VirtIO·IDE·TDISP에서 guest 측 vIOMMU·dynamic partition (S-IOV)·VirtIO·Confidential I/O를 본격적으로 분해합니다.

#관련 항목

• Ch 4: BAR & MMIO — VF BAR stride
• Ch 11: DMA·IOMMU — IOMMU group·ATS
• Ch 13: Virtualization II

#시리즈 자료 출처 안내

본 글의 1차 자료·정책은 Ch 1 footer 참고.