Kernel Debugging · 4/9

eBPF·bpftrace로 커널 디버깅 — 동적 관측의 신세대

2026년 5월 25일 · Hawk · 3분 읽기

eBPF(extended Berkeley Packet Filter)는 커널 안에서 안전하게 실행되는 바이트코드 VM입니다. 원래 패킷 필터링용이었지만 지금은 trace·observability·security의 표준 인프라. bpftrace는 그 위의 고급 언어로, ftrace의 모든 기능에 표현력과 집계 능력을 더합니다.

#eBPF 모델

eBPF execution pipeline — 사용자 코드가 BPF 바이트코드로 컴파일된 뒤 커널 verifier·JIT를 거쳐 hook에서 실행되고 결과가 perf buffer로 돌아온다

핵심: verifier가 모든 프로그램을 검증 → 검증 통과 = 커널 crash 불가. 운영 환경에 부담 없이.

#bpftrace 설치

1
# Fedora
2
$ sudo dnf install bpftrace
3

4
# Ubuntu
5
$ sudo apt install bpftrace
6

7
# Alpine
8
$ apk add bpftrace

1
$ sudo bpftrace --version
2
v0.20.0

#첫 원-라이너

1
# 모든 file open 추적
2
$ sudo bpftrace -e '
3
  tracepoint:syscalls:sys_enter_openat {
4
    printf("%s opens %s\n", comm, str(args->filename));
5
  }
6
'
7
bash opens /etc/passwd
8
sshd opens /var/log/auth.log
9
...

-e 뒤가 프로그램. probe + action 형태.

#Probe 종류

1
# Tracepoint (정적)
2
tracepoint:syscalls:sys_enter_openat
3

4
# kprobe (동적, 함수 진입)
5
kprobe:do_sys_open
6

7
# kretprobe (함수 반환)
8
kretprobe:do_sys_open
9

10
# uprobe (user-space 함수)
11
uprobe:/usr/bin/bash:readline
12

13
# uretprobe
14
uretprobe:/usr/bin/bash:readline
15

16
# USDT (user-space static)
17
usdt:/usr/sbin/mysqld:mysql:query__start
18

19
# perf software event
20
software:context-switches:1000      # 1000번에 한 번 샘플
21
software:page-faults:100
22
software:cpu-clock:1000000
23

24
# perf hardware event
25
hardware:cpu-cycles:100000
26
hardware:cache-misses:10000
27

28
# interval / profile
29
interval:s:1               # 1초마다
30
profile:hz:99              # 99Hz 모든 CPU

#변수와 컨텍스트

1
# bpftrace에서 사용 가능한 builtin 변수
2
pid                # 현재 PID
3
tid                # 현재 TID
4
uid                # 현재 UID
5
comm               # 프로세스 이름
6
nsecs              # 현재 시각 (ns)
7
cpu                # 현재 CPU
8
elapsed            # 프로그램 시작 후 ns
9
args               # tracepoint 인자 (구조체)
10
arg0, arg1, ...    # kprobe 인자 (register-based)
11
retval             # kretprobe 반환값

#출력 함수

1
printf("...")           # 즉시 출력
2
print(@hist)           # 히스토그램 출력
3
time("%H:%M:%S\n")     # 타임스탬프
4
str(ptr)               # char* → string
5
str(ptr, len)          # 길이 제한
6
ksym(addr)             # kernel symbol → name
7
usym(addr)             # user symbol → name
8
exit()                 # 프로그램 종료

#Map — 집계

1
# 누적 카운트
2
$ sudo bpftrace -e '
3
  tracepoint:syscalls:sys_enter_openat {
4
    @opens[comm] = count();
5
  }
6
'
7
^C
8

9
@opens[ssh]: 3
10
@opens[bash]: 42
11
@opens[systemd]: 156

종료 (Ctrl-C) 시 자동 출력. @map[key]로 정의.

#히스토그램

1
# read syscall 지속시간 히스토그램
2
$ sudo bpftrace -e '
3
  tracepoint:syscalls:sys_enter_read {
4
    @start[tid] = nsecs;
5
  }
6
  tracepoint:syscalls:sys_exit_read /@start[tid]/ {
7
    @dur = hist(nsecs - @start[tid]);
8
    delete(@start[tid]);
9
  }
10
'
11
^C
12

13
@dur:
14
[1K, 2K)         123 |@@                                          |
15
[2K, 4K)         456 |@@@@@@@                                     |
16
[4K, 8K)        2345 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@   |
17
[8K, 16K)        789 |@@@@@@@@@@@@                                |
18
[16K, 32K)        12 |                                            |

log2 히스토그램. lhist(val, min, max, step)로 선형 히스토그램.

#자주 쓰는 한 줄들

1
# 새 프로세스
2
$ sudo bpftrace -e '
3
  tracepoint:syscalls:sys_enter_execve {
4
    printf("%s -> %s\n", comm, str(args->filename));
5
  }
6
'
7

8
# 죽은 프로세스
9
$ sudo bpftrace -e '
10
  tracepoint:syscalls:sys_enter_exit_group {
11
    printf("%-16s pid=%d exit=%d\n", comm, pid, args->error_code);
12
  }
13
'
14

15
# disk I/O 크기
16
$ sudo bpftrace -e '
17
  kprobe:vfs_read {
18
    @reads[comm] = sum(arg2);
19
  }
20
'
21

22
# TCP connect 추적
23
$ sudo bpftrace -e '
24
  kprobe:tcp_connect {
25
    printf("%s connect\n", comm);
26
  }
27
'
28

29
# slow syscall (10ms+)
30
$ sudo bpftrace -e '
31
  tracepoint:raw_syscalls:sys_enter { @s[tid] = nsecs; }
32
  tracepoint:raw_syscalls:sys_exit /@s[tid]/ {
33
    $d = nsecs - @s[tid];
34
    if ($d > 10*1000*1000) {
35
      printf("%s slow syscall: %d ms\n", comm, $d / 1000000);
36
    }
37
    delete(@s[tid]);
38
  }
39
'
40

41
# 콜스택 샘플 (CPU profiler)
42
$ sudo bpftrace -e '
43
  profile:hz:99 {
44
    @[kstack] = count();
45
  }
46
'

#kstack / ustack — 콜스택 출력

1
# kernel stack
2
$ sudo bpftrace -e '
3
  kprobe:vfs_read {
4
    @[kstack] = count();
5
  }
6
'
7

8
@[
9
    vfs_read+1
10
    ksys_read+103
11
    __x64_sys_read+22
12
    do_syscall_64+90
13
    entry_SYSCALL_64_after_hwframe+99
14
]: 1234

ustack은 user-space. ustack(perf)는 perf-style.

#BCC — Python으로 더 복잡한 프로그램

BCC (BPF Compiler Collection) — eBPF C 프로그램 + Python frontend. bpftrace보다 훨씬 복잡한 로직 가능.

1
$ sudo dnf install bcc-tools
2
$ ls /usr/share/bcc/tools/ | head -10
3
argdist  bashreadline  biolatency  biosnoop  biotop  bitesize  capable
4
cpudist  cpuunclaimed  dbslower  dbstat  deadlock  ...

수십 개의 완성된 도구. 직접 짤 필요 없음.

1
# block device I/O latency
2
$ sudo /usr/share/bcc/tools/biolatency 1 10
3
$ sudo /usr/share/bcc/tools/biosnoop          # 각 I/O 추적
4

5
# CPU profiling
6
$ sudo /usr/share/bcc/tools/profile -F 99 30  # 99Hz 30초
7

8
# file open
9
$ sudo /usr/share/bcc/tools/opensnoop
10

11
# TCP 추적
12
$ sudo /usr/share/bcc/tools/tcpconnect
13
$ sudo /usr/share/bcc/tools/tcpaccept
14
$ sudo /usr/share/bcc/tools/tcpretrans
15
$ sudo /usr/share/bcc/tools/tcplife
16

17
# 메모리 누수
18
$ sudo /usr/share/bcc/tools/memleak -p <pid>

Brendan Gregg의 BCC 사례가 표준 참고.

#자체 BCC 도구

1
#!/usr/bin/env python3
2
from bcc import BPF
3

4
prog = """
5
#include <uapi/linux/ptrace.h>
6

7
BPF_HASH(start, u32);
8
BPF_HISTOGRAM(dist);
9

10
int trace_enter(struct pt_regs *ctx) {
11
    u32 pid = bpf_get_current_pid_tgid();
12
    u64 ts = bpf_ktime_get_ns();
13
    start.update(&pid, &ts);
14
    return 0;
15
}
16

17
int trace_return(struct pt_regs *ctx) {
18
    u32 pid = bpf_get_current_pid_tgid();
19
    u64 *tsp = start.lookup(&pid);
20
    if (tsp) {
21
        u64 delta = bpf_ktime_get_ns() - *tsp;
22
        dist.increment(bpf_log2l(delta / 1000));
23
        start.delete(&pid);
24
    }
25
    return 0;
26
}
27
"""
28

29
b = BPF(text=prog)
30
b.attach_kprobe(event="vfs_read", fn_name="trace_enter")
31
b.attach_kretprobe(event="vfs_read", fn_name="trace_return")
32

33
print("Tracing vfs_read... Ctrl-C to end")
34
try:
35
    b.trace_print()
36
except KeyboardInterrupt:
37
    pass
38

39
print("\nvfs_read latency (us):")
40
b["dist"].print_log2_hist("us")

bpftrace 한 줄로 가능하지만 복잡한 자료구조·로직은 BCC.

#libbpf-tools — 새 표준

BCC의 후속 — BPF CO-RE (Compile Once Run Everywhere). 컴파일 시 vmlinux.h 사용 → 한 binary가 여러 커널 버전에서 동작.

1
$ git clone https://github.com/iovisor/bcc.git
2
$ cd bcc/libbpf-tools
3
$ make
4
$ ./opensnoop      # BCC 버전과 호환되지만 훨씬 가벼움

대규모 운영에선 libbpf-tools가 표준. BCC는 Python 의존이라 매번 컴파일 → CO-RE는 정적 바이너리.

#eBPF + 커널 추적의 강력함

#사례 1 — 누가 어떤 파일에 쓰나

1
$ sudo bpftrace -e '
2
  tracepoint:syscalls:sys_enter_write {
3
    @bytes[comm, args->fd] = sum(args->count);
4
  }
5
' | head

#사례 2 — page fault 콜스택

1
$ sudo bpftrace -e '
2
  software:page-faults:1 /comm == "myprog"/ {
3
    @[ustack] = count();
4
  }
5
'

#사례 3 — 특정 함수의 인자 분포

1
$ sudo bpftrace -e '
2
  kprobe:__kmalloc {
3
    @sizes = hist(arg0);
4
  }
5
'

대부분의 프로덕션 진단에 충분.

#안전성 — Verifier

eBPF의 핵심 차별점. 모든 프로그램이 커널에 로드되기 전 정적 검증.

검증 내용:

무한 루프 금지 (bounded loops만, 또는 BPF_LOOP).
메모리 접근이 항상 valid pointer.
스택 사용량 ≤ 512 bytes.
명령 수 ≤ 1M (kernel 5.2+).
helper 함수 인자 타입 일치.

검증 실패 시 load 거부. 즉 crash가 불가능.

1
$ sudo bpftrace -e 'kprobe:do_sys_open { while (1) { } }'
2
ERROR: Unbounded loop detected

#부하

eBPF 자체 비용은 매우 작음 — 단순 카운터는 수십 ns. ftrace보다 살짝 무겁지만 expressive. 일반 운영에 상시 켜 둘 수도 있음.

1
# 시스템 전체 syscall 카운트 (지속 실행 가능)
2
$ sudo bpftrace -e '
3
  tracepoint:raw_syscalls:sys_enter {
4
    @[comm, args->id] = count();
5
  }
6
  interval:s:10 {
7
    print(@);
8
    clear(@);
9
  }
10
'

#자주 만나는 문제

증상	원인 / 해법
`Permission denied`	root 필요. 또는 `CAP_BPF`, `CAP_PERFMON`
`Verifier denied`	메모리 안전 위반. 코드 단순화
함수 없음	inline 되었거나 다른 이름. `bpftrace -l 'kprobe:pattern'`로 검색
`Unable to attach probe`	모듈 미로드 또는 권한
결과 손실 (`LOST x events`)	perf buffer 크기 `-B` 늘리기
`BPF program load failed`	커널 버전 낮음. libbpf-tools CO-RE 권장

#정리

eBPF = 커널 안 안전한 바이트코드 VM. trace·observability·security.
bpftrace가 고급 언어 — ftrace보다 표현력 ↑.
probe: tracepoint / kprobe / uprobe / USDT / interval.
map으로 집계, hist로 히스토그램.
BCC = Python+C frontend, libbpf-tools = CO-RE static.
verifier가 crash 불가능 보장.
일반 운영에 상시 켜 둘 수 있는 정도의 부하.

#다음 장 예고

Ch 5 — kdb / kgdb. 실시간 인터랙티브 커널 디버깅 (별 머신 또는 시리얼 필요).

eBPF·bpftrace로 커널 디버깅 — 동적 관측의 신세대

#eBPF 모델

#bpftrace 설치

#첫 원-라이너

#Probe 종류

#변수와 컨텍스트

#출력 함수

#Map — 집계

#히스토그램

#자주 쓰는 한 줄들

#kstack / ustack — 콜스택 출력

#BCC — Python으로 더 복잡한 프로그램

#자체 BCC 도구

#libbpf-tools — 새 표준

#eBPF + 커널 추적의 강력함

#사례 1 — 누가 어떤 파일에 쓰나

#사례 2 — page fault 콜스택

#사례 3 — 특정 함수의 인자 분포

#안전성 — Verifier

#부하

#자주 만나는 문제

#정리

#다음 장 예고

#관련 항목

Kernel Debugging · 4 of 9

관련 글

CXL 커널 드라이버 디버깅 — ftrace·bpftrace·drgn 활용

Kernel Panic·Oops 메시지 해석 — Decoder Ring 만들기

crash와 drgn 분석 — vmcore에서 커널 상태 복원하기

이 글을 참조하는 글 (5)