본문으로 건너뛰기
Modern Embedded Recipes · 119/152

타이밍·Race 진단 — Heisenbug 잡는 법

· Hawk · 5분 읽기

#한 줄 요약

“Race condition은 관찰 자체가 race를 사라지게 만드는 가장 까다로운 버그입니다.” Printf 대신 GPIO pulse·SWO·DWT cycle count로 간섭 없이 관찰해야 잡힙니다.

#어떤 상황에서 쓰나

“가끔 buffer가 깨져요.” “ISR과 main이 같은 변수를 만지는데 1000번에 한 번 이상 동작합니다.” “printf 한 줄을 추가했더니 문제가 사라졌어요.” 마지막 줄이 가장 큰 단서입니다. Race는 관찰자가 timing을 바꾸면 사라집니다. Heisenbug라고 부릅니다.

#사례 — “printf 추가했더니 사라졌어요”

UART RX ring buffer에서 가끔 문자 한 글자가 사라지는 문제가 있었습니다.

volatile uint8_t rx_buf[256];
volatile uint16_t head, tail;
void USART1_IRQHandler(void) {
uint8_t b = USART1->DR;
rx_buf[head] = b;
head = (head + 1) & 0xFF; /* head 갱신 */
}
uint8_t ring_pop(void) {
while (head == tail) ; /* wait for data */
uint8_t b = rx_buf[tail];
tail = (tail + 1) & 0xFF;
return b;
}

문자가 안 들어오면 main이 busy wait. 디버깅하려고 다음을 추가:

uint8_t ring_pop(void) {
while (head == tail) ;
printf("h=%d t=%d\n", head, tail); /* 디버깅 추가 */
/* ... */
}

문제가 사라집니다. Printf가 몇 µs 걸리므로 race window가 닫혔습니다.

#가설 정리

[가설 A] head 갱신이 atomic하지 않음
→ STM32 16-bit aligned uint16_t write는 atomic. 기각.
[가설 B] tail update 시점에 ISR이 끼어 ring 깨짐
→ 가능. 측정 필요.
[가설 C] DMA가 ring을 같이 쓰는데 sync 안 됨
→ 코드 상 DMA 없음. 기각.

가설 B를 측정합니다.

#측정 1 — GPIO pulse로 ISR과 main 가시화

void USART1_IRQHandler(void) {
GPIOC->BSRR = GPIO_PIN_0; /* PC0 = ISR */
uint8_t b = USART1->DR;
rx_buf[head] = b;
head = (head + 1) & 0xFF;
GPIOC->BSRR = GPIO_PIN_0 << 16;
}
uint8_t ring_pop(void) {
GPIOC->BSRR = GPIO_PIN_1; /* PC1 = main critical */
while (head == tail) ;
uint8_t b = rx_buf[tail];
tail = (tail + 1) & 0xFF;
GPIOC->BSRR = GPIO_PIN_1 << 16;
return b;
}

Logic analyzer로 PC0·PC1을 동시에 잡으면 ISR이 main critical 한가운데 떨어지는 정확한 순간이 보입니다.

#측정 2 — DWT cycle counter

uint32_t cyc_isr_in, cyc_isr_out;
void USART1_IRQHandler(void) {
cyc_isr_in = DWT->CYCCNT;
/* ... */
cyc_isr_out = DWT->CYCCNT;
}
void show_race(void) {
uint32_t isr_start_offset = cyc_isr_in - cyc_main_section_start;
printf("isr at +%lu cyc (in main section)\n", isr_start_offset);
}

CYCCNT는 CPU 사이클을 직접 잰다. 측정 자체의 부담이 한 명령만 듭니다.

#측정 3 — SWO / RTT trace

ITM_SendChar('I'); /* ISR enter */
/* ... */
ITM_SendChar('M'); /* main critical */

SWO는 ITM stimulus port로 byte를 backround에서 송신합니다. CPU 부담이 거의 0이라 race가 그대로 보입니다. SEGGER RTT는 공유 메모리 기반이라 더 빠릅니다.

#원인 — Compound update가 atomic하지 않음

head = (head + 1) & 0xFF;

head읽고, +1하고, 다시 쓰는 세 단계. ISR이 read와 write 사이에 끼면 안 됩니다.

다행히 write 자체는 atomic이지만 read-modify-write는 아닙니다. 그러나 이 사례에서는 head는 오직 ISR만 갱신하므로 그 자체는 race가 아닙니다.

진짜 원인은 다른 곳에 있었습니다. head == tail 비교 시.

while (head == tail) ; /* head 갱신 보기 위해 volatile 필요 */

headvolatile이 아니면 컴파일러가 head한 번만 읽고 캐시합니다. ISR이 head를 갱신해도 main은 무한 루프. 그러나 최적화 off 또는 printf로 인한 reload가 우연히 race window를 깨뜨렸습니다.

수정 → headvolatile로 선언 + memory barrier.

volatile uint16_t head;
while (head == tail) ; /* volatile → 매번 reload */

#사례 — ISR과 main의 critical section

uint32_t shared_counter;
void TIM2_IRQHandler(void) {
shared_counter++;
}
void main_task(void) {
if (shared_counter > 100) {
shared_counter = 0; /* read·zero 사이 ISR 끼면 +1 사라짐 */
do_action();
}
}

ISR이 read와 write 사이에 끼면 +1이 사라집니다. 해결.

__disable_irq();
uint32_t snap = shared_counter;
shared_counter = 0;
__enable_irq();
if (snap > 100) do_action();

__disable_irq/__enable_irq 또는 BASEPRI masking. Critical section은 가능한 한 짧게.

#사례 — Memory barrier 누락 (Cortex-M7)

Cortex-M7은 복수 outstanding store가 가능합니다. ISR enable 직전에 데이터를 쓰는 코드가 순서 역전될 수 있습니다.

g_command_args[0] = 0x1234;
g_command_args[1] = 0x5678;
g_command_ready = 1; /* ← peripheral·ISR가 이걸 먼저 볼 가능성 */

해결.

g_command_args[0] = 0x1234;
g_command_args[1] = 0x5678;
__DMB(); /* memory barrier */
g_command_ready = 1;

Cortex-M0/M3에서는 in-order라 보통 문제 없지만, M4/M7에서는 반드시 barrier를 둡니다.

#사례 — TOCTOU (Time of Check to Time of Use)

if (g_buf_free)
g_buf_free = 0; /* 다른 task와 race */

검사와 사용 사이의 race. Atomic test-and-set 또는 mutex/spinlock 사용.

/* Cortex-M0+ 이상은 LDREX/STREX 지원 */
do {
if (__LDREXW(&g_buf_free) == 0) {
__CLREX();
return -EBUSY;
}
} while (__STREXW(0, &g_buf_free) != 0);

#사례 — RTOS scheduler 끼어듦

mutex_lock(&m);
shared.x = 1;
shared.y = 2;
mutex_unlock(&m);

Mutex로 보호된 영역도 mutex 안의 코드가 잘못된 순서면 race가 일어납니다. Lock은 순서를 보장하지 못합니다. 안에서 __DMB() 또는 명시적 순서가 필요한 경우가 있습니다.

#Non-intrusive logging 패턴

/* Ring buffer in RAM. Producer is ISR / main. Consumer dumps later. */
struct trace_event {
uint32_t cyc; /* DWT CYCCNT */
uint8_t src; /* ISR id or main */
uint8_t evt; /* enter/exit/data */
uint16_t arg;
};
#define TRACE_N 256
static volatile struct trace_event g_trace[TRACE_N];
static volatile uint16_t g_idx;
static inline void trace_log(uint8_t src, uint8_t evt, uint16_t arg) {
uint16_t i = g_idx++ & (TRACE_N - 1);
g_trace[i].cyc = DWT->CYCCNT;
g_trace[i].src = src;
g_trace[i].evt = evt;
g_trace[i].arg = arg;
}

ISR과 main 모두 trace_log(...)를 호출. Crash 후 buffer를 dump해서 cycle 단위로 무슨 일이 있었는지 재구성합니다.

void trace_dump(void) {
for (int i = 0; i < TRACE_N; i++) {
printf("[%lu] src=%u evt=%u arg=0x%x\n",
g_trace[i].cyc, g_trace[i].src, g_trace[i].evt, g_trace[i].arg);
}
}

#자주 보는 함정

Volatile 누락

uint32_t g_flag; /* ← volatile 아님 */
while (!g_flag) ; /* 컴파일러가 무한 루프로 최적화 */

ISR이 갱신하거나 hardware register인 변수는 반드시 volatile.

Volatile만 있으면 atomic?

volatile uint64_t big = 0;
big = some_value; /* 32-bit MCU에서 *두 번의 write* — atomic 아님 */

64-bit는 32-bit MCU에서 atomic 아닙니다. 16/32-bit aligned write까지만 atomic.

Critical section 안에 sleep

__disable_irq();
HAL_Delay(10); /* SysTick IRQ 누락 → 시간 안 감 → 무한 대기 */
__enable_irq();

IRQ disable 상태로 IRQ-dependent 함수 호출 금지.

printf로 race “고침”

do_x();
printf("debug\n"); /* ← race window를 메우고 있을 뿐 */
do_y();

Printf를 빼도 race가 안 일어나려면 진짜 원인을 고쳐야 합니다.

Logic analyzer의 sample rate 부족

100 MHz CPU 사이클을 1 MHz logic analyzer로 잡으면 100 사이클 폭의 race는 안 보입니다. Sample rate가 측정 대상의 10배 이상이어야 합니다.

#정리

  • Race는 관찰자가 timing을 바꾸면 사라집니다 (Heisenbug).
  • Printf 대신 non-intrusive 도구: GPIO pulse, SWO/RTT, DWT cycle count, ring buffer trace.
  • volatile최적화 회피를 위한 것. atomic 보장은 아님.
  • Read-modify-write는 critical section 또는 atomic 명령 (LDREX/STREX).
  • Cortex-M4/M7은 memory barrier (__DMB) 필요.
  • TOCTOU는 atomic test-and-set 또는 mutex.
  • “printf 추가하면 사라짐”은 race 신호. 원인을 끝까지 추적.

다음 편은 통신 프로토콜 분석입니다.

#관련 항목

Modern Embedded Recipes · 120 of 152

  1. 1Modern Embedded Recipes — 모던 임베디드 실전 레시피 시리즈 소개
  2. 2디지털 신호 기초 — Voltage Level·Edge·Setup/Hold 분석
  3. 3임베디드 클럭과 타이밍 — Skew·Jitter·PLL·MMCM 분석
  4. 4GPIO 내부 구조 분해 — Push-Pull·Open-Drain·Schmitt Trigger
  5. 5UART 하드웨어 동작 분석 — Baud Rate·Framing·FIFO
  6. 6SPI 하드웨어 분석 — Clock Mode·MOSI/MISO·Chip Select
  7. 7I2C 하드웨어 분석 — Open-Drain·Clock Stretching·Arbitration
  8. 8ADC 동작 원리 — SAR·Sigma-Delta·Pipelined 비교
  9. 9DAC 동작 원리 — R-2R Ladder·Sigma-Delta·Settling Time
  10. 10PWM 신호 생성 분석 — Duty·Frequency·Dead Time·Center-Aligned
  11. 11CAN 버스 전기적 특성 — Differential·Termination·Dominant/Recessive
  12. 12RS-485·RS-422 차동 신호 분석 — Termination·Biasing·Topology
  13. 13LVDS 차동 신호 분석 — Common-Mode·Impedance·Eye Pattern
  14. 14ARM Cortex-M 시리즈 비교 — M0·M3·M4·M7·M33·M55 분석
  15. 15ARM Cortex-A 시리즈 비교 — A53·A55·A72·A78·X1 분석
  16. 16ARM 레지스터 구조 분석 — R0~R15·CPSR·SPSR·Banked Registers
  17. 17Cortex-M 예외 처리 — Vector Table·NVIC·Tail-Chaining 추적
  18. 18ARM 메모리 맵 분석 — Normal·Device·Strongly-Ordered Region
  19. 19ARM L1·L2 캐시 분석 — Set Associative·Inclusive·Maintenance
  20. 20ARM MPU 활용 — Region·Attribute·Privilege Separation
  21. 21ARM MMU 기초 분석 — Translation Table·TLB·ASID
  22. 22ARM TrustZone-M 기초 — Secure/Non-Secure·NSC·MPC
  23. 23ARM Memory Barrier 실전 — DMB·DSB·ISB·DMA·MMIO
  24. 24임베디드 크로스 컴파일러 분석 — GCC·Clang·Sysroot 구성
  25. 25C 컴파일 4단계 — Preprocess·Compile·Assemble·Link 추적
  26. 26ELF 파일 구조 분석 — Section·Segment·Symbol Table·DWARF
  27. 27링커 스크립트 기초 — SECTIONS·MEMORY·entry point
  28. 28링커 스크립트 고급 — Overlay·BSS·init_array·LMA/VMA
  29. 29임베디드 스타트업 코드 분석 — Reset_Handler·Vector Table·SystemInit
  30. 30C 런타임 crt0 분석 — Stack·BSS Zero·Data Copy·atexit
  31. 31임베디드 메모리 레이아웃 — .text·.rodata·.data·.bss·.heap·.stack
  32. 32임베디드 컴파일러 최적화 분석 — -O0~-O3·-Os·-LTO 비교
  33. 33Map 파일 분석 — Symbol·Section·Size 추적으로 코드 크기 진단
  34. 34Make·CMake 크로스 컴파일 — Toolchain File·Sysroot 통합
  35. 35임베디드 Bootloader 체인 — BootROM·SPL·U-Boot·Kernel·Secure Boot
  36. 36첫 bare-metal 프로그램 작성 — Linker·Startup·main의 최소 구성
  37. 37MMIO 레지스터 직접 접근 — volatile·Memory Map·Aliasing 분석
  38. 38GPIO 드라이버 직접 구현 — STM32 HAL 없이 레지스터로
  39. 39임베디드 클럭 설정 분석 — HSE·PLL·SYSCLK·AHB/APB 분주
  40. 40Cortex-M 인터럽트 핸들링 — NVIC·Priority·Vector·EXTI
  41. 41SysTick 타이머 활용 — 24-bit Counter·1ms Tick·delay 구현
  42. 42UART 드라이버 구현 — polling·interrupt·DMA 3가지 방식 비교
  43. 43SPI 드라이버 구현 — Master·Slave·CRC·DMA
  44. 44I2C 드라이버 구현 — Master·7-bit/10-bit·Clock Stretching 처리
  45. 45임베디드 DMA 기초 — Memory-to-Memory·Peripheral·Circular Mode
  46. 46저전력 모드 분석 — Sleep·Stop·Standby·Wake-up Source
  47. 47IWDG·WWDG 워치독 구현 — Independent vs Window 비교
  48. 48임베디드 Flash 프로그래밍 — Erase·Program·Read While Write
  49. 49DDR 초기화 실패 진단 — Timing·Calibration·Walking Bit Test
  50. 50PWM 출력 실전 — LED 밝기·모터 속도 제어
  51. 51DC 모터 제어 — H-Bridge·PWM Duty·Encoder Feedback
  52. 52스테퍼 모터 제어 — Full Step·Half Step·Microstepping
  53. 53서보 모터 제어 — PWM 1ms~2ms·Closed Loop·PID
  54. 54Character LCD 제어 — HD44780·4-bit Mode·Custom Char
  55. 55SPI OLED 제어 — SSD1306·Frame Buffer·Page 단위 갱신
  56. 56TFT 디스플레이 구동 — RGB565·FSMC·LTDC·DMA2D
  57. 57환경 센서 활용 — BME280 온습압·SHT3x·BMP180 비교
  58. 58IMU 센서 활용 — MPU6050·LSM6DSO·Sensor Fusion
  59. 59CAN 통신 구현 — bxCAN·Filter·Mailbox·CAN-FD
  60. 60USB Device 기초 — Descriptor·Enumeration·Endpoint·HID/CDC
  61. 61Ethernet MAC+PHY 통합 — RMII·lwIP·DMA Descriptor
  62. 62SD Card + FatFs 구현 — SPI/SDIO 모드·CSD/CID·Wear
  63. 63RTC 활용 — Calendar·Alarm·Wake-up Timer·Backup Domain
  64. 64RTOS 도입 결정 분석 — Super Loop vs RTOS 트레이드오프
  65. 65RTOS Task 설계 패턴 — 우선순위·스택·State Machine
  66. 66RTOS Scheduler 동작 분석 — Tick·Context Switch·Yield
  67. 67RTOS Semaphore 활용 — Binary·Counting·ISR Give
  68. 68RTOS Mutex 활용 — Recursive·Priority Inheritance 적용
  69. 69RTOS Queue 활용 — By-Value·By-Reference·Timeout 패턴
  70. 70RTOS Event Group 활용 — Bit Wait·Sync·Notify
  71. 71RTOS Software Timer 활용 — One-shot·Auto-reload·Daemon Task
  72. 72ISR-Safe API 설계 — Reentrant·Atomic·Defer 패턴
  73. 73Priority Inversion 진단·예방 — Mars Pathfinder Lesson 추적
  74. 74Timer Wheel 분석 — Hashed·Hierarchical·O(1) Tick
  75. 75RTOS 디버깅 기법 — Tracealyzer·SystemView·Stack 추적
  76. 76임베디드 Linux 부팅 흐름 분석 — BootROM·U-Boot·Kernel·init
  77. 77U-Boot 활용 — bootcmd·env·tftp·boot.scr 분석
  78. 78Device Tree 실전 — DTS·DTB·Overlay·Phandle 추적
  79. 79Device Tree Overlay 적용 — Runtime fragment·dtoverlay
  80. 80임베디드 커널 빌드 — defconfig·menuconfig·Image·zImage
  81. 81커널 모듈 기초 — init/exit·Parameter·KBuild·DKMS
  82. 82캐릭터 드라이버 작성 — file_operations·cdev·register_chrdev
  83. 83Platform 드라이버 작성 — probe·remove·of_match·DT 바인딩
  84. 84mmap 4가지 모드 — Anonymous·File·Shared·Huge Page
  85. 85epoll 실전 — LT·ET·ONESHOT·EXCLUSIVE 비교
  86. 86UIO·VFIO 분석 — User-Space Driver와 IOMMU 격리
  87. 87sysfs·configfs 활용 — kobject 기반 User 인터페이스
  88. 88IRQ Affinity 튜닝 — smp_affinity·isolcpus·irqbalance
  89. 89루트 파일시스템 구축 — Buildroot 기초·Package·Toolchain
  90. 90임베디드 동적 메모리 — malloc 위험·결정성·대안 분석
  91. 91메모리 정렬과 패딩 분석 — Natural·Strict Alignment·Trap
  92. 92Cache Line Alignment — alignas·Padding·SoA 적용
  93. 93DMA-Friendly Allocator — dma_alloc_coherent·IOMMU·Pool
  94. 94Zero-Copy Pipeline — DMA-BUF·sendfile·io_uring·splice
  95. 95NUMA Memory Topology — numactl·numa_alloc·HBM 적용
  96. 96SIMD 활용 분석 — Intrinsics·Auto-Vectorization·OpenMP SIMD
  97. 97ARM NEON 심화 — Matrix Multiply·FFT·Image Filter 적용
  98. 98임베디드 스택 분석 — high-water·overflow 탐지
  99. 99임베디드 코드 크기 최적화 — -Os·LTO·Section Garbage Collection
  100. 100임베디드 전력 최적화 — Sleep Mode·Clock Gating·DVFS
  101. 101WCET 분석 기법 — Static·Measurement·Hybrid 방법론
  102. 102Lock-Free Ring Buffer 구현 — SPSC·Power-of-2·Memory Order
  103. 103Wait-Free Signaling — Atomic Flag·Sequence·Latest-Value
  104. 104RCU (Read-Copy-Update) 기초 — Quiescent State·Grace Period
  105. 105Hazard Pointer 분석 — Lock-Free Memory Reclamation
  106. 106Compare-And-Swap 패턴 — Stack·Counter·Linked List 적용
  107. 107Atomic Operation 비용 분석 — Fence·Cache Line·Contention
  108. 108Spinlock vs Mutex 결정 가이드 — Context Switch·Hold Time
  109. 109ABA 문제 회피 — Tagged Pointer·Hazard·Generation Counter
  110. 110False Sharing 해결 — Cache Line Padding·SoA 적용
  111. 111MPMC Queue 구현 — Multi-producer Multi-consumer Lock-Free
  112. 112임베디드 디버깅 마인드셋 — 가설·격리·재현·이분탐색
  113. 113JTAG·SWD 안 붙을 때 — 핀·전압·속도·세션 진단
  114. 114GDB 원격 디버깅 — OpenOCD·J-Link·target remote 구성
  115. 115Cortex-M 하드폴트 분석 — Stacked Frame·CFSR 읽기
  116. 116UART 안 찍힐 때 — Bare-metal 체크리스트
  117. 117임베디드 부팅 실패 진단 — 단계별 Isolation
  118. 118인터럽트 누락·중복 진단 — Priority·Pending·Re-entry 추적
  119. 119메모리 오버플로우·오염 진단 — Canary·MPU·Pattern 분석
  120. 120타이밍·Race 진단 — Heisenbug 잡는 법
  121. 121통신 프로토콜 분석 — Logic Analyzer와 Protocol Decoder
  122. 122임베디드 로깅 시스템 설계 — 레벨·버퍼·SWO·Deferred
  123. 123임베디드 포스트모템 분석 — Core Dump와 Field Crash
  124. 124FPGA 기초 분석 — LUT·FF·BRAM·DSP 자원 구조
  125. 125Vivado 사용법 — Project·Constraint·Synth·Impl·Bitstream
  126. 126PCIe BAR 매핑 분석 — Config Space·Enumeration·MMIO 접근
  127. 127AXI 인터페이스 — AXI4·AXI4-Lite·AXI-Stream 비교
  128. 128Zynq PS-PL 통신 — GP·HP·ACP 인터페이스 선택
  129. 129Mailbox Protocol 분석 — Host와 Accelerator를 잇는 Doorbell
  130. 130Command Queue·Submission Queue — NVMe·XDMA 공통 패턴
  131. 131DMA Completion 메커니즘 — Interrupt·Polling·Completion Ring
  132. 132PCIe Streaming 분석 — BAR Type·MSI-X·Kernel Bypass
  133. 133Vitis HLS 분석 — Pragma·Pipeline II·Dataflow 실전 감각
  134. 134HLS 최적화 기법 — Pipeline·Unroll·Partition·Dataflow
  135. 135Vitis AI 분석 — DPU·xmodel·VART
  136. 136OpenCL on FPGA — Kernel·Channel·Burst Memory 분석
  137. 137Intel Quartus 사용법 — Platform Designer·Nios II·HLS
  138. 138Edge Inference 분석 — Cloud vs Edge·Latency·Privacy
  139. 139NPU 아키텍처 분석 — Ethos·Hexagon·Systolic Array 비교
  140. 140딥러닝 Quantization 분석 — PTQ·QAT·INT8·INT4·Calibration
  141. 141TensorRT 분석 — ONNX→Engine·FP16·INT8·DLA·Multi-Stream
  142. 142TFLite Micro 분석 — Op Resolver·Tensor Arena·Cortex-M
  143. 143ONNX Runtime 분석 — Execution Provider와 Cross-Platform 배포
  144. 144Edge Thermal Management — Throttling·DVFS·Fan Curve·Sustained
  145. 145NVIDIA Jetson 분석 — Nano·Xavier·Orin·Thor·JetPack·DLA·VPI
  146. 146Zero-Copy Camera Pipeline — V4L2·DMA-BUF·GPU Import·NPU 직결
  147. 147온디바이스 LLM 추론 — llama.cpp·GGUF·MLX·KV Cache·NPU Backend
  148. 148Cortex-M33 TF-M·TrustZone — Secure Firmware·PSA·MCUboot
  149. 149Matter·Thread 분석 — IoT 통합 표준·Commissioning·Multi-Fabric
  150. 150PCIe → CXL 진화 — 같은 PHY 위 cache-coherent 프로토콜 추가
  151. 151QEMU CXL Type 3 디바이스 에뮬레이션 — 노트북에서 CXL 개발 환경 구축
  152. 152Linux CXL 드라이버 분석 — cxl_pci·cxl_core·region·DAX