Modern Embedded Recipes
온디바이스 LLM 추론 — llama.cpp·GGUF·MLX·KV Cache·NPU Backend
4-bit 양자화된 LLM이 모바일·edge에서 동작하는 시대. llama.cpp/GGUF, Apple MLX, KV cache 메모리, 백엔드 선택을 정리합니다.
· 7분 읽기
recipes edge-ai
#edge-ai
8개의 포스트
Modern Embedded Recipes
Edge Thermal Management — Throttling·DVFS·Fan Curve·Sustained
Edge AI 보드의 sustained 성능을 결정하는 thermal 한계. throttle trip, DVFS, fan curve, nvpmodel, passive cooling 설계를 정리합니다.
· 7분 읽기
recipes thermal
Modern Embedded Recipes
ONNX Runtime 분석 — Execution Provider와 Cross-Platform 배포
ONNX format·ONNX Runtime의 Execution Provider (CUDA·TensorRT·DML·CoreML)·embedded build·cross-platform inference.
· 5분 읽기
recipes edge-ai
Modern Embedded Recipes
TFLite Micro 분석 — Op Resolver·Tensor Arena·Cortex-M
MCU용 TensorFlow Lite Micro의 구조, op resolver·tensor arena·CMSIS-NN integration·Ethos-U delegate.
· 5분 읽기
recipes edge-ai
Modern Embedded Recipes
NPU 아키텍처 분석 — Ethos·Hexagon·Systolic Array 비교
Arm Ethos·Qualcomm Hexagon·Apple Neural Engine 등 NPU 내부 구조와 systolic MAC array·INT8·memory hierarchy.
· 6분 읽기
recipes edge-ai
Modern Embedded Recipes
Edge Inference 분석 — Cloud vs Edge·Latency·Privacy
Edge inference가 cloud 대비 언제 답인지, MCU부터 server-class edge까지 하드웨어 스펙트럼과 프레임워크 선택, 3-stage pipeline 설계를 정리합니다.
· 6분 읽기
recipes edge-ai
Modern Embedded Recipes
Vitis AI 분석 — DPU·xmodel·VART
Xilinx Vitis AI로 TensorFlow/PyTorch 모델을 DPU용 xmodel로 quantize·compile하고 VART로 실행하는 흐름.
· 5분 읽기
recipes fpga
Modern Embedded Recipes
Modern Embedded Recipes — 모던 임베디드 실전 레시피 시리즈 소개
HW interface 기초부터 ARM·빌드·드라이버·peripheral·RTOS·Linux·메모리·동시성·디버깅·FPGA·Edge AI까지 임베디드 12 Part 종합 cookbook 148편.
· 22분 읽기
embedded recipes