Modern Embedded Recipes
ONNX Runtime 분석 — Execution Provider와 Cross-Platform 배포
ONNX format·ONNX Runtime의 Execution Provider (CUDA·TensorRT·DML·CoreML)·embedded build·cross-platform inference.
· 5분 읽기
recipes edge-ai
#onnx
3개의 포스트
Modern Embedded Recipes
TensorRT 분석 — ONNX→Engine·FP16·INT8·DLA·Multi-Stream
NVIDIA TensorRT로 ONNX 모델을 engine으로 빌드하고 FP16·INT8·DLA·multi-stream으로 throughput을 끌어올리는 패턴을 정리합니다.
· 6분 읽기
recipes tensorrt
Modern Embedded Recipes
Edge Inference 분석 — Cloud vs Edge·Latency·Privacy
Edge inference가 cloud 대비 언제 답인지, MCU부터 server-class edge까지 하드웨어 스펙트럼과 프레임워크 선택, 3-stage pipeline 설계를 정리합니다.
· 6분 읽기
recipes edge-ai