folly::small_vector — inline storage 분석
#한 줄 요약
folly::small_vector<T, N>은 첫 N개 원소를 객체 내부 inline buffer에 두고, N을 초과하면 heap으로 전환한다. 작은 vector 사용이 잦은 hot path에서 heap 할당을 제거한다.
#동기
std::vector는 항상 heap을 사용한다. 평균 size가 0-3개인 vector조차 new[]를 한다.
파이프라인 단계 N개를 매 요청마다 vector에 넣었다 비우는 코드를 생각해 보자. 요청마다 malloc과 free가 한 번씩 붙고, 처리량이 높아질수록 allocator overhead가 눈에 띄게 쌓인다.
| 단위 | 비용 |
|---|---|
| per request | malloc + free (수십~수백 ns) |
| per second (100K req) | 10ms 가량의 allocator overhead |
이런 use case에서 stack에 fixed buffer를 두면 할당이 사라진다. LLVM의 SmallVector, boost의 static_vector/small_vector, abseil의 InlinedVector가 모두 같은 답.
folly::small_vector<int, 4> v; // 4개까지 inlinev.push_back(1); v.push_back(2); // heap 할당 0v.resize(10); // 이때 heap으로 spill#어디에 살게 되는가
small_vector<T, N>은 N개까지 stack(또는 그 객체가 사는 곳), 그 이상은 heap. 메모리 영역 자체의 차이를 짚고 가자.
stack은 LIFO + 자동 해제, heap은 임의 위치 + 명시 free, arena는 bump + bulk free. small_vector는 stack에 머무는 한 할당 비용이 0이고, spill되는 순간 heap의 모든 비용을 전부 짊어진다.
#API & 사용법
std::vector와 같은 인터페이스 + template 파라미터.
#include <folly/small_vector.h>
// 기본 — N개까지 inlinefolly::small_vector<int, 8> v;
// pretty-print용 SmallVecPolicyusing Names = folly::small_vector<std::string, 4, folly::small_vector_policy::policy_in_situ_only<true>>;// in_situ_only=true → heap 사용 불가, capacity 초과 시 throw
// LLVM 스타일 — heap 폴백 허용folly::small_vector<int, 16> tokens;
// 사용tokens.push_back(42);tokens.emplace_back(7);for (auto x : tokens) Use(x);policy_in_situ_only로 heap 자체를 금지할 수 있다. 임베디드/no-heap 환경에서 유용. capacity 초과 시 std::length_error.
#내부 구현
#Layout
// 약식template <typename T, size_t N>class small_vector { union Storage { // inline (N개 만큼) alignas(T) std::byte inlineBuf[sizeof(T) * N]; // 또는 heap struct { T* data_; size_t capacity_; } heap; } u_;
size_t size_ : sizeof(size_t)*8 - 1; size_t isHeap_ : 1;};객체 크기는 max(sizeof(T)*N, sizeof(T*) + sizeof(size_t)). inline buffer를 사용 안 할 때는 heap pointer를 같은 union 영역에 저장.
isHeap_로 분기. inline에서 heap으로 전환 시 모든 원소를 새 heap 영역으로 move.
#Push back
// 약식void push_back(T v) { if (size_ < capacity()) { new (data() + size_) T(std::move(v)); ++size_; } else { growAndPush(std::move(v)); }}
void growAndPush(T v) { size_t new_cap = capacity() * 2; T* new_data = static_cast<T*>(malloc(new_cap * sizeof(T))); // 모든 기존 원소 move for (size_t i = 0; i < size_; ++i) { new (new_data + i) T(std::move(data()[i])); data()[i].~T(); } if (isHeap_) free(u_.heap.data_); u_.heap.data_ = new_data; u_.heap.capacity_ = new_cap; isHeap_ = 1; // push new (new_data + size_) T(std::move(v)); ++size_;}inline → heap 전환은 한 번만 일어난다. 이후는 일반 std::vector grow와 동일.
#TriviallyRelocatable 최적화
T가 folly::IsRelocatable이면 element move를 memcpy로 대체.
if constexpr (folly::IsRelocatable<T>::value) { std::memcpy(new_data, old_data, size_ * sizeof(T)); // destructor 호출 안 함 (relocate 의미)} else { // move + destruct}primitive, POD, unique_ptr 등 대부분의 type이 이 path. push_back이 더 빠르다.
#다른 라이브러리 비교
// LLVM SmallVectorllvm::SmallVector<int, 4> llv;
// boostboost::container::small_vector<int, 4> bv;boost::container::static_vector<int, 4> sv; // heap 금지
// abseilabsl::InlinedVector<int, 4> iv;
// std (C++23?)// std::inplace_vector<T, N> — heap 없음, in-situ만| 항목 | LLVM | boost::small | boost::static | absl::Inlined | folly::small_vector |
|---|---|---|---|---|---|
| Heap 폴백 | O | O | X | O | O (policy로 disable 가능) |
| 표준 vector 호환 | 대체로 | O | O | O | O |
| Relocate 최적화 | 일부 | O | O | O | O |
| ABI 안정 | LLVM 내부 | 좋음 | 좋음 | 비보장 | 비보장 |
기능 면에서는 다 비슷. fbcode는 자체 IsRelocatable trait과 다른 folly type과의 통합 때문에 folly variant 사용.
#코드 리뷰 포인트
// Bad — N이 너무 큼folly::small_vector<int, 1024> v; // sizeof = 4KB// stack 폭발, 함수 인자 전달 비용 증가
// Good — 일반적 사용 size에 맞춤folly::small_vector<int, 8> v;inline N은 사용량의 95th percentile에 맞춘다. 너무 크면 stack/object 메모리 낭비, 너무 작으면 heap 폴백 빈번.
// Good — 명시적 reserve로 inline 활용folly::small_vector<std::string, 4> args;args.reserve(args.size() + N); // N≤4면 여전히 inlinereserve(n)이 inline capacity를 초과하면 즉시 heap으로 간다. 예측 가능한 capacity면 그만큼 reserve.
// 주의 — pointer/iterator 안정성folly::small_vector<int, 4> v;auto* p = &v[0]; // inline buffer 안 포인터v.push_back(...); v.push_back(...); ...// inline → heap 전환 시 데이터 옮김, p invalidstd::vector보다 더 자주 invalidate. inline 안 포인터를 외부로 노출 금지.
#안티패턴
- return value로 큰 N의 small_vector: NRVO가 동작해도 inline buffer copy 비용이 크다.
unique_ptr<small_vector>또는 일반std::vector반환. small_vector를 map의 value로: rehash 시 move하는데 inline buffer가 크면 비용 증가.std::vector또는 작은 N.reserve후 inline 가정: reserve가 inline N을 초과하면 무조건 heap. inline 보존 의도면if (n <= N) ...분기.
#정리
folly::small_vector<T, N>은 N개까지 inline, 초과 시 heap.- 작은 vector의 heap 할당 제거가 목적.
IsRelocatable타입은 grow가memcpy최적화.policy_in_situ_only로 heap 금지 가능 (no-heap 환경).- inline buffer 크기는 객체 sizeof에 영향 — N을 신중하게.
#다음 편
FixedString은 compile-time에 알려진 문자열을 constexpr로 다룬다. SmallVector의 string 버전 + constexpr.
#관련 항목
- Part 8-02: FixedString — string 변형
- Part 5-01: FBString — heap 기반 string
- Part 7-04: F14FastMap — Relocatable trait 같이 사용
- 원문 — folly/small_vector.h
Folly Code Review · 36 of 89
- 1 Folly Code Review — Meta의 production-grade C++ 라이브러리 코드 분석
- 2 Folly 개요 — Meta가 production에서 검증한 utility 모음 분석
- 3 Folly vs Abseil 철학 비교 — performance-first vs std-compatible
- 4 Folly 빌드와 fbcode 환경 — monorepo의 그림자
- 5 Folly API stability 정책 — 어떤 보장도 없다는 솔직함
- 6 Folly production validation 문화 — peta-scale에서 단련된 코드
- 7 folly::Future 분석 — std::future의 한계를 넘는 composable async
- 8 folly::Promise·makeFuture — Future를 만드는 두 길
- 9 folly::SemiFuture vs Future — executor binding의 명시화
- 10 folly::Future thenValue·thenError·thenTry — continuation 체인 분석
- 11 folly::collect·collectAll·collectAny — fan-in 패턴 분석
- 12 folly::Future retry·window·via — 제어 흐름 조합자
- 13 folly::fibers 분석 — M:N stackful coroutine
- 14 folly::InlineExecutor — 호출자 thread에서 즉시 실행
- 15 folly::CPUThreadPoolExecutor — CPU-bound 작업의 표준 thread pool
- 16 folly::IOThreadPoolExecutor — libevent 기반 I/O pool
- 17 folly::ManualExecutor — 결정적 테스트를 위한 수동 진행
- 18 folly::EventBase 분석 — libevent 이벤트 루프의 핵심
- 19 folly::IOBuf 분석 — zero-copy buffer chain의 기본 단위
- 20 folly::IOBufQueue — chain의 push/pull 추상화
- 21 folly::io::Cursor·RWCursor — chain 위의 stream
- 22 folly Zero-copy 패턴 — IOBuf로 ScatterGather I/O 표현
- 23 folly::IOBuf shared semantics — clone·unshare·takeOwnership
- 24 folly::FBString 분석 — SSO + COW 구현
- 25 folly의 fmt::format 통합 — 모던 포맷팅 채택
- 26 folly::StringPiece — string_view 호환 분석
- 27 folly Join·Split utilities — 문자열 분해와 결합
- 28 folly::to·tryTo — text↔num 변환 분석
- 29 folly Conv Customization — 사용자 타입 지원
- 30 folly Conv 성능 비교 — sprintf·stringstream 대비
- 31 folly::F14ValueMap vs std::unordered_map
- 32 folly::F14NodeMap — stable pointer가 필요할 때
- 33 folly::F14VectorMap — cache-friendly iteration
- 34 folly::F14FastMap — auto-select 동작
- 35 folly F14 internals — SIMD probing 메커니즘
- 36 folly::small_vector — inline storage 분석
- 37 folly::FixedString — compile-time string
- 38 folly::AtomicHashMap — lock-free read 분석
- 39 folly::ConcurrentHashMap — sharded 동시 해시 맵
- 40 folly::EvictingCacheMap — LRU 구현 분석
- 41 folly::Synchronized — lock wrapper 패턴
- 42 folly::SharedMutex 분석
- 43 folly::Baton — one-shot wait 동기화
- 44 folly::RWSpinLock 분석
- 45 folly::PicoSpinLock — 1-byte spinlock
- 46 folly::ProducerConsumerQueue — SPSC 큐 분석
- 47 folly::MPMCQueue — multi-producer multi-consumer
- 48 folly::UnboundedQueue — 동적 크기 lock-free
- 49 folly::fibers::Channel — Go-like channel
- 50 folly::dynamic — JSON-like dynamic type 분석
- 51 folly JSON conversion — toJson·parseJson
- 52 folly dynamic ↔ struct — manual marshaling
- 53 folly dynamic Visitor pattern — type별 분기
- 54 folly::Singleton vs Meyers/static — 왜 Folly의 Singleton인가
- 55 folly::SingletonVault 분석 — 등록·소멸·의존성
- 56 folly::Singleton try_get·try_get_fast — TLS-cached 접근
- 57 folly::ExceptionWrapper — type-erased exception holder
- 58 folly::ScopeGuard·SCOPE_EXIT — RAII cleanup
- 59 folly::Optional vs std::optional
- 60 folly::Function vs std::function
- 61 folly::Lazy — 지연 초기화 wrapper
- 62 folly Meta 스타일 code review 패턴
- 63 folly anti-patterns — 잘못 쓰면 std보다 느림
- 64 folly vs std 선택 기준 분석
- 65 folly::coro 개요 — production C++20 코루틴 어댑터
- 66 folly::coro::Task — lazy single-shot 코루틴
- 67 folly::coro::AsyncGenerator — 비동기 스트림
- 68 folly coro blockingWait·collectAll — 동기 경계와 fan-in
- 69 folly::coro::Baton·Mutex — 코루틴-aware 동기화
- 70 folly::Expected — 결과 또는 오류
- 71 folly::Try — Future 결과 wrapper
- 72 folly::Try vs Expected 선택 기준
- 73 folly::Range — 일반 iterator pair
- 74 folly::Uri — URL 파서
- 75 folly Fingerprint64·128 — 분산 hash
- 76 folly SpookyHashV2 — fast non-crypto hash
- 77 folly::Init — main() 부트스트랩
- 78 folly::Indestructible — global lifetime 패턴
- 79 folly::MicroLock — 1-byte 락
- 80 folly::MicroSpinLock — 가장 좁은 spin lock
- 81 folly::format — legacy formatter 분석
- 82 folly::demangle — typeid 디망글링
- 83 folly::DynamicConverter — dynamic ↔ struct
- 84 folly::RecordIO — append-only 로그 파일 포맷
- 85 folly::io::Compression — zstd·lz4·snappy wrapper
- 86 folly::AsyncIO — io_uring·Linux AIO
- 87 folly::CancellationToken — 코루틴·Future 취소 전파
- 88 folly::observer — hot config의 atomic refresh
- 89 fbcode 패턴 모음 — folly 사용의 실전
관련 글
folly::EvictingCacheMap — LRU 구현 분석
EvictingCacheMap — 고정 size 한도와 LRU eviction policy를 결합한 single-thread cache.
같은 시리즈에서 이어 읽기
folly::ConcurrentHashMap — sharded 동시 해시 맵
ConcurrentHashMap — sharded buckets + Hazard Pointer로 erase 포함 full thread-safe hash map.
같은 시리즈에서 이어 읽기
folly::AtomicHashMap — lock-free read 분석
AtomicHashMap — lock-free read, append-only insert, 큰 read-heavy 워크로드용 hash map.
같은 시리즈에서 이어 읽기