본문으로 건너뛰기
Abseil Code Review · 25/79

Abseil ASCII 함수 — locale-free 분류·대소문자 변환

· Hawk · 3분 읽기
cpp abseil strings ascii locale

#한 줄 요약

<cctype>의 isalpha, tolower는 현재 locale에 따라 결과가 달라진다. Abseil의 absl::ascii_isalpha, absl::ascii_tolower, absl::AsciiStrToLower는 locale 무시로 동작한다. 결과가 process-wide locale 설정에 흔들리지 않고, 캐시 친화적인 lookup table로 빠르다.

#동기

C++ 표준 <cctype> 함수의 시그니처와 함정.

#include <cctype>


bool b = std::isalpha((unsigned char)c);  // int 인자 — char가 음수면 UB

세 가지 함정이 동시에 있다.

  1. locale 의존: 터키어 locale에서 tolower('I')는 dotless i. 프로그램이 setlocale을 호출하면 같은 코드의 결과가 바뀐다.
  2. char 부호 함정: std::isalpha는 int를 받는다. char가 signed이고 음수이면 UB. 사용자는 (unsigned char) 캐스트를 매번 해야 한다.
  3. 느림: locale-aware 구현은 매 호출마다 locale lookup이 일어난다.

Abseil은 이 셋을 한 번에 해결한다.

#API와 사용법

#include "absl/strings/ascii.h"


namespace absl {
// 분류
bool ascii_isalpha(unsigned char c);
bool ascii_isdigit(unsigned char c);
bool ascii_isalnum(unsigned char c);
bool ascii_isspace(unsigned char c);
bool ascii_ispunct(unsigned char c);
bool ascii_isxdigit(unsigned char c);
bool ascii_isupper(unsigned char c);
bool ascii_islower(unsigned char c);
bool ascii_isprint(unsigned char c);
bool ascii_iscntrl(unsigned char c);
// ...


// 변환
char ascii_tolower(unsigned char c);
char ascii_toupper(unsigned char c);


// 문자열 단위
std::string AsciiStrToLower(absl::string_view s);
std::string AsciiStrToUpper(absl::string_view s);
void AsciiStrToLower(std::string* s);     // in-place
void AsciiStrToUpper(std::string* s);


// 공백 제거
absl::string_view StripLeadingAsciiWhitespace(absl::string_view str);
absl::string_view StripTrailingAsciiWhitespace(absl::string_view str);
absl::string_view StripAsciiWhitespace(absl::string_view str);
}

기본 사용은 표준 함수와 같다.

if (absl::ascii_isalpha(c)) { /*...*/ }


std::string lower = absl::AsciiStrToLower("Hello World");
// "hello world"


absl::string_view trimmed = absl::StripAsciiWhitespace("  hello  ");
// "hello"

StripAsciiWhitespace는 alloc 없이 view를 잘라 반환한다. 입력 문자열의 substring view다.

#내부 구현 — lookup table

absl::ascii_*는 256-byte lookup table을 인덱싱한다. branch 없는 단일 메모리 접근이다.

// absl/strings/ascii.h (요약)
namespace ascii_internal {
extern const unsigned char kPropertyBits[256];
extern const char kToLower[256];
extern const char kToUpper[256];


constexpr unsigned char kAlpha   = 0x01;
constexpr unsigned char kDigit   = 0x02;
constexpr unsigned char kSpace   = 0x04;
// ...
}  // namespace ascii_internal


inline bool ascii_isalpha(unsigned char c) {
  return (ascii_internal::kPropertyBits[c] & ascii_internal::kAlpha) != 0;
}


inline char ascii_tolower(unsigned char c) {
  return ascii_internal::kToLower[c];
}

테이블은 1 KiB가 안 된다. L1 캐시에 항상 머문다. 분기 없이 단일 인덱스 조회이므로 SIMD 루프 안에서도 사용 가능하다.

AsciiStrToLower는 SIMD optimization을 노린다. 큰 문자열에서 <cctype>의 루프보다 수 배 빠르다.

#std 비교 + 보안 노트

std::isalpha((unsigned char)c) 형태는 보안 코드에서 흔한 패턴이다. signedness 함정을 우회하기 위해서다. Abseil은 인자 타입을 unsigned char로 못 박아 캐스트를 강제한다(또는 int overload 제거). 함수 호출만으로 함정이 사라진다.

함수locale 의존함정성능
std::isalpha(int)Ochar signed→음수 UBlocale lookup
std::tolower(int)O동일locale lookup
absl::ascii_isalpha(uchar)X없음table lookup
absl::ascii_tolower(uchar)X없음table lookup

#코드 리뷰 포인트

1. case-insensitive 비교

// 회피 — locale 의존
bool eq = strcasecmp(a.c_str(), b.c_str()) == 0;


// Good — locale 무시
bool eq = absl::EqualsIgnoreCase(a, b);

EqualsIgnoreCase는 두 view를 받는 ascii-only 비교다.

2. config key normalization

// Good
std::string key_norm = absl::AsciiStrToLower(absl::StripAsciiWhitespace(input));

StripAsciiWhitespace로 view를 자르고 AsciiStrToLower로 string을 만든다. trailing/leading whitespace는 view 차원에서 해결.

3. 식별자 검증

bool IsValidIdentifier(absl::string_view s) {
  if (s.empty() || !absl::ascii_isalpha(s[0])) return false;
  for (char c : s) {
    if (!absl::ascii_isalnum(c) && c != '_') return false;
  }
  return true;
}

isalpha/isalnum이 항상 ASCII 의미인 것을 보장한다.

#안티패턴

Unicode 처리에 ascii_*

이름 그대로 ASCII만 다룬다. UTF-8 한글, 일본어, accented char는 별도 라이브러리(ICU 등)로 처리한다. absl::ascii_isalpha(0xED)는 false다.

// 회피 — 한국어 텍스트에 ASCII 분류
for (char c : "한글") {
  if (absl::ascii_isalpha(c)) { /* false — 다 false */ }
}

ASCII가 아닌 입력이 예상되는 경계는 명시적으로 처리한다.

std::tolower 람다 mix

// 회피 — 모호한 의도
std::transform(s.begin(), s.end(), s.begin(), ::tolower);


// Good
absl::AsciiStrToLower(&s);  // in-place, 분명한 의도

::tolower(C 함수)는 가장 위험한 형태다. signed char 함정 + locale 의존 + 미세한 동작 변경.

#정리

  • absl::ascii_*는 locale 무시, table lookup, signedness-safe.
  • <cctype>의 세 함정(locale·signedness·성능)을 한 번에 해소.
  • 문자열 단위 변환은 AsciiStrToLower, in-place도 지원.
  • StripAsciiWhitespace는 view를 잘라 alloc 없이 트림.
  • Unicode 처리는 별도 라이브러리.

#다음 편

Part 4-08 — Escape / Base64에서 안전한 escape와 base64 인코딩을 본다.

#관련 항목

Abseil Code Review · 26 of 79

  1. 1 Abseil Code Review — Google production-grade C++ 라이브러리 분석
  2. 2 Abseil 개요 — Google이 std를 보완한 이유
  3. 3 Abseil 설계 철학 — std 호환과 추가 기능의 균형
  4. 4 Abseil 빌드와 의존성 — Bazel vs CMake
  5. 5 Abseil LTS vs HEAD 릴리스 모델 분석
  6. 6 Abseil Versioning과 ABI 호환성 정책
  7. 7 Abseil 매크로 — ABSL_HAVE_*·ABSL_ATTRIBUTE_*
  8. 8 Abseil ABSL_PREDICT_TRUE/FALSE — branch hint
  9. 9 absl::LogSeverity — 로그 레벨 타입
  10. 10 Abseil type_traits — negation·conjunction·void_t
  11. 11 Abseil Conformance·Policy 분석
  12. 12 Abseil Memory utilities 분석
  13. 13 Abseil raw_logging — heap-free 로깅
  14. 14 Abseil thread_annotations — clang TSA 통합
  15. 15 absl::Status — exception-free error handling
  16. 16 absl::StatusOr<T> — 값 또는 에러
  17. 17 absl status_macros — ASSIGN_OR_RETURN·RETURN_IF_ERROR
  18. 18 absl::Status payload — 구조화된 에러 컨텍스트
  19. 19 absl::Status ↔ exception 변환 패턴
  20. 20 absl::string_view — non-owning 문자열 참조
  21. 21 absl::string_view 함정 — dangling·c_str·임시 객체
  22. 22 absl::StrCat — 가변 인자 문자열 연결과 AlphaNum
  23. 23 absl::StrSplit — Delimiter·Predicate·컨테이너 변환
  24. 24 absl::StrJoin — 컨테이너 결합과 Formatter
  25. 25 absl::StrFormat — type-safe printf·FormatSpec
  26. 26 Abseil ASCII 함수 — locale-free 분류·대소문자 변환
  27. 27 Abseil Escape — CEscape·HexEscape·Base64
  28. 28 absl::flat_hash_map — Swiss Table 기반 hash map
  29. 29 absl::flat_hash_set — set 버전 Swiss Table
  30. 30 absl::node_hash_map — stable pointer가 필요할 때
  31. 31 absl::btree_map — sorted·cache-friendly B-tree
  32. 32 absl::FixedArray — 런타임 크기 stack 배열
  33. 33 absl::InlinedVector — small buffer optimization
  34. 34 Abseil Swiss Table internals — control byte·SIMD probing
  35. 35 absl::Mutex — reader-writer·fairness·deadlock 검출
  36. 36 absl::Mutex Conditional Critical Section — Await로 cv 없애기
  37. 37 absl::Notification — once-only signal
  38. 38 absl::BlockingCounter·Barrier — 다중 thread 조율
  39. 39 absl::Mutex annotations — clang thread-safety로 race를 컴파일 타임에
  40. 40 absl::Time·Duration 분석 — 단단한 type
  41. 41 absl::Time Format·Parse
  42. 42 absl::CivilTime 분석
  43. 43 absl::time_zone 분석
  44. 44 absl::Time mocking — 테스트 친화 시간
  45. 45 absl::BitGen — 모던 난수 생성기
  46. 46 Abseil Random Distributions — Uniform·Exponential
  47. 47 Abseil Mocking Random — 테스트 결정성
  48. 48 Abseil Random Seeding·Entropy
  49. 49 absl::int128·uint128 분석
  50. 50 absl::bits — popcount·countl_zero
  51. 51 absl::optional vs std::optional
  52. 52 absl::variant 분석
  53. 53 absl::span 분석
  54. 54 absl::any 분석
  55. 55 absl::compare — three-way 비교
  56. 56 Abseil utility — apply·in_place
  57. 57 Abseil AbslHashValue 분석
  58. 58 Abseil HashState chaining
  59. 59 Abseil Custom hashable 구현
  60. 60 Abseil LOG·VLOG·CHECK 분석
  61. 61 Abseil LogSink 분석
  62. 62 Abseil LogEntry·structured logging
  63. 63 Abseil Stack trace·failure_signal_handler
  64. 64 ABSL_FLAG 정의 분석
  65. 65 Abseil ParseCommandLine 동작
  66. 66 Abseil Flag introspection·validation
  67. 67 Google 스타일의 Abseil 사용 패턴
  68. 68 Abseil 자주 보는 anti-pattern
  69. 69 std → absl 마이그레이션 전략
  70. 70 absl::Cleanup — 함수 종료 시 실행 보장
  71. 71 Abseil algorithm container 확장 — c_sort·c_find_if·c_count_if
  72. 72 absl::function_ref와 any_invocable — 함수 객체 전달의 두 축
  73. 73 absl::bind_front와 Overload — 함수 객체 보조 도구
  74. 74 absl::Cord — 분산 시스템용 대용량 문자열
  75. 75 absl::from_chars·SimpleAtoi — 빠른 숫자 변환
  76. 76 absl::Cord vs std::string — 선택 기준과 메모리 프로파일
  77. 77 absl::GetStackTrace와 Symbolize — crash 시 readable stack
  78. 78 absl::ComputeCrc32c — 하드웨어 가속 체크섬
  79. 79 absl::PeriodicSampler — 적응형 샘플링·jitter 회피

관련 글

absl::Cord — 분산 시스템용 대용량 문자열

absl::Cord — tree 구조로 표현되는 immutable-ish 문자열. zero-copy concat, shared substring, Google 내부 RPC payload의 기본 표현.

· cpp

같은 시리즈에서 이어 읽기

Abseil Escape — CEscape·HexEscape·Base64

Part 4-08: absl::CEscape / CHexEscape / Base64Escape / WebSafeBase64Escape — 안전한 문자열 이스케이프와 base64 인코딩의 모든 변형.

· cpp

같은 시리즈에서 이어 읽기

absl::StrFormat — type-safe printf·FormatSpec

Part 4-06: absl::StrFormat — printf 호환 syntax의 type-safe 포맷팅, FormatSpec 컴파일 타임 검증, FormatUntyped.

· cpp

같은 시리즈에서 이어 읽기

이 글을 참조하는 글 (2)