"글로벌 edge routing을 지탱하던 초고속 in-memory store의 빗장을 푼다" — Cloudflare

ENGINEERING INTELLIGENCE REPORT Tech News > Quantum & Hardware

"글로벌 edge routing을 지탱하던 초고속 in-memory store의 빗장을 푼다" — Cloudflare, 1.62ms 초저지연 read를 보장하는 차세대 분산 data engine 'Workers KV Instant(Quicksilver)' 비공개 beta 출시

작성: Douglas Kim (시스템 아키텍트)

기사 보도일: 2026.10.28

[Figure 1 (도표 1)] Cloudflare, 1.62ms 초저지연 read를 보장하는 차세대 분산 data engine 'Workers KV Instant(Quicksilver)' 비공개 beta 출시 관련 아키텍처 개요

■ Executive Summary (핵심 요약)

Cloudflare가 자사의 모든 web traffic(초당 수천만 건) routing과 firewall rule을 backend에서 처리해 온 사내 초고속 in-memory key-value 분산 store 'Quicksilver'를 외부 개발자에게 'Workers KV Instant'라는 이름으로 전격 개방함.

전 세계 300개 이상의 도시 data center 전역에 걸쳐 read 요청의 p99 latency(99 백분위수 지연 시간)를 기존 Workers KV의 287ms에서 1.62ms로 170배 이상 단축하는 성능을 달성함.

In-memory 상주성을 극대화하기 위해 namespace당 최대 10,000개 key, 총 용량 1MB, 초당 1회 write(1 write/sec)라는 엄격한 resource envelope 제약을 채택하여, feature flag 및 실시간 권한 인증과 같은 mission-critical control data에 최적화됨.

1. 배경: 기존 분산 key-value store의 cache miss에 따른 cold start 및 수백 ms 대의 p99 latency 병목

등장 배경 및 기술적 맥락

현대 serverless 및 분산 edge computing 환경에서 전 세계 수백 개 도시로 분산된 application의 state를 일관되게 유지하는 것은 분산 시스템의 가장 까다로운 난제 중 하나입니다. 기존의 분산 key-value store인 Cloudflare Workers KV는 eventual consistency(최종 일관성) model을 기반으로 설계되어 전 세계적인 확장성을 제공했으나, cache layer에서 data가 적중하지 못하는 cache miss가 발생할 경우 중앙 storage로 왕복 통신을 수행해야 했습니다.
이로 인해 p99 latency가 287ms까지 치솟아, 실시간 사용자 인증 session 검증, microservice 간 feature flag 전환, 금융 거래 guardrail과 같이 ms 단위의 즉시 응답이 요구되는 critical workload에 적용하기 어려웠습니다.
반면 Cloudflare 내부 infrastructure는 지난 10년간 자사 edge로 유입되는 모든 HTTP/HTTPS 요청의 routing과 보안 정책을 판정하기 위해 독자 개발한 in-memory 분산 database인 Quicksilver를 가동해 왔습니다. Cloudflare는 고객 개발자들의 극단적인 초저지연 요구를 충족하기 위해, 마침내 Quicksilver의 빗장을 풀고 Workers KV Instant를 비공개 beta로 공식 출시했습니다.

2. 핵심 메커니즘: 전 세계 300개 도시 edge node 상주 in-memory replication 및 1MB resource envelope 기반 즉각 read 보장

핵심 아키텍처 및 메커니즘 분석

Workers KV Instant(Quicksilver)가 전 세계 300개 도시에서 1.62ms의 p99 read 성능을 달성하는 핵심 공학 메커니즘은 '엄격한 resource envelope 제약'과 '완전 in-memory replication'의 결합에 있습니다.

1.

Pervasive In-Memory Replication: Disk I/O나 원격 지역으로의 network hop을 완전히 배제합니다. 사용자가 정의한 key-value dataset은 Cloudflare 글로벌 network의 모든 edge server 물리 RAM에 100% 상주합니다. 따라서 edge에서 실행되는 worker script의 env.KV_INSTANT.get(key) 호출은 원격 RPC가 아닌 local memory pointer 역참조 수준으로 실행됩니다.

2.

Deterministic 1MB Resource Envelope: In-memory replication의 전산망 과부하를 방지하기 위해 엄격한 물리적 상한선을 둡니다. 각 namespace는 최대 10,000개의 key, 총 data 크기 1MB 이내로 제한되며, write 속도는 1 write/sec로 조절됩니다. 이 엄격한 규격을 통해 수만 개의 고객 namespace가 server 물리 memory를 고갈시키지 않고 완벽한 deterministic latency를 유지합니다.

3.

Optimized Gossip Broadcast Pipeline: Data write가 발생하면 중앙 coordinator node에서 암호화된 delta packet을 생성하여 사설 광섬유 backbone을 통해 전 세계 300개 도시로 즉각 gossip broadcast합니다. 전 세계 모든 edge node의 memory가 수 초 내에 동일한 최신 state로 수렴합니다.

3. 산업적 시사점: Feature flag, 글로벌 session token, AI agent routing table의 전 지구적 1ms 대 동기화 실현

산업적 파급력 및 미래 전망

Workers KV Instant의 등장은 글로벌 분산 architecture에서 '중앙 집중식 read 병목'을 완전히 소멸시키는 전환점입니다.
수많은 글로벌 기업들이 A/B test 설정 변경이나 특정 사용자 차단 rule을 적용할 때, 중앙 database의 과부하와 전파 지연으로 인해 전 세계 지사마다 수 분에서 수십 분간 정책 불일치를 겪어야 했습니다.
이제 개발자들은 1.62ms의 read latency를 바탕으로, 분산 AI agent의 runtime 행동 규칙, 시스템 긴급 중단용 kill switch, 그리고 글로벌 license 검증 table을 단일 codebase에서 비용 효율적으로 운영할 수 있게 되었습니다.

4. 아키텍트 종합 분석 및 실무 제언

시스템 아키텍트 종합 분석

분산 storage 및 고성능 edge system architect의 관점에서 Cloudflare의 전략은 "engineering trade-off의 본질을 명확히 정의한 설계"입니다.
대용량 storage와 초저지연 in-memory replication은 CAP 정리와 물리적 memory 비용의 한계로 인해 동시에 만족할 수 없습니다. Cloudflare는 '1MB 용량 제한 및 1 write/sec'라는 과감한 제약을 부과하는 대가로, 전 세계 300개 도시에서 1.62ms라는 read 속도를 획득했습니다.
실무 architect는 이 서비스를 대용량 media 저장소가 아닌 '글로벌 application의 control plane bus'로 활용해야 합니다. 사용자 profile이나 큰 JSON 파일은 기존 Workers KV나 R2 object storage에 두고, 해당 data를 제어하는 암호화 key, routing pointer, 실시간 session flag만을 Workers KV Instant에 배치하는 2-tier architecture를 구축하는 것이 가장 이상적인 패턴입니다.
■ 💡 핵심 연계 기술 용어 참조 Reference Glossary

•

p99 Latency (99 백분위수 지연 시간): 전체 system 요청 중 가장 오래 걸린 상위 1%를 제외한 나머지 99%의 요청이 완료되는 데 걸린 최대 시간으로, 서비스의 tail latency 안정성을 평가하는 핵심 지표.

•

Eventual Consistency (최종 일관성): Data 갱신 시 모든 분산 node에 즉각적인 동기화가 일어나지 않더라도, 추가적인 write가 없다면 일정 시간이 흐른 뒤 모든 node가 동일한 최신 state로 수렴하는 분산 일관성 model.

•

Kill Switch: 대규모 분산 software system에 치명적인 보안 취약점이나 논리 오류가 발생했을 때, 전체 system을 재배포하지 않고 전역 flag 값을 즉각 변경하여 위험 기능을 원격으로 차단하는 방어 메커니즘.

■ 🔗 Official Reference & Source (공식 참조 링크 및 출처)

원천 출처: InfoQ (Distributed Systems & Edge Computing) | https://www.infoq.com/news/2026/10/workers-kv-instant/ ↗