"엣지 디바이스의 파편화된 GPU를 단일 셰이더로 통합해 생성형 AI 추론을 극대화한다" — Google

ENGINEERING INTELLIGENCE REPORT Tech News > Quantum & Hardware

"엣지 디바이스의 파편화된 GPU를 단일 셰이더로 통합해 생성형 AI 추론을 극대화한다" — Google, Vulkan·OpenCL·Metal·WebGPU를 단일 추론 파이프라인으로 통합하는 오픈소스 온디바이스 엔진 'ML Drift' 전격 발표

작성: Douglas Kim (시스템 아키텍트)

기사 보도일: 2026.10.25

[Figure 1 (도표 1)] Google, Vulkan·OpenCL·Metal·WebGPU를 단일 추론 파이프라인으로 통합하는 오픈소스 온디바이스 엔진 'ML Drift' 전격 발표 관련 아키텍처 개요

■ Executive Summary (핵심 요약)

Google이 모바일 및 엣지 기기에서 다양한 GPU(그래픽 처리장치) 하드웨어를 추상화하여 고성능 인공지능 추론을 지원하는 오픈소스 컴퓨팅 엔진 'ML Drift'를 Apache 2.0 라이선스로 전격 공개함.

LiteRT의 핵심 GPU 가속 엔진으로 동작하며, Tensor Virtualization(텐서 가상화) 기법을 통해 Vulkan, OpenCL, Metal, WebGPU 등 서로 다른 로우레벨 그래픽 API 상에서 단일 셰이더 코드를 최적 실행함.

기존 TFLite GPU 델리게이트 대비 컴파일 패스를 모듈화하고 런타임 그래프 결합을 실시간 지원하여, 전통적인 컴퓨터 비전 처리부터 온디바이스 생성형 AI 추론까지 극적인 성능 향상과 하드웨어 안정성을 실현함.

1. 배경: 모바일 및 엣지 디바이스 상의 극심한 GPU 하드웨어 파편화와 드라이버 오버헤드

등장 배경 및 기술적 맥락

온디바이스 AI On-Device AI(기기 내 인공지능)는 개인정보 보호와 네트워크 무지연성 측면에서 필수 기술로 자리잡았으나, 하드웨어 계층의 극심한 파편화 Fragmentation(파편화) 현상으로 인해 실무 엔지니어들에게 막대한 배포 부담을 안겨주었습니다. 스마트폰, 웨어러블, 스마트가전 등에 탑재된 GPU(그래픽 처리장치)는 제조사마다 아키텍처와 드라이버 버전이 천차만별이며, 지원하는 로우레벨 그래픽 API 역시 Vulkan, OpenCL, Apple의 Metal, 브라우저 기반 WebGPU 등으로 분열되어 있었습니다.

개발자들은 특정 칩셋에 맞춰 최적화된 셰이더 커널을 중복 작성해야 했고, 일부 구형 드라이버에서는 알 수 없는 크래시와 수치 정밀도 오차가 빈번히 발생했습니다. 기존 TensorFlow Lite의 GPU 델리게이트는 점차 복잡해지는 현대 LLM(거대언어모델) 및 SLM(소형언어모델) 구조를 감당하기에 구조적 유연성이 부족했습니다.

Google은 이러한 파편화 장벽을 정면 돌파하기 위해, 기존의 모든 로우레벨 그래픽 API를 완전히 통합 추상화하는 차세대 오픈소스 GPU 컴퓨팅 엔진 'ML Drift'를 공식 발표했습니다.

2. 핵심 메커니즘: Tensor Virtualization(텐서 가상화) 기반 통합 셰이더 및 컴파일 패스 모듈화

핵심 아키텍처 및 메커니즘 분석

ML Drift의 공학적 핵심은 저수준 하드웨어 차이를 상쇄하면서도 네이티브 수준의 연산 성능을 이끌어내는 세 가지 아키텍처 혁신에 있습니다.

1.

Tensor Virtualization(텐서 가상화) 기반 통합 셰이더: 물리적 메모리 레이아웃과 텍스처 포맷의 차이를 논리적 다차원 텐서로 가상화합니다. Vulkan, Metal, OpenCL을 불문하고 단 하나의 셰이더 정의만으로 각 플랫폼의 컴파일러에 최적화된 셰이딩 언어(SPIR-V, MSL 등)를 생성합니다.

2.

Extensible Compilation Passes(확장 가능한 컴파일 패스 모듈): 신경망 그래프를 하드웨어 맞춤형으로 재구성하는 컴파일 파이프라인을 완전히 모듈화했습니다. 연속된 행렬 곱셈과 활성화 함수를 단일 커널로 융합하는 Operator Fusion(연산자 융합)을 런타임에 동적으로 수행하여 글로벌 메모리 왕복 대역폭을 최소화합니다.

3.

Cross-Vendor Profiling & Diagnostic Runtime(교차 벤더 프로파일링 런타임): 상이한 칩셋 제조사별 성능 계측 인터페이스를 표준화하여 메모리 병목 지점과 셰이더 레지스터 압박(Register Spilling)을 실시간으로 추적하고, 안정성이 검증되지 않은 드라이버 환경에서는 자동으로 가장 안전한 연산 경로로 폴백(Fallback)합니다.

3. 산업적 시사점: 온디바이스 SLM(소형언어모델) 추론 레이턴시 압축과 크로스플랫폼 엣지 배포 표준화

산업적 파급력 및 미래 전망

ML Drift의 오픈소스 출시는 스마트폰과 엣지 장치에서의 생성형 AI 보급을 크게 앞당길 전망입니다.

개발자는 이제 단일 코드베이스로 Android, iOS, 웹 브라우저는 물론 다양한 임베디드 리눅스 기기까지 아우르는 크로스플랫폼 온디바이스 추론 엔진을 구축할 수 있습니다.

특히 최신 온디바이스 비전 언어 모델 VLM(시각 언어 모델)이나 소형 언어 모델 SLM(소형언어모델) 구동 시 초기 모델 로딩 시간과 추론 1회당 배터리 소모량을 획기적으로 절감할 수 있어, 엣지 AI 애플리케이션의 사용자 경험을 근본적으로 혁신할 것입니다.

4. 아키텍트 종합 분석 및 실무 제언

시스템 아키텍트 종합 분석

고성능 컴퓨팅 하드웨어 아키텍트의 시각에서 ML Drift는 모바일 생태계의 'CUDA 대안 계층'을 구축하려는 전략적 포석입니다.

서버 시장이 엔비디아의 CUDA 생태계에 묶여 있는 것과 달리, 엣지 디바이스 생태계는 개방형 표준 API를 매개로 한 통합 런타임이 주도권을 잡을 수 있는 최적의 전장입니다. ML Drift는 로우레벨 드라이버의 거친 이면을 우아하게 감싸 안으면서도 하드웨어 본연의 FLOPS(초당 부동소수점 연산량)를 손실 없이 추출해 냅니다.

향후 관건은 NPU(신경망처리장치) 전용 가속기와의 인터페이스 표준화 및 WebGPU 환경에서의 브라우저 내 AI 추론 효율 극대화가 될 것입니다.

■ 핵심 연계 기술 용어 참조 Reference Glossary(참조 해설)

•

Tensor Virtualization (텐서 가상화): 하드웨어별로 상이한 물리 메모리 배치와 텍스처 형식을 논리적 다차원 좌표계로 추상화하여 단일 연산 커널을 공유할 수 있도록 지원하는 메모리 기술.

•

Operator Fusion (연산자 융합): 인공신경망 계층의 다중 연산을 단일 GPU 커널로 묶어 처리함으로써 글로벌 메모리 입출력 병목을 방지하는 컴파일러 최적화 기법.

•

SPIR-V (표준 이진 중간 표현): Khronos Group이 제정한 이기종 병렬 컴퓨팅 및 그래픽 셰이더용 크로스플랫폼 중간 언어 규격.

■ 🔗 Official Reference & Source (공식 참조 링크 및 출처)

원천 출처: InfoQ (High-Performance Computing & AI News) | https://www.infoq.com/news/2026/10/google-ml-drift/ ↗