[용어 브리핑] Attention Gating & Instruction-Data Separation

TECH GLOSSARY & CONCEPT REPORT Tech News > Tech Glossary

[용어 브리핑] "Untrusted data가 system instruction을 hijacking하지 못하도록 attention을 통제한다" — Attention Gating & Instruction-Data Separation

작성: Douglas Kim (시스템 아키텍트)

기준일: 2026.10.29

[Figure 1 (도표 1)] Attention Gating & Instruction-Data Separation 관련 아키텍처 개요

■ Executive Summary (용어 핵심 정의)

학술 논문 'Heads of Security'(arXiv:2610.37657)에서 prompt injection 방어를 위해 제시된 핵심 기술 개념인 'Attention Gating'과 'Instruction-Data Separation'의 시스템적 원리와 수학적 메커니즘을 객관적으로 해설함.

Transformer model이 신뢰할 수 있는 system prompt(instruction)와 외부 web 문서·검색 결과(data)를 단일 token sequence로 혼합 처리하면서 발생하는 취약점을 해결하기 위해, 입력 token의 출처 labeling과 attention head별 gate 제어를 결합함.

Llama-3.3-70B 및 GPT-OSS-20B 실험 환경에서 외부 data에 은닉된 제어 명령이 model의 행동 결정을 조작하는 흐름을 선택적으로 감쇠시켜, 기존 architecture 변형 기법(ASIDE 등)에서 나타났던 tool use 성능 급락 문제를 완화한 실험적 방법론임.

1. 배경: RAG 및 web agent 확산에 따른 indirect prompt injection 취약점의 구조적 원인 규명

개념 정의 및 등장 배경

현대 생성형 AI에서 사용되는 transformer architecture는 모든 입력 텍스트를 동일한 차원의 token vector로 embedding하여 상호 간의 유사도를 계산합니다. 이러한 설계는 LLM이 문맥을 유연하게 합성하는 데 유리하지만, 보안 관점에서는 'instruction(명령어)과 data(data)의 미분리'라는 구조적 문제를 내포하고 있습니다.
사용자가 작성한 정당한 system instruction과, model이 요약하거나 분석해야 할 외부 web page·이메일·PDF 파일 속의 텍스트가 단일 context window 내부에서는 동일한 형태의 token으로 뒤섞이게 됩니다.
그 결과 외부 문서 속에 "이전 지시를 무시하고 특정 tool을 호출하라"는 적대적 문구가 포함될 경우, model이 이를 정당한 명령으로 오인하는 indirect prompt injection이 발생합니다. arXiv:2610.37657 연구진은 이 문제를 완화하기 위해 입력 token의 출처를 구분하는 Instruction-Data Separation과 attention 연산 경로를 제어하는 Attention Gating 개념을 결합하여 실험을 수행했습니다.

2. 핵심 메커니즘: Transformer attention matrix 상에서 trusted token과 untrusted token 간의 weight 동적 통제

핵심 메커니즘 및 시스템 아키텍처

논문에서 정의된 Instruction-Data Separation 및 Attention Gating의 구체적 작동 메커니즘은 세 단계로 구성됩니다.

1.

Provenance-Aware Token Tagging: Model의 입력 처리 단계에서 system prompt와 인증된 사용자 지시는 Trusted Token으로, RAG 검색 결과나 외부 tool 반환값은 Untrusted Token으로 구분하는 binary mask를 부여합니다.

2.

Per-Head Attention Gating: Multi-Head Attention layer의 각 attention head마다 학습 가능한 스칼라 또는 벡터 형태의 Gating Parameter를 배치합니다. 연산 과정에서 untrusted token이 system instruction의 제어 흐름을 덮어쓰려는 query-key 상호작용을 보일 때, 학습된 gate가 해당 head의 attention weight를 선택적으로 감쇠시킵니다.

3.

Selective Utility Preservation: 모든 attention head에서 외부 data를 일괄 차단하면 문서 요약이나 tool argument 추출까지 불가능해집니다. 연구진은 적대적 학습을 통해 명령 추종(Instruction Following)에 관여하는 특정 head에서만 untrusted data의 영향력을 차단하고, 단순 정보 추출을 담당하는 head는 열어두어 tool use 성능을 유지하도록 설계했습니다.

3. 산업적 시사점: Tool use utility 저하를 최소화하면서 외부 data 기반 명령어 탈취를 억제하는 architecture 실험 검증

유사 기술 비교 및 산업 적용 사례

이 개념이 제시하는 공학적 의의는 '보안 강화와 agent 작업 수행 능력(Utility) 간의 상충 관계 완화'에 있습니다.
기존에 제안된 architecture 수정 기법(예: ASIDE)은 명령어와 data를 분리하는 과정에서 model이 외부 data를 참조해 도구의 인자(Argument)를 구성하는 능력까지 제약하여, 표준 benchmark에서 도구 호출 성공률이 크게 하락하는 한계가 보고되었습니다.
반면 논문에서 실험된 attention gating 방식은 Llama-3.3-70B와 GPT-OSS-20B model 테스트에서 RL-Hammer 공격에 대한 ASR(공격 성공률)을 10% 수준으로 낮추면서도 기존 도구 사용 benchmark 점수를 본래 model 수준으로 유지할 수 있음을 실험적으로 확인했습니다.

4. 아키텍트 종합 분석 및 실무 제언

시스템 아키텍트 실무 가이드 및 제언

AI 시스템 엔지니어링 관점에서 이 기법은 외부 입출력 filter(Guardrail)에만 의존하던 방어 체계를 model 내부의 attention 연산 계층으로 확장하려는 연구적 시도로 이해할 수 있습니다.
다만 실무 도입을 위해서는 두 가지 현실적 전제 조건과 한계를 명확히 고려해야 합니다. 첫째, 애플리케이션 계층에서 어떤 입력이 trusted instruction이고 어떤 입력이 untrusted data인지를 완벽히 구분하여 binary mask로 전달할 수 있는 엄격한 input pipeline이 선행되어야 합니다.
둘째, 이미 배포된 상용 클로즈드 API model에는 적용할 수 없으며, 가중치 접근과 추가적인 보안 미세조정(Fine-tuning) 및 커스텀 attention kernel 수정이 가능한 자체 호스팅 open-weight model 환경에서만 구현 가능하다는 점을 감안하여 시스템 architecture를 설계해야 합니다.
■ 💡 핵심 연계 기술 용어 참조 Reference Glossary

•

Multi-Head Attention: Transformer model이 입력 sequence 내의 여러 위치에서 서로 다른 의미론적 관계와 문맥 정보를 복수의 독립적인 subspace에서 병렬로 계산하는 핵심 신경망 구조.

•

FlashAttention: GPU 내부의 고속 SRAM을 적극 활용하여 HBM(고대역폭 메모리)과의 data 읽기/쓰기 횟수를 줄임으로써 attention 연산 속도와 메모리 효율을 높이는 최적화 kernel 기법.

•

Indirect Prompt Injection (간접 prompt injection): 공격자가 직접 model에 prompt를 입력하는 대신, model이 외부에서 읽어 들이는 웹페이지, 이메일, database 문서 등에 악성 명령어를 심어 두어 agent의 동작을 탈취하는 공격 방식.

■ 🔗 Official Reference & Source (공식 참조 링크 및 출처)

원천 기술 백서: arXiv:2610.37657 Tech Glossary | https://arxiv.org/abs/2610.37657 ↗