프롬프트 인젝션은 외부 자료에 심어 둔 지시로 AI 시스템의 행동을 바꾸려는 공격이다(p.19).
웹페이지·문서·댓글처럼 AI가 읽는 콘텐츠를 통해 들어오면 OWASP는 이를 '간접 프롬프트 인젝션'으로 분류한다(p.30).
AI가 자료를 요약하는 데 그치지 않고 연결된 서비스를 호출할 수 있다면, 잘못 읽은 지시가 실제 행동으로 이어질 수 있다(p.30).
그래서 수상한 지시를 무시하라는 당부만으로는 부족하다.
자료와 사용자 지시를 구분하고, 읽기·분석·승인·게시·서명 권한을 필요한 만큼만 나눠야 한다.
중요한 행동은 AI 바깥에서 다시 확인하고, 사람이 승인할 때는 AI의 요약과 별개로 원래 내용을 볼 수 있어야 한다(p.19, p.31, p.33).
이 글은 KCBCA Signals Vol.1 Issue 1에 실린 기고 세 편(p.19, p.30–33)을 바탕으로 한다.
데이터는 지시가 아니다
"데이터는 지시가 아니다. 분석은 승인이 아니다. 기록은 진실이 아니다." — KCBCA Signals Vol.1 p.30
한 콘텐츠 분석 서비스의 개발 경험에서 나온 원칙이다.
영상 자막·댓글·불러온 문서는 분석할 자료이지 사용자가 내린 지시가 아니다.
그런데 AI는 그 속 문장을 따라야 할 지시로 오인할 수 있다.
OWASP는 이미지 같은 미디어를 통한 위험도 간접 프롬프트 인젝션에 포함한다(p.30).
이 개발팀은 이것을 문구가 아니라 구조의 문제로 다뤘다(p.30).
현장 1. 콘텐츠 분석 서비스: 분석과 게시 사이
경계가 하나라도 무너지면 공개 전 캠페인 유출, 승인자 오표시, 허용 범위 밖의 게시가 생길 수 있다.
OWASP는 과도한 권한과 자율성을 '과도한 에이전시'라고 부른다(p.30).
그래서 분석 담당은 자료를 읽고 결과를 쓰되 자기 결과물을 게시할 권한은 받지 않는다.
검토자가 승인한 결과만 게시 담당이 공개한다.
유창한 AI 답변은 승인 기록이 아니다(p.31).
권한 분리 (p.30 그림 5 재구성)
| 행동 | 분석 담당 | 권한 있는 검토자 | 게시 담당 |
|---|---|---|---|
| 자료 읽고 분석 | 허용 | 검토 | — |
| 결과 승인 | 불가 | 승인 | — |
| 승인된 결과 공개 | 불가 | — | 게시 |
현장 2. 지갑 연결 AI 비서: 요약만 보고 승인한다면
가정해 본다.
AI 비서가 문서를 읽고 커뮤니티 활동을 설명한 뒤 거래를 준비해 준다(p.19).
이 비서가 악성 페이지의 지시를 믿을 만하다고 받아들이면 사용자가 의도하지 않은 거래를 준비할 수 있다.
사용자가 AI의 요약만 보고 승인하면 원래 문제를 놓칠 수 있다(p.19).
활동을 설명하는 데 지갑 통제권은 필요하지 않다.
한 가지 일을 맡긴 권한이 슬그머니 더 큰 권한으로 넓어져서도 안 된다.
사용자는 제안된 행동과 위임할 권한을 확인하고, 계정 구조가 허용하면 철회할 수 있어야 한다(p.19).
현장 3. 이체 승인 에이전트: 키를 지켜도 서명될 수 있다
또 다른 가정이다.
가상자산 이체 요청을 검토하는 AI 에이전트가 이체 목적을 설명한 첨부 문서를 읽는다.
공격자가 그 문서에 지시를 심어 두면, 에이전트는 이를 승인 조건을 건너뛰라는 지시로 받아들일 수 있다.
간접 프롬프트 인젝션의 한 예이다(p.32).
손실로 이어질지는 승인과 서명 사이에서 갈린다.
서명 서비스가 에이전트 승인만으로 충분하다고 보면, 개인 키는 안전하게 지켜지는데도 회사가 의도하지 않은 거래에 서명할 수 있다.
키 보호만 점검하면 이 약점을 놓친다(p.32).
대응은 서명 직전, 에이전트가 손댈 수 없는 별도 검사를 두는 것이다.
수신자·자산·금액·컨트랙트 작업을 승인된 권한과 대조하면, 모델이 설득당했더라도 요청을 거절할 수 있다(p.33).
세 현장의 공통 해법
프롬프트 인젝션에 대응하려면 AI가 자료를 잘못 읽더라도 실행할 수 있는 일을 소프트웨어에서 제한해야 한다.
| 해법 | 하는 일 | 근거 |
|---|---|---|
| 권한 분리 | 분석·승인·게시·서명을 서로 다른 역할에 | p.31 |
| 서명 전 독립 검사 | 모델 밖에서 수신자·자산·금액·작업 대조 | p.33 |
| 최소·단기 접근 | 필요한 접근만, 기간도 짧게 | p.19 |
| 독립 정보로 사람 검토 | AI 설명과 별개로 확인, 그 거래에만 승인 | p.33 |
| 거절·철회 경로 시험 | 철회된 접근·바꿔치기 파일·중단 작업·속이는 입력 | p.31, p.33 |
영국 국가사이버보안센터(NCSC)도 모델 밖의 행동 제한, 꼭 필요한 접근만 짧게 주기, 실질적인 감독을 권고한다(p.19).
성공하는 시연만 보지 말고 철회된 접근, 바꿔치기한 파일, 중단된 작업, 일부러 속이는 입력에서도 막히는지 시험한다(p.31, p.33).
자주 묻는 질문
Q1. 모델에게 수상한 지시를 무시하라고 하면 되지 않나?
도움은 되지만 개인 정보나 게시 권한을 지키는 유일한 방어선이 될 수는 없다(p.30).
행동 한도는 지시문이 아니라 AI를 둘러싼 소프트웨어가 강제해야 한다(p.19).
Q2. 프롬프트 인젝션과 피싱은 어떻게 다른가?
피싱은 사람을 설득하고, 프롬프트 인젝션은 AI 시스템을 겨냥한다.
다만 둘 다 행동으로 이어지는 결정에 영향을 줄 수 있다(p.19).
Q3. 마지막에 사람이 승인하면 안전하지 않나?
AI의 요약만 보면 문제를 놓칠 수 있다(p.19).
검토자는 독립적으로 확인한 거래 내용을 보고, 제출된 그 거래에만 승인해야 한다(p.33).
한눈에 정리
- AI가 읽은 외부 자료는 사용자 지시가 아니다
- 분석·승인·게시·서명 권한을 나눈다
- 서명 전에는 모델 밖에서 거래 내용을 검사한다
- 거절과 권한 철회가 실제로 작동하는지 시험한다
프롬프트 인젝션 대응의 목표는 쓸모 있는 자동화를 늦추는 것이 아니다.
읽고 추론하고 행동할 수 있다는 사실이 슬그머니 그렇게 해도 된다는 권한이 되지 않게 하는 것이다(p.31).
같은 내용은 인스타그램 @kcbca_korea에서 40초 영상으로도 정리했다.
KCBCA Signals Vol.1 Issue 1 원문 읽기 (p.30)
참고: KCBCA Signals Vol.1 Issue 1 Jun Ahn(MemeCore CEO) p.19 Ted Kim(Shorti CEO) p.30-31 Marc Krisjanous(Zanarc 창업자·수석 컨설턴트) p.32-33
