AI 에이전트 보안(에이전틱 AI 보안)은 답변의 정확도만 보는 일이 아니다.
챗봇은 답을 내고 행동은 사람이 정했지만, 에이전트는 업무 시스템을 읽고 쓰며 메시지를 보내고 도구를 호출해 업무 일부를 직접 처리한다(p.28). 그래서 실수가 답변에 그치지 않고 다음 행동을 바꾼다. 지금 정해야 할 것은 에이전트가 무엇을 실행할 수 있는지, 어디까지 사람 검토 없이 맡길 것인가 하는 점이다.
KCBCA Signals 1호 기고 14편을 잇는 원칙도 같다. 분석을 만들고 API 응답을 읽고 코드를 쓰는 능력을 금융·행정·배포 결정을 실행할 권한과 혼동해서는 안 된다(p.5). 이 글은 10월 연재에서 다룬 권한 분리, 독립 검사, 점진적 위임을 AI 에이전트 보안 체크리스트 10항목으로 정리한다.
앞선 '프롬프트 인젝션', '공급망 공격' 글에 이어지는 10월 연재 정리 편이다.
실행 권한을 가진 AI, 감독의 대상이다
기존 위험 관리는 소프트웨어가 정해진 대로 움직이고, 중요한 거래는 인증된 사람이 시작한다고 전제했다.
실행 권한을 가진 에이전트는 두 전제를 함께 흔든다. 실행 중 경계 없이 저장소·배포 파이프라인에 붙이면 감사 흔적 없이 대규모로 움직이는 특권 내부자를 둔 셈이다(p.16). 이사회가 감독해야 하는 이유다.
정상 호출이어도 판단은 틀릴 수 있다
인증·접근·API 호출이 모두 허용되고 성공해도 그 상황에 맞지 않는 행동일 수 있다.
맞는 정책을 찾아 정확히 인용하고도 예외를 놓쳐 결론이 틀리는 경우다(p.28). 그래서 AI 에이전트 보안은 접근 권한에 더해 사람 검토 없이 어디까지 맡길지를 묻는다. 상품 추천과 환불은 감당할 위험이 다르고, 금융 승인·권한 변경은 남는 위험이 훨씬 낮아야 한다(p.28).
분석·승인·게시 권한을 나눈다
'데이터는 지시가 아니다. 분석은 승인이 아니다. 기록은 사실이 아니다.'(p.30) 댓글·첨부 문서는 분석할 재료이지 지시가 아니다.
그 안에 숨은 명령을 AI가 따르는 것이 간접 프롬프트 인젝션이다(p.30). 그래서 경계를 모델 밖에서 강제한다. 분석 작업자에게는 자기 결과물을 게시할 권한을 주지 않고, 공개 자료는 명시적 승인 절차를 거친다. 매끄러운 모델 답변은 승인 기록이 아니다(p.31).
돈이 걸린 행동은 한도와 독립 검사로
먼저 에이전트가 승인할 수 있는 거래를 정한다.
지정한 회사 지갑 사이 이체처럼 범위를 좁히고, 건당·기간별 누적 한도를 둔다. 한도 상향은 더 높은 별도 승인을 받는다(p.32-33). 서명 직전에는 에이전트가 손댈 수 없는 검사가 수신자·자산·금액·컨트랙트 작업을 승인 범위와 대조한다(p.33). 개인 키가 안전해도 서명 서비스가 에이전트 승인만 믿으면 의도하지 않은 거래에 서명할 수 있다(p.32). 사람 검토자는 에이전트 설명과 독립된 정보를 보고 그 거래에만 승인한다(p.33).
점진적 위임 4단계와 운영 지표 4개
AI 에이전트 보안에서 위임 범위는 한 번에 정하지 않고, 운영 증거에 맞춰 넓힌다(p.29).
| 단계 | 하는 일 |
|---|---|
| 1. 관찰 | 기존 업무와 나란히 운영, 최종 행동은 사람 책임 |
| 2. 비교 | 판단을 실제 결과와 비교하고 실패 사례 수집 |
| 3. 좁은 실행 | 영향이 작은 행동만, 제한된 사용자에게 |
| 4. 확대 | 운영 증거가 충분히 쌓인 뒤 |
판단 근거는 모델 전체 정확도보다 운영 지표다(p.28).
| 운영 지표 | 확인할 것 |
|---|---|
| 자동 처리 비율 | 얼마나 자동으로 처리되나 |
| 사람 개입 빈도 | 사람이 얼마나 자주 개입하나 |
| 통과 건 중 심각한 실패 | 허용한 건에 심각한 실패가 얼마나 남나 |
| 불필요한 차단 | 정상 건을 얼마나 불필요하게 멈추나 |
받아들일 위험 수준은 공급사가 아니라 업무를 책임지는 조직이 정한다(p.29).
출시 전 시험: 거절·철회·중단 경로
성공하는 시연만 보지 말고 철회된 접근, 바꿔치기한 파일, 끊긴 작업처럼 거절 경로를 시험한다(p.31). 실제 자금을 맡기기 전에는 일부러 속이는 입력으로 금지된 행동과 한도 초과가 막히는지 보고, 권한 정지와 비활성화 뒤 남는 권한 회수도 연습한다(p.33).
규칙을 지켜도 연쇄 반응은 생긴다
한 에이전트가 이상 징후를 보고 제한을 바꾸고, 다른 시스템이 이를 새 위험 신호로 읽자 세 번째 에이전트가 반응한다.
각자 규칙을 지켜도 조직은 아무도 의도하지 않은 곳으로 갈 수 있다(p.29). 다른 시스템이 처리했다고 신뢰가 생기지는 않는다. 행동 사슬을 멈추고 추적하고, 접근을 회수하고, 업무를 격리하는 연습이 필요하다(p.31).
AI 에이전트 보안 체크리스트 10
| # | 확인할 것 | 근거 |
|---|---|---|
| 1 | 업무별 읽기·쓰기·실행 범위를 정했나 | p.28 |
| 2 | 분석 담당에게 승인·게시 권한이 없나 | p.30-31 |
| 3 | 문서·댓글·첨부 속 지시를 모델 밖에서 막나 | p.30, p.32 |
| 4 | 서비스별 자격증명 검증, 최소 권한인가 | p.31 |
| 5 | 건당·누적 한도와 상향 승인 절차가 있나 | p.32-33 |
| 6 | 서명 전 에이전트 밖에서 거래를 대조하나 | p.33 |
| 7 | 검토자가 독립 정보를 보고 그 거래에만 승인하나 | p.33 |
| 8 | 4단계 위임과 4개 지표를 따르나 | p.28-29 |
| 9 | 허용 여부·적절성·이유를 재구성할 수 있나 | p.29 |
| 10 | 철회·바꿔치기·중단·속이는 입력을 시험했나 | p.31, p.33 |
자주 묻는 질문
Q1. AI 에이전트 보안은 기존 AI 보안과 무엇이 다른가?
기존 AI는 답을 내고 사람이 행동했다. 에이전트는 직접 행동하므로 실행 권한의 범위와 검증을 함께 살펴야 한다(p.16, p.28).
Q2. '수상한 지시는 무시하라'고 쓰면 충분한가?
도움은 되지만 유일한 방어선은 아니다. 모델이 설득당해도 작동하는 통제를 모델 밖에 둔다(p.30-31, p.33).
Q3. 마지막에 사람이 승인하면 안전한가?
검토자가 에이전트와 같은 조작된 자료를 보면 공격자가 의도한 결과를 승인할 수 있다. 따로 확인한 정보로 그 거래에만 승인한다(p.33).
한눈에 정리
- 능력은 권한이 아니다(p.5)
- 분석·승인·게시·서명 권한을 나눈다
- 거래에는 한도와 서명 전 독립 검사를 둔다
- 위임은 운영 증거만큼 단계적으로 넓힌다
AI 에이전트 보안의 목표는 쓸모 있는 자동화를 늦추는 것이 아니다. 읽고 추론하고 행동할 수 있다는 사실이 슬그머니 권한이 되지 않게 하는 것이다(p.31). 도입 전, 체크리스트 10항목부터 채워 본다.
KCBCA Signals Vol.1 Issue 1 전문 읽기
참고: KCBCA Signals Vol.1 Issue 1 JJ Park(KCBCA GLOBAL 출판 총괄) p.5 Jack Wong(Scryer CEO, KCBCA GLOBAL 이사) p.16 강민승(티냅스 창업자·대표) p.28-29 · Ted Kim(Shorti CEO) p.30-31 Marc Krisjanous(Zanarc 창업자·수석 컨설턴트) p.32-33
