AI 거버넌스는 AI 사용 규정집만 뜻하지 않는다.
AI에 맡긴 권한을 통제할 증거와 장치를 갖추는 일이다.
기업 시스템의 AI가 대화형 도움에서 직접 실행으로 옮겨 가면서, 위임한 권한은 이를 다스릴 증거와 통제 장치보다 빠르게 커지고 있다(p.5).
KCBCA Signals 1호의 기고 14편이 함께 짚은 문제도 여기에 있다.
편집자 글은 처방을 세 가지로 모은다.
신중히 맡기고, 실행을 검증하고, 실패에 대비해야 한다(p.6).
그렇다면 조직은 AI에게 무엇을, 얼마나, 누구의 책임으로 맡겨야 할까?
이 글에서 AI 거버넌스의 핵심 결정을 정리한다.
능력과 권한은 다르다
분석을 만들고, API 응답을 읽고, 코드를 쓸 수 있다고 해서 금융·행정·배포 결정을 실행해도 된다는 뜻은 아니다(p.5).
유용한 모델, 유효한 자격증명, 성공한 API 호출도 그 행동이 적절하다는 근거가 되지 못한다(p.40).
도움이 어느새 허락으로 바뀌지 않게 하는 것, 이 구분이 출발점이다(p.40).
| 구분 | 능력 | 권한 |
|---|---|---|
| 예시 | 분석 작성·API 읽기·코드 작성 | 송금·배포·행정 결정 |
| 묻는 질문 | 잘 해내는가? | 맡겨도 되나? 누가 책임지나? |
| 판단 근거 | 모델 성능 | 업무별 증거와 통제 장치 |
조직이 정할 3가지: 권한·검증·실패 대비
편집자 글의 세 처방을 조직의 결정으로 옮기면 다음과 같다(p.6).
1. 권한 — 무엇을 맡길까? 같은 AI라도 업무마다 맡길 수 있는 범위가 다르다.
상품 추천은 환불보다 불확실성을 더 견딜 수 있고, 금융 승인·거래·권한 변경은 남는 위험이 훨씬 낮아야 한다(p.28).
2. 검증 — 얼마나 맡길까? 자율은 업무마다 쌓인 증거에 따라 조금씩 넓힌다(p.6, p.29).
서버가 정상이고 새 버전 태그가 붙어도 검토한 코드가 실제로 돌고 있다는 증거는 아니다(p.6).
3. 실패 대비 — 멈출 수 있나? 거절·회수·차단 경로를 성공 사례와 함께 시험하고, 중요한 행동을 설명할 증거를 남긴다(p.6).
사후에 그 행동이 허용됐는지, 적절했는지, 왜 허용됐는지 재구성할 수 있어야 한다(p.29).
아래 표로 우리 조직의 AI 거버넌스를 점검한다.
| 정할 것 | 조직이 답할 질문 | 근거 |
|---|---|---|
| 권한 | 사람 검토 없이 해도 되는 행동은? | p.28 |
| 위험 기준선 | 누가, 어느 수준의 위험을 받아들이나? | p.29 |
| 검증 | 실제 실행을 무엇으로 확인하나? | p.6 |
| 자율 확대 | 어떤 증거가 쌓이면 범위를 넓히나? | p.29, p.40 |
| 실패 대비 | 거절·회수·차단 경로를 시험했나? | p.6 |
| 설명 가능성 | 허용 여부·적절성·이유를 재구성할 수 있나? | p.29 |
권한 분리, 서명 전 독립 검사, 위임 4단계 같은 실무 통제 목록은 10월 말 'AI 에이전트 보안 체크리스트' 글에서 이어서 다룬다.
위험 기준선은 누가 정할까
모델 공급자나 기술 업체는 평가, 증거, 통제 장치를 제공할 수 있다.
하지만 어느 수준의 위험을 받아들일지는 은행, 병원, 제조사, 공공기관처럼 그 업무를 책임지는 조직이 정해야 한다(p.29).
AI 거버넌스를 공급자 약관에 맡겨 둘 수 없는 이유이다.
이사회의 책임: '몰랐다'는 방어가 아니다
기존 위험 관리는 소프트웨어가 정해진 논리대로 움직이고, 중요한 거래는 인증된 사람이 시작한다고 전제했다.
실행 권한을 가진 에이전트는 두 전제를 함께 무너뜨린다(p.16).
이사와 경영진에게는 중대한 운영 위험을 적극적이고 방어 가능한 방식으로 감독할 의무가 있다.
규제 감시가 강해진 환경에서 자율 소프트웨어의 행동을 몰랐다는 주장은 방어 논리가 되지 못한다고 기고는 지적한다(p.16).
나라별 접근: 속도보다 범위와 사람 개입
기고에 소개된 사례는 '얼마나 빨리'보다 '어디서부터, 어떤 조건으로'에 무게를 둔다(p.11).
| 나라 | 접근 | 근거 |
|---|---|---|
| 미국 | 연방 AI 도입을 적극 추진하되, AI 행동계획은 시민용 단일 에이전트보다 기관 그룹과 고영향 공공서비스 파일럿부터 | p.11 |
| 캐나다 | 2026 국가 AI 전략: 정부 도입을 장려하며 프라이버시·책임성, 의미 있는 결정과 업무에 사람 개입을 명시 | p.11 |
| 한국 | 이례적으로 야심 찬 접근. 기고자는 범위를 좁힌 공공 AI 시범 환경(샌드박스)을 제안 | p.11 |
편집부가 던진 토론 질문 3가지
Signals 1호 편집부는 독자에게 이런 질문을 남겼다(p.7).
Q. 책임은 어디에서 끝나는가 자율 에이전트가 존재하지 않는 패키지를 지어내거나 잘못된 금융 거래를 실행했다면, 신인의무 책임은 공급사·엔지니어링 팀·이사회 중 어디에서 끝날까?
Q. 사람 확인을 의무로 둘 것인가 공공 인프라나 국가 금융망에 닿는 자율 에이전트에 '골든 아워' 시간 잠금과 별도 채널의 사람 확인을 정부가 의무화해야 할까?
Q. 분석과 실행을 어떻게 떼어 놓을 것인가 분석과 거래 실행을 엄격히 분리해야 한다면, 고정된 경계 방화벽에 기대지 않고 지속적이고 암호학적으로 고정된 신뢰를 강제할 구조는 무엇일까?
정답이 정해진 질문은 아니다.
다만 조직 안에 이 질문에 답할 담당과 절차가 있는지가 AI 거버넌스의 수준을 보여 준다.
다음 질문: 어떤 증거가 자율을 넓히나
1호 맺음말은 남은 질문이 구현에 있다고 말한다.
어떤 증거가 자율 확대를 정당화하는가(p.40).
답을 찾는 습관은 넓은 자율 권한이 일상이 되기 전에 만들어 두어야 한다(p.29).
자주 묻는 질문
Q1. AI 거버넌스는 대기업만의 일인가?
기준은 회사 규모가 아니라 AI에게 실행을 맡기는지이다.
기고는 업무를 책임지는 조직이 받아들일 위험 수준을 정해야 한다고 말한다(p.29).
AI가 메시지를 보내거나 도구를 호출하기 시작했다면 규모와 상관없이 정할 일이 생긴다(p.28).
Q2. 사람 검토만 붙이면 되나?
그것만으로는 부족하다.
인증·접근·API 호출이 모두 정상이어도 그 상황에 맞지 않는 행동일 수 있다(p.28).
어느 업무를 얼마나 사람 검토 없이 맡길지 업무별로 정하고, 사람이 최종 행동을 책임지는 관찰 단계부터 증거에 따라 넓힌다(p.28-29).
Q3. 법이 생기면 끝인가?
아니다. 거버넌스에는 문서화된 정책과 함께 작동하는 운영 통제가 필요하다(p.6).
받아들일 위험 수준도 결국 업무를 책임지는 조직이 정한다(p.29).
한눈에 정리
- AI 거버넌스는 맡긴 권한을 통제할 증거와 장치이다(p.5)
- 능력은 권한이 아니다(p.5)
- 조직은 권한·검증·실패 대비를 정한다(p.6)
- 위험 기준선은 업무를 책임지는 조직이 정한다(p.29)
목표는 AI 도입을 늦추는 것이 아니다.
쓸모 있는 자율을 책임질 수 있고 멈출 수 있게 만드는 것이다(p.5).
우리 조직이 AI에 맡긴 일부터 표로 적는다.
KCBCA Signals Vol.1 Issue 1 전문 읽기
참고: KCBCA Signals Vol.1 Issue 1 편집자 글 · 토론 질문 — JJ Park(KCBCA GLOBAL 출판 총괄) p.5-7 Paul Kim(KCBCA GLOBAL 설립자·회장) p.11 Jack Wong(Scryer CEO, KCBCA GLOBAL 이사) p.16 강민승(티냅스 창업자·대표) p.28-29 · 맺음말 p.40
