고객 메시지, 결제·발주, 인사 평가. 에이전트 AI에게 일을 맡길 때 사람이 꼭 확인해야 하는 지점을 고르는 법
요즘 회의에서 제일 자주 듣는 말이 “그거 AI한테 시키면 되잖아요”다. 틀린 말은 아니다. 초안 쓰고, 자료 찾고, 표 정리하는 일은 이미 AI가 사람보다 빠르다.
그런데 맡기는 범위가 ‘써주는 일’에서 ‘해주는 일’로 넘어가는 순간, 경영하는 입장에서 밤에 떠오르는 질문이 달라진다. 이 문장이 맞나가 아니라, 이 버튼이 눌려도 되나.
그래서 AI 도입 얘기가 나오면 나는 어떤 툴을 쓸지보다 다른 걸 먼저 묻는다. 어느 지점에서 사람이 반드시 멈춰 세우고 확인할 것인가. 흔히 휴먼 인 더 루프(Human-in-the-loop)라고 부르는 사람 검수 지점 이야기다.
‘틀린 말’에서 ‘틀린 행동’으로, 맥킨지가 짚은 변화
맥킨지가 올해 3월 내놓은 AI 신뢰 보고서를 읽다가 한 대목에서 오래 멈췄다. 생성형 AI 때는 AI가 틀린 말을 하는 게 걱정이었다면, 에이전트 시대에는 AI가 틀린 행동을 하는 것까지 다뤄야 한다는 내용이다. 의도하지 않은 작업을 실행하거나, 도구를 잘못 쓰거나, 정해둔 가드레일 밖에서 움직이는 경우를 말한다.
차이는 단순하다. 챗봇이 엉뚱한 답을 내면 사람이 읽다가 걸러낼 기회가 있다. 하지만 에이전트가 메일을 직접 보내고, 결제를 하고, 시스템 값을 바꾸면 사람이 보기 전에 결과가 이미 밖으로 나가 있다. 실수의 비용이 ‘수정’에서 ‘수습’으로 바뀌는 것이다.
요즘 회의에서 제일 자주 듣는 말이 “그거 AI한테 시키면 되잖아요”다. 틀린 말은 아니다. 초안 쓰고, 자료 찾고, 표 정리하는 일은 이미 AI가 사람보다 빠르다.
그런데 맡기는 범위가 ‘써주는 일’에서 ‘해주는 일’로 넘어가는 순간, 경영하는 입장에서 밤에 떠오르는 질문이 달라진다. 이 문장이 맞나가 아니라, 이 버튼이 눌려도 되나.
그래서 AI 도입 얘기가 나오면 나는 어떤 툴을 쓸지보다 다른 걸 먼저 묻는다. 어느 지점에서 사람이 반드시 멈춰 세우고 확인할 것인가. 흔히 휴먼 인 더 루프(Human-in-the-loop)라고 부르는 사람 검수 지점 이야기다.
‘틀린 말’에서 ‘틀린 행동’으로, 맥킨지가 짚은 변화
맥킨지가 올해 3월 내놓은 AI 신뢰 보고서를 읽다가 한 대목에서 오래 멈췄다. 생성형 AI 때는 AI가 틀린 말을 하는 게 걱정이었다면, 에이전트 시대에는 AI가 틀린 행동을 하는 것까지 다뤄야 한다는 내용이다. 의도하지 않은 작업을 실행하거나, 도구를 잘못 쓰거나, 정해둔 가드레일 밖에서 움직이는 경우를 말한다.
차이는 단순하다. 챗봇이 엉뚱한 답을 내면 사람이 읽다가 걸러낼 기회가 있다. 하지만 에이전트가 메일을 직접 보내고, 결제를 하고, 시스템 값을 바꾸면 사람이 보기 전에 결과가 이미 밖으로 나가 있다. 실수의 비용이 ‘수정’에서 ‘수습’으로 바뀌는 것이다.FDFD
같은 실수라도 AI가 ‘말’만 할 때와 직접 ‘행동’할 때 수습 비용이 다르다
숫자도 같은 얘기를 한다. 맥킨지는 2025년 12월부터 2026년 1월까지 약 500개 조직을 조사했다. 책임 있는 AI(RAI) 성숙도 평균은 4단계 기준으로 2.0에서 2.3으로 올랐고, 올해는 평가 항목에 ‘에이전트 AI 거버넌스와 통제’가 새로 들어갔다.
문제는 그다음이다. 전략, 거버넌스, 에이전트 통제 영역에서 3단계 이상에 오른 조직은 약 3분의 1에 그쳤다. 맥킨지의 해석은 이렇다. 기술과 리스크 관리 역량은 앞으로 나아가는데, 조직 정렬과 감독 구조가 AI 확산 속도를 따라가지 못하고 있다.
응답자 셋 중 둘가량은 에이전트 AI를 본격적으로 늘리지 못하는 가장 큰 이유로 보안과 리스크 우려를 꼽았다. 규제가 불확실해서도, 기술이 부족해서도 아니라는 거다. 믿고 맡길 구조가 없어서 못 쓰고 있다고 읽는 게 맞다.
성숙도는 오르고 있지만 거버넌스와 에이전트 통제는 아직 뒤처져 있다
사람 검수 지점은 세 가지 질문으로 고른다
모든 걸 사람이 확인하면 AI를 쓰는 의미가 없다. 반대로 아무것도 안 보면 언젠가 사고가 난다. 그래서 나는 업무마다 딱 세 가지를 묻는다.
① 되돌릴 수 있나
내부 문서 초안은 틀려도 고치면 끝이다. 고객에게 이미 나간 메시지, 이미 송금된 돈은 다르다. 되돌리기 어려운 일일수록 실행 직전에 사람이 서 있어야 한다.
② 누구에게 닿나
결과가 회사 안에서 끝나는지, 고객이나 거래처, 직원 개인에게 직접 닿는지를 본다. 사람에게 닿을수록, 닿는 사람이 많을수록 검수 강도를 올린다.
③ 누가 설명해야 하나
문제가 생겼을 때 “AI가 그랬어요”는 답이 될 수 없다. 결과를 설명할 책임이 있는 사람이 승인 버튼도 누르게 한다. 이게 내가 지키는 원칙이다.
앞의 두 질문을 축으로 놓으면 업무가 대략 네 칸으로 나뉜다.
오른쪽 위로 갈수록 AI는 준비만 하고 결정은 사람이 내린다
사례 1. 고객 대상 메시지
고객 응대는 AI를 가장 먼저 붙이는 영역이고, 그만큼 사고도 잦다. 배송 조회나 영업시간 안내 같은 정보성 답변까지 사람이 일일이 볼 필요는 없다. 주기적으로 표본을 뽑아 확인하면 충분하다.
선이 그어지는 곳은 회사가 무언가를 ‘약속’하는 문장이다. 환불, 보상, 일정 확정, 할인, 사과. 이런 문장은 한 번 나가면 고객에게는 회사의 공식 입장이 된다. 그래서 AI는 초안까지만 쓰고, 약속이 담긴 문장은 사람이 읽고 보낸다.
발송 규모도 기준이 된다. 한 명에게 가는 답장과 만 명에게 가는 공지는 같은 문장이어도 위험이 전혀 다르다. 대량 발송은 내용과 상관없이 사람 승인을 거치게 하는 편이 낫다. 잘못된 문장 하나가 만 번 복제되는 데는 몇 초면 된다.
사례 2. 결제와 발주
돈이 움직이는 일은 기준을 숫자로 박아두는 게 좋다. ‘이 정도면 괜찮겠지’의 감은 사람마다 다르기 때문이다. 내가 쓰는 틀은 이 정도다.
- 정해둔 금액 이하, 기존 거래처, 평소와 같은 품목과 수량이면 에이전트가 처리하고 사후 보고
- 금액 한도를 넘거나 처음 거래하는 곳이면 실행 전에 사람 승인
- 수량이 갑자기 몇 배로 뛰는 등 평소 패턴에서 벗어나면 금액이 작아도 일단 멈춤
하나 더 챙기는 게 있다. 요청하는 쪽과 승인하는 쪽을 나누는 것이다. 에이전트가 발주서를 만들었으면, 그걸 시킨 담당자가 아니라 예산을 책임지는 사람이 승인한다. 사람끼리 일할 때 쓰던 내부통제 원칙을 AI에도 그대로 적용하는 셈이다. 핵심은 에이전트에게는 ‘준비’ 권한을, 사람에게는 ‘실행’ 권한을 남겨두는 구조다.
사례 3. 인사 평가
가장 조심스러운 영역이다. 평가 하나가 누군가의 연봉과 승진, 때로는 거취까지 바꾼다.
AI가 잘하는 일은 분명히 있다. 1년 치 업무 기록을 정리하고, 목표 대비 실적을 요약하고, 동료 피드백에서 반복되는 이야기를 추려준다. 평가자가 놓친 근거를 찾는 데는 꽤 쓸모가 있다. 하지만 점수와 등급, 그리고 그 이유는 사람이 정하고 사람이 써야 한다.
법도 이 방향으로 가고 있다. 2024년 3월부터 시행된 개인정보보호법 제37조의2는 사람 개입 없이 완전히 자동화된 시스템이 내린 결정이 권리나 의무에 중대한 영향을 주면, 당사자가 그 결정을 거부하거나 설명을 요구할 수 있게 했다. 올해 1월 시행된 AI 기본법은 채용처럼 기본권에 큰 영향을 주는 영역의 AI를 고영향 AI로 따로 관리하는데, 시행령은 최종 의사결정에 사람이 개입하면 통제 가능한 것으로 보고 대상에서 뺀다.
다만 오해하면 안 되는 부분이 있다. 법 해석은 전문가와 따로 확인해야겠지만, 경영자 입장에서 보면 AI가 매긴 등급을 그대로 옮겨 적고 도장만 찍는 건 사람의 결정이라고 하기 어렵다. 그래서 평가 사유는 평가자가 자기 말로 직접 쓰게 하는 게 좋다. 직접 쓰다 보면 자연스럽게 근거를 한 번 더 보게 된다.
세 업무 모두 AI는 준비를, 사람은 결정과 실행을 맡는다
검수 지점이 ‘도장 찍는 곳’이 되지 않으려면
검수 지점을 만들어놓고 가장 흔하게 무너지는 경로는 검수 피로다. 하루에 승인 요청이 200건씩 오면 사람은 결국 읽지 않고 누른다. 검수 지점은 있는데 검수는 없는 상태가 되는 거다. 그래서 세 가지를 같이 본다.
- 승인율이 100%에 가까우면 의심한다. 기준이 너무 낮아 사소한 건까지 올라오거나, 아무도 안 읽고 있다는 신호다.
- 검수자에게 거절할 권한과 시간을 준다. 거절했다가 일정 지연 책임까지 떠안는 구조라면 아무도 거절하지 않는다.
- 기준을 분기마다 다시 본다. 사고가 없던 영역은 풀고, 아슬아슬했던 영역은 조인다.
마지막으로 이 모든 걸 누가 책임지는지 이름을 정해둬야 한다. 맥킨지 조사에서 AI 거버넌스 전담 역할이나 내부감사·윤리 조직처럼 책임 주체가 분명한 조직의 성숙도 평균은 2.6이었고, 책임 주체가 불분명한 조직은 1.8에 머물렀다. 같은 기술을 써도 누가 책임지는지 정해둔 조직이 훨씬 앞서 있다는 뜻이다.
결국 AI를 더 많이 쓰기 위한 장치
사람 검수 지점을 늘리자는 말이 AI를 덜 쓰자는 말로 들릴 수 있다. 실제로는 반대다. 어디서 멈출지 정해두면 나머지는 마음 놓고 맡길 수 있다. 브레이크를 믿을 수 있어야 속도를 낼 수 있는 것과 같다.
당장 해볼 수 있는 건 간단하다. 지금 AI가 하고 있거나 맡기려는 업무를 쭉 적어보고, 하나씩 물어보면 된다. 되돌릴 수 있나, 누구에게 닿나, 누가 설명하나. 셋 중 하나라도 걸리면 그 앞에 사람을 세워두자.
참고 자료
· McKinsey, State of AI trust in 2026: Shifting to the agentic era (2026.3.25)
· 개인정보보호위원회, 자동화된 결정에 대한 정보주체 권리 시행 관련 보도
· 바이라인네트워크, AI 기본법 시행령 고영향 AI 판단 기준 보도 (2026.1)