AI 자동화, 어디까지 맡겨도 될까? 사람이 승인해야 할 6가지 지점

AI 자동화는 초안을 만드는 순간보다 그 초안이 실제 행동으로 이어지는 순간에 위험이 커집니다. 메일을 자동 발송하고, 금액을 등록하고, 고객 정보를 옮기고, 게시물을 공개하는 단계에서는 작은 오류도 바로 외부 문제로 번질 수 있습니다.

그렇다고 모든 단계를 사람이 직접 하면 자동화의 장점이 사라집니다. 필요한 것은 자동화 여부를 한 번에 결정하는 것이 아니라, 저위험 구간은 빠르게 흘려보내고 고위험 구간에만 사람이 멈춰 확인하는 승인 지점을 설계하는 일입니다.

자동화와 자율 실행은 다릅니다

회의록 초안 생성, 파일명 정리, 공개 자료 요약처럼 결과를 다시 확인할 수 있고 되돌리기 쉬운 일은 자동화하기 좋습니다. 반면 송금, 계약 변경, 대외 발송처럼 실행 후 되돌리기 어렵거나 타인에게 영향을 주는 일은 같은 방식으로 다루면 안 됩니다.

판단 기준은 단순합니다. 틀렸을 때 손실이 얼마나 큰가, 되돌릴 수 있는가, 외부 사람에게 영향을 주는가, 민감정보를 다루는가를 봅니다.

먼저 위험도를 세 단계로 나누세요

등급	특징	운영 방식
낮음	내부 초안, 쉽게 재생성, 외부 영향 없음	자동 실행 후 표본 검수
중간	팀 공유, 일정·수치 포함, 수정 가능	실행 전 담당자 확인
높음	돈·권리·개인정보·대외 공개, 되돌리기 어려움	명시적 승인 없이는 실행 금지

이 표는 AI의 성능을 평가하는 표가 아니라 업무 결과가 미치는 영향을 평가하는 표입니다. 같은 이메일 작성도 내부 안내 초안과 계약 해지 통보는 위험도가 다릅니다.

사람이 반드시 승인해야 할 여섯 가지 지점

1. 고객·거래처·직원에게 외부 발송하기 전

AI가 메일을 작성하는 것과 실제 수신자에게 보내는 것은 분리해야 합니다. 수신자, 첨부파일, 금액, 날짜, 약속 표현을 사람이 확인한 뒤 발송 버튼을 누르게 하세요. 특히 자동 회신은 대화 맥락을 오해하면 불필요한 약속을 만들 수 있습니다.

2. 결제·송금·발주·환불을 실행하기 전

금액과 계좌, 수량, 세금, 배송지처럼 한 글자 오류가 손실로 이어지는 업무입니다. AI는 서류에서 값을 추출하거나 비교표를 만들 수 있지만, 최종 실행은 원문 증빙과 대조한 사람이 승인해야 합니다.

3. 개인정보·계약정보·내부기밀을 이동하기 전

필요한 정보만 최소한으로 사용하고, 어떤 서비스와 저장 위치를 거치는지 확인해야 합니다. 이름을 지웠더라도 연락처·주소·주문번호 조합으로 개인을 알아볼 수 있는 경우가 있습니다. 조직의 보안 규정과 서비스의 데이터 처리 정책을 먼저 따르세요.

4. 블로그·SNS·보도자료를 공개하기 전

문장이 자연스럽다는 이유만으로 사실 확인이 끝난 것은 아닙니다. 숫자, 인용, 출처, 타인의 이미지, 광고·제휴 표시, 최신 날짜를 확인하고 공개해야 합니다. 공개 후 수정할 수 있어도 캡처와 공유는 되돌릴 수 없습니다.

5. 원본 데이터를 수정·삭제하기 전

중복 파일 삭제, CRM 상태 변경, 일정 이동은 편리하지만 잘못 실행되면 복구 비용이 큽니다. 처음에는 복사본이나 테스트 계정에서 실행하고, 변경 목록을 미리 보여준 뒤 승인받도록 설계하세요. 삭제보다 ‘보관함으로 이동’을 기본값으로 두는 편이 안전합니다.

6. 채용·평가·의료·법률 등 사람에게 큰 영향을 주는 판단 전

AI가 자료를 정리하고 질문 후보를 만들 수는 있지만, 사람의 권리와 기회에 영향을 주는 결론을 단독으로 확정하게 해서는 안 됩니다. 판단 기준과 이의제기 경로, 책임자를 분명히 남겨야 합니다.

승인 화면에는 무엇이 보여야 할까요?

‘승인하시겠습니까?’라는 버튼만 있어서는 검수가 형식적으로 끝납니다. 승인자는 아래 정보를 한 화면에서 비교할 수 있어야 합니다.

• 실행하려는 행동과 대상
• AI가 사용한 원문 또는 증빙 위치
• 변경 전과 변경 후의 차이
• 불확실하거나 누락된 항목
• 취소·복구 방법
• 승인자와 승인 시간 기록

바로 쓰는 승인 규칙 템플릿

업무명: [예: 거래처 안내 메일]
자동 수행: 자료 요약, 초안 작성, 맞춤법 점검
사람 승인: 수신자, 금액, 날짜, 첨부파일, 약속 표현
실행 권한: [담당자/직책]
승인 없을 때: 임시저장만 하고 발송하지 않음
기록: 원문 링크, 초안 버전, 승인자, 승인 시간
복구: 발송 취소 가능 시간과 후속 대응 절차

처음 자동화할 때의 안전한 순서

1. 관찰 모드: AI가 제안만 하고 기존 방식으로 처리합니다.
2. 초안 모드: AI 결과를 사람이 매번 검수하고 직접 실행합니다.
3. 제한 실행: 낮은 위험의 정해진 조건에서만 자동 실행합니다.
4. 표본 검수: 안정된 구간은 자동화하되 정기적으로 결과를 점검합니다.
5. 확장 판단: 오류 유형과 복구 비용을 기록한 뒤 범위를 넓힙니다.

처음부터 완전 자동화를 목표로 잡으면 오류 원인을 찾기 어렵습니다. 작은 범위에서 실패 사례를 모으고, 승인 기준을 수정한 뒤 확장하는 편이 실제 운영에 강합니다.

도입 전 체크리스트

• 잘못 실행됐을 때 최대 손실을 적어 보았습니까?
• 외부 발송과 실제 결제는 초안 생성과 분리되어 있습니까?
• 승인자가 원문과 변경 내용을 한 화면에서 볼 수 있습니까?
• 승인 없이 실행되지 않는 기술적 장치가 있습니까?
• 누가 언제 무엇을 승인했는지 기록됩니까?
• 문제가 생겼을 때 중지·취소·복구할 수 있습니까?

마무리

좋은 AI 자동화는 사람을 없애는 시스템이 아니라, 사람이 개입해야 할 순간을 선명하게 만드는 시스템입니다. 초안·분류·정리는 빠르게 자동화하고, 돈·권리·개인정보·대외 공개·원본 변경 앞에는 명시적인 승인 지점을 남기세요. 자동화 범위를 넓히는 기준은 기술의 자신감이 아니라 실제 오류 기록과 복구 가능성입니다.

참고 자료

• NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
• NIST Generative AI Profile: https://doi.org/10.6028/NIST.AI.600-1
• OECD AI Principles: https://oecd.ai/en/ai-principles
• 개인정보보호위원회: https://www.pipc.go.kr/

확인일: 2026-07-14. 실제 자동화는 조직의 보안·개인정보·회계·결재 규정을 우선 적용해야 합니다.

 

함께 읽으면 좋은 글

• AI 자동화 권한표 만드는 법
• AI 자동화 ROI 계산법