AI 인간 감독과 자동화 편향: 책임을 묻기 전에 결정권부터 설계하라
AI가 한 중소 판매자의 거래를 사기로 판정했다. 검토자에게 배정된 처리 시간은 30초였다. 화면에는 위험 점수와 ‘정산 보류 승인’ 버튼이 있었다. 어떤 거래가 그 점수를 만들었는지는 볼 수 없었다. 거절하려면 사유서를 쓰고 팀장의 재승인을 받아야 했다. 대기열에는 아직 여든 건이 남아 있었다.
검토자는 승인 버튼을 눌렀다.
판매 대금이 묶이면서 판매자는 납품대금 지급일을 맞추지 못했다. 민원이 올라오자 조직은 이렇게 답했다.
“최종 결정은 사람이 했습니다.”
형식적으로는 맞는 말이다. 사람이 화면을 봤고, 사람이 버튼을 눌렀고, 로그에 그 사람의 ID가 남았다. 그런데 그 사람에게 판단할 정보도, 숙고할 시간도, 시스템을 반박할 실질적 권한도 없었다면 무엇이 일어난 것일까.
사람을 의사결정의 마지막 화면에 배치하는 것과 사람이 결정을 통제하는 것은 다르다. 정보·시간·전문성·거절 권한·재검토 경로가 없다면 승인 버튼은 감독 장치가 아니다. 책임을 조직에서 개인에게 옮기는 장치다.
AI 인간 감독: 인간 참여와 감독은 다르다
‘human in the loop’이라는 표현은 사람이 과정 어딘가에 들어 있다는 사실만 말해준다. 어디에, 어떤 권한으로 들어 있는지는 말해주지 않는다.
다음 세 장면에는 모두 사람이 있다.
- AI가 만든 문장을 사람이 맞춤법만 고친다
- AI의 결론을 사람이 검토하지만 근거는 볼 수 없다
- 사람이 근거와 한계를 확인하고, 권고를 거절하거나 시스템을 중단할 수 있다
세 번째에 가까울수록 감독은 실질적이다. 이 글에서 ‘AI 인간 감독’은 AI 권고를 이해하고, 이의를 제기하며, 실제로 바꾸고, 이후 오류를 수정할 수 있는 사람이 결정의 핵심 지점에 배치된 상태를 뜻한다. 단일한 국제 표준의 공식 정의라기보다 여러 공적 원칙을 업무 설계의 언어로 묶은 실천적 표현이다.
승인 버튼이 책임을 옮기는 세 가지 방식
1. 정보 없이 승인하게 한다
모델 점수만 보여주고 근거, 데이터 시점, 불확실성, 알려진 한계를 숨기면 검토자는 권고의 타당성을 판단할 수 없다. 화면을 본 것은 감독이 아니다. 판단에 필요한 것을 본 것이 감독이다.
2. 반대의 비용을 높인다
권고를 수용하면 클릭 한 번으로 끝나고, 거절하면 사유서와 추가 승인과 처리 지연이 따라온다면 조직은 이미 기본값을 정해놓은 것이다. 이론적 거절권은 남아 있지만 행사할 수 없다. 30초짜리 대기열에서 사유서를 쓰는 검토자는 자기 성과지표를 스스로 깎는 사람이 된다.
3. 오류 수정 권한을 분리한다
승인자는 이름을 남기지만 잘못된 데이터나 모델 규칙을 바꿀 수는 없다. 운영팀은 공급사를, 공급사는 고객사의 사용법을, 경영진은 현업 승인을 가리킨다. 책임의 흔적은 많은데 고칠 주체는 없다.
세 조건이 겹치면 사람은 시스템의 정당성을 보증하는 도장이 된다. 권한 없이 책임만 남는다.
자동화 편향은 개인의 부주의만으로 생기지 않는다
자동화 편향은 사람이 자동화 시스템의 제안을 지나치게 우선하거나 반대 단서를 충분히 살피지 않는 경향을 가리킨다. NIST의 생성형 AI 위험관리 프로필은 인간과 AI가 결합된 구성에서 나타나는 위험으로 자동화 편향과 과의존을 다룬다. 이 문서는 자발적 위험관리 지침이며 모든 조직에 강제되는 규정은 아니다.
“검토자가 더 주의해야 한다”는 교육으로는 이 문제가 풀리지 않는다. AI 권고가 기본값이고, 반대하면 시간이 더 걸리고, 성과지표가 처리 속도만 보상한다면, 권고를 그대로 수용하는 것이 그 검토자에게는 합리적인 행동이다. 자동화 편향은 인지 습관이면서 동시에 인터페이스와 인센티브의 산물이다.
주의력을 요구하기 전에 기본값과 업무량과 거절 비용과 피드백 경로를 봐야 하는 이유다.
의미 있는 감독을 만드는 다섯 가지 조건
1. 필요한 정보를 볼 수 있어야 한다
검토자는 최소한 권고의 근거, 데이터의 시점과 범위, 중요한 불확실성, 알려진 실패 유형을 볼 수 있어야 한다. 모델 내부를 완전히 설명하라는 뜻이 아니다. 지금 이 결정을 합리적으로 뒤집는 데 필요한 정보가 있어야 한다는 뜻이다.
2. 생각할 시간이 있어야 한다
초 단위 처리 목표와 대량 업무는 자동 권고를 기본값으로 만든다. 고위험 사례, 낮은 신뢰도, 기존 패턴과 다른 사례는 자동으로 별도 대기열에 보내야 한다. 모든 건을 오래 보라는 것이 아니라, 오래 봐야 할 건을 골라내라는 것이다. 감독에 드는 시간은 낭비가 아니라 품질 비용으로 예산에 넣어야 한다.
3. 과업에 맞는 전문성이 있어야 한다
모델의 기술 사양만 아는 사람도, 업무 관행만 아는 사람도 혼자서는 놓치는 지점이 있다. 위험이 큰 결정에는 도메인 전문가, 데이터·모델 담당자, 법무·윤리 담당자의 역할을 나누고 연결해야 한다.
4. 불이익 없이 거절할 수 있어야 한다
권고를 뒤집은 비율이 높다는 이유로 검토자를 평가절하해서는 안 된다. 거절 사유를 기록하는 것은 필요하다. 다만 모든 이의제기를 예외 처리로 만들면 조직이 자동화 편향을 강화하는 쪽으로 작동한다.
5. 결정을 다시 열고 피해를 고칠 수 있어야 한다
사후 모니터링, 이의제기, 데이터 정정, 결정 번복의 경로가 있어야 한다. 누가 재검토를 시작하고 언제까지 답하는지도 정해야 한다. 감독은 승인 순간에 끝나지 않는다.
조직 원칙은 버튼이 아니라 권한을 요구한다
NIST AI RMF 1.0의 GOVERN 기능은 역할과 책임, 보고선의 명확화, 경영진의 책임을 핵심 실천 항목으로 제시한다. 이 프레임워크는 자발적이며 현재 개정 중이므로 규제 의무와 같은 것으로 읽어서는 안 된다.
OECD AI 원칙 1.2는 법치·인권·민주적 가치와 공정성·프라이버시의 존중, 맥락에 맞는 인간의 주체성과 감독을 제시한다. 책임성 원칙은 데이터·절차·결정의 추적 가능성과 체계적인 위험관리를 강조한다. 이 원칙들도 비구속적이다.
두 문서 모두 특정한 승인 화면을 설계해주지는 않는다. 대신 조직이 사람에게 이름만 올릴 것이 아니라 역할, 정보, 권한, 책임을 서로 연결해 설계해야 한다는 방향을 제시한다.
회의 기록에서도 감독은 사라질 수 있다
이 문제는 사기 탐지나 신용평가 같은 자동 의사결정에만 있지 않다. 훨씬 평범한 곳에서도 일어난다.
가상의 제품 회의에서 세 사람이 출시 일정의 위험을 지적했다고 하자. AI 요약은 “팀은 9월 출시 방향에 대체로 합의했다”고 적었다. 요약이 틀린 것은 아니다. 다수는 실제로 동의했다. 다만 압축 과정에서 소수의 반대가 사라졌다. 참석자들이 원문을 확인하지 않고 요약본을 승인하면, 그 이견은 소수 의견이 아니라 없었던 의견이 된다. 석 달 뒤 일정이 무너졌을 때, 경고가 있었다는 기록은 어디에도 남지 않는다.
회의 요약에는 네 항목을 따로 남기는 편이 낫다.
- 합의된 사항
- 해결되지 않은 이견
- 확인이 필요한 근거
- 결정 담당자와 재검토 날짜
AI는 정보를 압축한다. 감독은 압축 과정에서 빠진 것 중에 중요한 것이 있는지 확인하는 일이다.
“권한을 주면 일관성이 무너지지 않는가”
이 주장에 대한 가장 까다로운 반론은 자동화를 옹호하는 쪽에서 나오지 않는다. 일관성을 옹호하는 쪽에서 나온다.
검토자에게 실질적인 거절권을 주면 자동화가 가져온 가장 큰 이점이 사라진다. 같은 상황의 두 판매자가 어느 검토자를 만나느냐에 따라 다른 결과를 받는다. 월요일 아침의 검토자와 금요일 저녁의 검토자가 다른 판단을 내린다. 재량은 같은 사건을 같게 다루라는 원칙과 정면으로 충돌한다. 게다가 권한을 부여받은 재량은 편향이 정당성의 외피를 쓰고 돌아오는 경로이기도 하다. 차라리 일관되게 틀린 시스템이 낫지 않은가.
일관성에 무게가 있다는 점은 인정해야 한다. 같은 사건을 같게 다루는 것은 절차적 정의의 기본이고, 무제한의 재량이 위험하다는 지적도 옳다.
그러나 자동화가 보장하는 일관성은 결과의 일관성이지 정의의 일관성이 아니다. 특정 유형의 판매자를 매번 잘못 판정하는 시스템은 완벽하게 일관적이다. 모든 사람에게 똑같은 오류를 반복하는 것은 공정이 아니라 규모화된 오류다. 오류가 균일하다는 사실은 그 오류를 발견하기 더 어렵게 만들 뿐이다. 어긋나는 사례가 없으니 이상 신호도 없다.
그래서 선택지는 무제한 재량과 재량 없음 사이에 있지 않다. 구조화된 재량이 답이다. 거절 사유를 정해진 형식으로 기록하고, 번복 패턴을 집계하고, 판단 기준을 문서로 공유하면 재량은 자의적이지 않게 된다. 기록을 남기는 재량은 감사할 수 있다. 반대로 거절권이 없는 자동화는 무엇을 틀렸는지에 대한 기록 자체를 남기지 않는다.
여기서 결정적인 점이 나온다. 번복은 잡음이 아니라 데이터다. 특정 판매자 유형에서 검토자들이 반복해서 권고를 뒤집고 있다면, 그것은 모델이 그 구간에서 고장 났다는 가장 빠른 신호다. 거절권을 없애면 오류가 사라지는 것이 아니다. 오류를 감지하는 센서가 사라진다. 조직은 더 일관되게 틀리면서 자신이 틀렸다는 사실을 더 늦게 알게 된다.
물론 모든 AI 출력에 위원회를 붙이자는 말은 아니다. 사람을 배치할 곳은 오류의 피해가 크고, 되돌리기 어렵고, 가치 판단이 개입되며, 당사자의 권리가 걸린 전환점이다. 낮은 위험의 문장 다듬기는 사용자의 빠른 검토로 충분하다. 안전과 생계와 권리에 닿는 권고에는 권한 있는 사람이 필요하다.
채용처럼 생계와 권리에 닿는 사례는 AI 채용 자동화의 공정성 점검에서 구체적으로 확인할 수 있다.
우리 조직의 AI 인간 감독은 실질적인가
중요한 AI 업무 하나를 골라 다섯 질문에 ‘예’ 또는 ‘아니오’로 답해보자.
- 검토자는 결론을 뒤집는 데 필요한 근거와 한계를 볼 수 있는가?
- 고위험 사례를 숙고할 현실적인 시간이 있는가?
- 업무와 시스템을 이해할 전문성 또는 지원 체계가 있는가?
- AI 권고를 거절하거나 중단해도 부당한 불이익이 없는가?
- 오류가 드러나면 결정과 피해를 다시 검토하고 수정할 수 있는가?
하나라도 ‘아니오’라면, 승인 절차가 있다는 사실만으로 감독이 작동한다고 말하기 어렵다. 특히 4번과 5번이 ‘아니오’라면 그 사람은 결정자가 아니라 오류의 최종 수령인에 가깝다.
첫 장면의 검토자에게 필요했던 것은 책임 의식을 강조하는 교육이 아니었다. 점수를 만든 거래를 볼 수 있는 화면, 고위험 판정을 따로 검토할 시간, 사유서 없이도 보류할 수 있는 권한, 그리고 자신이 발견한 오류를 시스템에 되돌려보낼 통로였다. 이 네 가지 중 어느 것도 그 사람이 스스로 만들 수 있는 것은 아니었다.
그날 조직이 한 말은 절반만 맞았다. 최종 결정은 사람이 했다. 다만 그 사람은 결정할 수 있는 상태가 아니었다.
사람에게 책임을 묻고 싶다면, 먼저 그 사람에게 결정을 바꿀 권한부터 주어야 한다.
참고자료
- NIST (2023), Artificial Intelligence Risk Management Framework (AI RMF 1.0) 및 AI RMF 현행 개정 안내. — 미국 정부기관의 자발적 프레임워크
- NIST (2024), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1. — 자동화 편향·과의존을 포함한 자발적 위험관리 지침
- OECD AI Principles (2024년 개정), 법치·인권·민주적 가치와 인간 주체성, 책임성과 추적 가능성. — 비구속적 정부간 권고 원칙