AI 시대 인간의 역할: AI가 사람보다 정확해져도 무엇이 남는가
제품 포트폴리오 회의였다. AI는 소규모 고객용 서비스를 종료하라고 권고했다. 12개월 수익성만 놓고 보면 반박하기 어려운 답이었다. 지난 몇 분기 동안 이 모델의 수요 예측은 팀장들의 직감보다 꾸준히 정확했고, 회의 자료에는 빈틈이 없었다.
참석자들이 종료 일정에 합의하려는 순간, 제품 담당자가 물었다.
“우리가 최적화하려는 게 내년 이익입니까, 장기 고객 기반입니까?”
AI는 틀린 답을 낸 것이 아니었다. 주어진 목표에 충실했을 뿐이다. 다만 그 목표를 고른 사람도, 서비스 종료의 비용을 감당할 고객도 화면에는 없었다.
여기서 더 어려운 질문이 시작된다.
AI가 사람보다 더 정확해진다면, 판단도 전부 맡겨야 하는가?
내 답은 ‘아니다’다. 인간이 언제나 더 현명해서가 아니다. 정확도는 주어진 목표를 얼마나 잘 맞혔는지 말해주지만, 어떤 목표를 택할지, 어떤 오류를 감수할지, 누가 그 비용을 부담할지는 정확도가 결정해주지 않기 때문이다. AI 시대 인간의 역할은 답을 직접 만드는 데 있지 않다. 어떤 답이 결정이 될 수 있는지, 그 조건을 설계하는 데 있다.
예측은 사실을 말하고, 결정은 비용을 배분한다
예측과 결정은 한 문장 안에 자주 섞인다.
- 예측: “이 서비스를 유지하면 12개월 안에 손실이 날 확률이 높다.”
- 결정: “그러므로 다음 달 서비스를 종료한다.”
두 번째 문장은 첫 번째 문장의 자동 결론이 아니다. 사이에 무언가가 들어간다. 손실을 얼마나 감수할지, 고객과의 약속에 어떤 무게를 둘지, 대안을 시도할 여력이 있는지. 이 판단들은 데이터에서 저절로 나오지 않는다.
AI가 예측을 완벽하게 맞힌다고 가정해도 간극은 사라지지 않는다. 예측은 가능한 미래들을 설명한다. 결정은 그중 하나를 고르고, 그 선택의 대가를 누구에게 지울지 정한다. 전자는 세계를 기술하고 후자는 세계를 바꾼다.
그래서 AI가 정확해질수록 인간의 역할은 사라지지 않고 앞뒤로 밀려난다. 계산의 중간에서 물러나는 대신, 계산이 시작되기 전의 목표와 경계를 정하고 계산이 끝난 뒤의 오류 비용과 수정 조건을 맡는다. 이 네 가지는 모델 성능이 아무리 좋아져도 저절로 채워지지 않는다.
목표를 고르는 일은 기술 설정이 아니다
시스템은 목표를 스스로 발견하지 않는다. 누군가 고른 성과지표와 데이터, 시간 범위 안에서 최적화할 뿐이다. 매출을 높이라는 목표와 이탈을 줄이라는 목표는 다른 답을 만든다. 같은 지표라도 12개월로 자르는지 3년으로 자르는지에 따라 결론이 뒤집힌다.
그래서 목표를 정할 때는 “무엇을 최대화할 것인가”만 묻는 것으로 부족하다.
- 이 지표가 놓치는 가치는 무엇인가
- 성과가 좋아질수록 손해를 보는 사람은 누구인가
- 단기 최적화가 장기 역량을 갉아먹지 않는가
- 측정하기 어렵다는 이유로 빠진 것은 무엇인가
마지막 질문이 가장 자주 생략된다. 측정 가능한 것과 중요한 것은 자주 어긋난다. 고객 신뢰, 직원 사기, 시장에서의 평판은 분기 보고서에 숫자로 잡히지 않는다는 이유만으로 목표 함수에서 빠지고, 빠진 것은 최적화 과정에서 조용히 소모된다.
목표를 선택하는 일은 기술팀의 파라미터 설정이 아니다. 조직이 무엇을 중요하게 여기는지 공개적으로 정하는 행위다.
평균 정확도는 누가 다치는지 말하지 않는다
평균적으로 더 정확한 시스템이 언제나 더 나은 결정을 만드는 것은 아니다. 남은 오류가 고르게 흩어지지 않고 특정 집단에 몰릴 수 있기 때문이다.
제품 종료 예측이 전체 수익성을 잘 맞혀도, 소규모 고객이 다른 서비스로 옮겨 갈 수 있는지까지 말해주지는 않는다. 의료, 채용, 신용처럼 사람의 안전과 기회가 걸린 영역에서는 같은 오류율도 누구에게 발생하느냐에 따라 의미가 완전히 달라진다. 100건 중 5건이 틀렸다는 사실보다, 그 5건이 매번 같은 종류의 사람에게 발생하는지가 중요하다.
정확도를 확인한 뒤에는 세 가지를 더 봐야 한다.
- 어떤 유형의 오류가 가장 큰 피해를 만드는가
- 그 오류가 특정 사람이나 상황에 집중되는가
- 피해를 입은 사람이 오류를 발견하고 알릴 수 있는가
세 번째가 빠지면 앞의 두 가지도 오래 유지되지 않는다. 조직이 스스로 발견하는 오류에는 한계가 있고, 가장 심각한 오류일수록 바깥에서 먼저 보인다.
되돌아올 길이 없으면 정확도는 위안이 되지 않는다
AI의 결론이 틀렸을 때 누가 고치는가. 이 질문에 답이 없으면 자동화는 효율을 높이면서 동시에 책임을 흐린다.
책임은 마지막 승인자의 이름을 기록하는 데서 끝나지 않는다. 결정의 이유를 나중에 복원할 수 있어야 하고, 새 정보가 들어오면 결론을 바꿀 수 있어야 하며, 이미 발생한 피해를 되돌릴 사람이 있어야 한다. 세 가지 중 하나라도 없으면 남는 것은 책임의 형식뿐이다.
NIST AI 위험관리 프레임워크는 역할과 책임, 보고 경로, 위험 의사결정의 구조를 명확히 하라는 실천 항목을 제시한다. 이 프레임워크는 자발적이며 현재 개정 중이다. OECD AI 원칙도 법치·인권·민주적 가치와 인간의 주체성·감독을 제시하고, 책임성 원칙은 추적 가능성과 체계적 위험관리를 강조한다. OECD 원칙 역시 비구속적이다.
두 문서 모두 인간이 모든 계산을 직접 해야 한다고 말하지 않는다. 중요한 결정을 설명하고, 반박하고, 되돌릴 수 있는 구조를 만들라고 말한다. 강제력은 없지만 방향은 분명하다.
“목표 선택까지 AI가 더 잘하게 된다면?”
지금까지의 논증은 하나의 분업을 전제로 삼았다. 예측은 AI가 하고 가치판단은 인간이 한다는 것이다. 그런데 가치판단도 패턴으로 학습할 수 있다면 이 전제는 어떻게 되는가.
이 반론은 진지하게 받아들일 만하다. 조직이 지난 10년간 어떤 트레이드오프를 택했는지 충분히 학습하면, 모델은 “이 회사는 이런 상황에서 장기 고객 기반을 택한다”고 예측할 수 있다. 사람보다 일관되게, 사람보다 덜 근시안적으로. 회의실의 정치와 피로와 목소리 큰 사람의 영향에서 자유롭게. 그렇다면 목표 선택도 넘기는 편이 낫지 않을까.
답하기 전에 구분해야 할 것이 있다. 선호를 맞히는 일과 선호를 승인하는 일은 종류가 다르다.
선거를 생각해보자. 개표 결과를 오차 없이 예측하는 모델이 있다고 해서 투표를 생략하지는 않는다. 예측이 부정확해서가 아니다. 결정을 정당하게 만드는 것이 예측의 정확성이 아니라 그 결정에 구속될 사람들이 실제로 참여했다는 사실이기 때문이다. 조직의 의사결정도 규모가 작을 뿐 같은 구조 위에 있다.
학습 데이터 쪽에도 문제가 있다. 과거의 트레이드오프를 학습한다는 것은 과거에 발언권이 있었던 사람들의 선호를 학습한다는 뜻이다. 회의에 들어오지 못한 부서, 계약이 끝나 떠난 파트너, 그리고 지금 종료 대상이 된 소규모 고객은 그 데이터 안에 없다. 모델은 조직이 실제로 중요하게 여긴 것이 아니라, 조직이 기록으로 남긴 것을 배운다. 둘은 자주 다르다.
그리고 예측이 정확해질수록 목표 선택의 책임은 오히려 선명해진다. 무엇이 일어날지 모를 때는 “예상하지 못했다”가 변명이 된다. 결과를 알면서도 선택했다면 그 변명이 사라진다. 정확한 AI는 인간의 판단을 대체하는 대신 판단을 숨을 곳 없는 자리로 끌어낸다.
그렇다고 사람을 모든 결정의 앞자리에 앉히는 것이 답은 아니다. 인간이 개입하면 느려진다는 지적은 사실이다. 사람은 일관되지 않고 피로하며 자기 믿음을 확인하는 정보에 끌린다. AI보다 나쁜 예측을 고집하면서 ‘인간의 최종 결정’이라는 이름표만 붙이는 것은 책임 있는 태도가 아니다.
그래서 필요한 것은 누가 항상 옳은지 정하는 일이 아니라 자동화의 범위를 나누는 일이다. 오류의 피해가 작고 되돌리기 쉬운 업무에서는 AI의 판단 범위를 넓게 잡아도 된다. 이메일 분류, 초안 정리, 재고 보충처럼 결과를 빠르게 확인하고 고칠 수 있는 일이 여기 해당한다. 반대로 안전, 생계, 권리, 회복하기 어려운 손실이 걸린 결정에서는 사람이 목표와 허용 한계를 정하고, 경계 사례를 직접 보고, 이의제기 경로를 유지해야 한다. 인간의 우월성을 지키는 의식이 아니라 실패 비용을 관리하는 설계다.
AI 시대 인간의 역할을 정하는 위임 계약서
중요한 업무에서 AI의 역할을 정하기 전에 다음 다섯 문장을 완성해보자. 계약서라고 부르는 이유는, 위임에는 범위가 있어야 하고 범위에는 기한과 해지 조건이 있어야 하기 때문이다.
목적 — AI는 ______을 위해 ______까지 판단한다.
경계 — 다만 ______을 희생해 성과를 높여서는 안 된다.
오류 — 가장 경계할 실패는 ______에게 ______이 생기는 경우다.
재개 — ______이 확인되면 자동 결정을 멈추고 사람이 다시 본다.
책임 — 최종 책임자는 ______이며, 오류가 나면 ______ 방식으로 고친다.
다섯 문장을 채울 수 없다면 모델 성능표를 한 장 더 받는 것으로는 해결되지 않는다. 무엇을 위해 이 시스템을 쓰는지, 어디서 멈춰야 하는지를 조직이 아직 정하지 못했다는 뜻이기 때문이다.
처음의 제품 종료 회의로 돌아가 보자. 팀은 AI의 예측을 폐기하지 않았다. 대신 12개월 수익성만 보던 목표에 장기 고객 유지와 전환 가능성을 넣었다. 한 번에 종료하는 대신 일부 고객군을 대상으로 대안을 시험하고, 석 달 뒤 실제 이탈과 비용을 확인해 결정을 다시 열기로 했다.
AI의 답은 여전히 중요한 근거였다. 달라진 것은 사람이 그 답과 경쟁하지 않았다는 점이다. 팀은 더 나은 예측을 내놓으려 하지 않았다. 대신 그 예측이 답할 수 없는 것들을 회의 안으로 가져왔다. 무엇을 위해 최적화할지, 누가 비용을 부담할지, 언제 이 결정을 다시 볼지.
AI 시대 인간의 역할은 정답을 만드는 데 있지 않다. 어떤 답이 결정이 될 자격을 갖는지 정하는 데 있다.
함께 읽기: AI가 만든 답을 검증하는 구체적인 절차는 AI의 답을 검증하는 7가지 방법에서 이어서 살펴볼 수 있다.
참고자료
- NIST (2023), Artificial Intelligence Risk Management Framework (AI RMF 1.0) 및 AI RMF 현행 개정 안내. — 미국 정부기관의 자발적 프레임워크
- OECD AI Principles (2024년 개정), 법치·인권·민주적 가치와 인간 주체성, 책임성과 추적 가능성. — 비구속적 정부간 권고 원칙