인식주권: AI와 같은 결론에 도달해도 자율적일 수 있는가
신규 시장에서 철수할지 결정하는 회의였다. AI가 매출 추세와 경쟁 강도, 투자 회수 기간을 종합해 “철수”를 권고했다. 참석자들은 성실했다. 매출 숫자를 다시 확인했고, 경쟁사 목록도 검증했다. 모두 맞았다.
회의가 끝나려는 순간 한 사람이 물었다.
“그런데 단기 수익성이 가장 중요한 기준이라고 누가 정했죠?”
회사에는 그 시장을 현지 파트너십의 교두보로 삼겠다는 장기 전략도 있었다. AI의 계산은 정확했다. 다만 계산에 들어간 질문이 좁았다. 팀은 근거를 검증했으면서도, 무엇을 근거로 삼을지는 검증하지 않았다.
이 회의에서 흥미로운 점은 아무도 게으르지 않았다는 것이다. 검증은 이뤄졌다. 그런데 검증의 대상이 이미 정해진 뒤였다. AI 시대에 자율성이 무너지는 지점은 대개 여기다. 답을 확인하지 않아서가 아니라, 확인할 답의 목록을 남이 만들어줘서.
그래서 자율성은 AI와 다른 결론을 내는 능력으로 측정할 수 없다. 같은 결론에 도달하더라도 질문을 정하고, 근거를 추적하고, 결론을 고치며, 결과에 책임질 권한이 사람에게 있다면 그 판단은 여전히 자율적이다. 반대로 권한이 없다면 AI에 반대하는 결정을 내려도 자율적이지 않다. 이 네 가지 통제권을 이 글에서는 ‘인식주권’이라고 부르겠다.
먼저 밝힐 것: 이 글에서 말하는 인식주권
‘인식주권’은 철학·정치·교육의 여러 문맥에서 서로 다른 의미로 쓰인다. 여기서는 법률 용어나 검증된 심리 측정척도가 아니라, 생성형 AI와 함께 일할 때 판단의 주도권을 점검하기 위한 저자의 실천적 작업 정의로 쓴다.
인식주권이란 무엇을 물을지, 무엇을 근거로 믿을지, 언제 결론을 바꿀지, 그 결과를 누가 책임질지에 대한 통제권이다.
핵심은 ‘혼자 생각하기’가 아니다. 사람은 원래 타인의 지식과 제도와 기술에 기대어 판단한다. 의존 자체는 문제가 아니다. 의존을 검토하고 수정할 권한까지 함께 넘길 때 문제가 된다.
AI는 답만 주지 않는다. 문제를 요약하고, 관련 자료를 고르고, 선택지를 배열하고, 가장 그럴듯한 결론을 맨 앞에 놓는다. 이 모든 일이 사람이 검토를 시작하기 전에 끝나 있다. 그래서 주권은 마지막 승인 버튼보다 훨씬 앞에서 흔들린다.
첫째, 질문을 정할 권한
AI에게 “어느 사업을 철수해야 하는가?”라고 물으면 철수할 사업을 찾아온다. “어떤 조건을 바꾸면 이 사업을 살릴 수 있는가?”라고 물으면 개선 가능성을 찾아온다. 데이터가 같아도 질문이 다르면 보이는 세계가 달라진다.
질문을 정할 권한은 프롬프트를 잘 쓰는 기술과 다르다. 더 아래에 있는 것을 결정하는 힘이다.
- 무엇을 문제로 볼 것인가
- 어떤 목표를 우선할 것인가
- 누구의 손실을 계산에 포함할 것인가
- 애초에 선택지에서 빠진 가능성은 없는가
질문의 주도권을 잃었다는 신호는 알아보기 쉽다. AI가 제시한 문제 정의는 건드리지 않은 채 답의 정확도만 따지고 있다면, 가장 중요한 결정은 이미 끝난 뒤다.
둘째, 근거를 추적할 권한
좋은 판단은 출처 목록이 길다고 완성되지 않는다. 어떤 자료가 어떤 주장에 연결됐는지, 그 연결이 사실인지 추론인지 구분할 수 있어야 한다.
“20대 고객이 이탈하고 있다”는 한 문장 안에도 세 가지가 섞여 있을 수 있다.
- 실제 고객 데이터에 나타난 관찰
- 관찰에서 원인을 추정한 해석
- 예산을 다른 세대로 옮기자는 권고
첫째가 사실이어도 둘째와 셋째가 자동으로 참이 되지는 않는다. 그런데 세 문장이 한 문단에 매끄럽게 붙어 있으면 하나의 사실처럼 읽힌다. 근거를 추적할 권한은 원문 링크를 여는 데서 끝나지 않는다. 사실에서 결론으로 넘어가는 다리를 다시 걸어볼 수 있어야 한다.
이 권한을 잃었다는 신호는 특정 주장과 원문 사이의 관계를 아무도 설명하지 못하는 상태다. 최소한 사용자는 핵심 근거의 출처와 판단 경로에 접근할 수 있어야 한다.
셋째, 결론을 수정할 자유
처음 나온 답은 조직의 기준점이 된다. 이후의 정보는 그 답을 보완하는 방향으로 모인다. 문서가 매끄럽고 수치가 정리돼 있을수록 반대 의견은 ‘완성된 일을 다시 여는 비용’처럼 보인다. 반대하는 사람이 논리적으로 불리해서가 아니다. 절차적으로 불리하기 때문이다.
수정의 자유는 마음을 바꿀 수 있다는 선언만으로 생기지 않는다. 다음이 필요하다.
- 반대 근거를 제시할 수 있는 시간
- AI 권고를 거절해도 불이익이 없는 환경
- 결정을 다시 검토하는 명시적 조건
- 잘못된 결론으로 피해를 본 사람이 이의를 제기할 통로
세 번째 항목은 오늘 당장 도입할 수 있다. “어떤 새 정보가 나오면 결정을 바꿀 것인가”를 결정 시점에 미리 적어두면, 나중에 그 정보가 나왔을 때 재검토가 배신이 아니라 약속의 이행이 된다. 판단은 닫힌 판결이 아니라 조건이 붙은 가설이 된다.
넷째, 결과에 책임질 주체
“AI가 추천했고 사람이 승인했다”는 문장만으로 책임의 주체가 생기지는 않는다. 이 글에서 책임은 잘못됐을 때 비난받을 사람을 정하는 일이 아니다. 결정의 이유를 설명하고, 오류가 드러나면 판단을 다시 열어 피해를 고칠 권한과 의무를 뜻한다.
주체가 없으면 실패는 떠돈다. “모델 오류”와 “데이터 문제”와 “현업 승인” 사이를 오가다 아무 데도 안착하지 않는다. 책임의 목적지는 문서에 이름을 남긴 사람이 아니라 결정 경로를 설명하고 수정할 수 있는 사람이어야 한다.
네 가지 권한을 한눈에 보면
| 인식주권의 요소 | 사람이 보유해야 할 권한 | 잃고 있다는 신호 |
|---|---|---|
| 질문 | 목적·기준·영향받는 사람을 다시 정한다 | AI가 만든 문제 정의를 그대로 받는다 |
| 근거 | 출처와 추론의 연결을 되짚는다 | 같은 AI의 재확인을 검증으로 여긴다 |
| 수정 | 반례가 나오면 결론을 바꾸고 재개한다 | 최초 답이 사실상 확정안이 된다 |
| 책임 | 결정 이유를 설명하고 오류를 수습한다 | 승인자는 있지만 바꿀 권한은 없다 |
“그 주권은 착각이 아닌가”
가장 날카로운 반론은 이 개념 자체를 겨눈다. 네 가지 권한을 다 갖췄다고 믿는 사람도 실은 AI가 그려놓은 틀 안에서만 움직였을 수 있다는 것이다.
근거 없는 의심이 아니다. AI가 먼저 제시한 문제 정의는 사고의 출발점을 고정한다. 그 상태에서 “나는 질문을 바꿀 수 있다”고 느끼는 것과 실제로 다른 질문을 떠올릴 수 있는 것은 같지 않다. 사람은 선택지를 준 사람이 누구인지 잊고, 주어진 선택지 안에서 고른 것을 자유로운 선택으로 기억한다. 그렇다면 인식주권은 이미 넘어간 주도권에 붙인 그럴듯한 이름, 자기기만을 정당화하는 장치가 아닌가.
인정할 부분부터 인정하자. 주권을 내면의 느낌으로 측정하면 이 반론이 맞다. “나는 자율적으로 판단했다”는 감각은 증거가 되지 못한다. 오히려 주도권을 잃은 사람일수록 그 감각이 선명한 경우가 많다.
그래서 이 글의 네 가지 권한은 내면 상태가 아니라 밖에서 확인할 수 있는 조건으로 썼다. 질문을 바꿀 수 있다고 느끼는지가 아니라, 실제로 다른 질문을 넣었을 때 시스템과 조직이 그것을 처리하는지를 본다. 거절할 수 있다고 믿는지가 아니라, 거절한 사람에게 무슨 일이 일어났는지를 본다. 느낌은 물을 필요가 없다. 기록을 보면 된다.
여기서 이 개념의 성격도 분명해진다. 인식주권은 개인의 덕성이 아니라 배치의 속성이다. 혼자서는 확인할 수 없다. 내가 던진 질문이 실제로 처리되는지, 내 반대가 절차 안에서 살아남는지는 나 아닌 누군가가 관여할 때에만 드러난다. 아무도 이의를 제기하지 않는 방에서 자기 판단의 자율성을 점검하는 일은 원리적으로 불가능하다.
사람도 틀린다는 지적은 이 주장과 부딪치지 않는다. 인식주권은 인간이 더 정확하다는 주장이 아니라, 인간의 판단이든 AI의 결론이든 기록과 반론과 검토를 거쳐야 한다는 주장이다. 차이는 정확도가 아니라 절차 안에 놓이는지에 있다.
NIST AI 위험관리 프레임워크와 OECD AI 원칙 1.2, 책임성 원칙도 역할과 책임, 법치·인권·민주적 가치, 인간의 주체성과 감독, 추적 가능성을 제시한다. NIST 프레임워크는 자발적이며 현재 개정 중이고, OECD 원칙은 비구속적이다. 이 기관들이 인식주권이라는 용어를 채택했다는 뜻이 아니라, 이 작업 정의와 방향이 닿는 공적 원칙이 있다는 뜻이다.
결정 전에 네 문장만 완성해보자
AI가 중요한 결론을 제시했을 때 다음 네 질문에 한 문장씩 답해보자. 답이 아니라 답할 수 있는지가 점검 대상이다.
- 질문: AI가 제시한 문제의 범위와 목표를 내가 실제로 바꿀 수 있는가?
- 근거: 결론만 받는 것이 아니라 원자료와 판단 경로에 접근할 권한이 있는가?
- 수정: AI 권고를 거절하거나 결정을 보류해도 불이익이 없는가?
- 책임: 오류가 드러났을 때 당사자나 결정자가 판단을 다시 열 수 있는가?
네 답이 분명하다면 AI와 같은 결론을 냈다는 사실은 문제가 아니다. 반대로 네 답이 없다면, 사람이 마지막 버튼을 눌렀다는 사실만으로는 자율적인 판단이 되지 않는다.
첫 장면의 철수 회의로 돌아가 보자. 팀은 결론을 그날 확정하지 않았다. 단기 수익성 외에 전략적 학습과 파트너십 가치, 철수 비용을 질문에 다시 넣고 6개월 뒤 재검토 조건까지 정했다. 최종 결론은 여전히 철수일 수 있다. 그래도 그 결론은 AI가 정한 좁은 질문의 자동 산출물은 아니게 된다.
다만 그 회의를 구한 것은 개인의 각성이 아니었다. 누군가 “누가 정했죠?”라고 물을 수 있었고, 그 질문이 무시되지 않았다는 사실이다. 질문한 사람이 회의실에 없었거나, 있었어도 발언 순서가 오지 않았거나, 물었어도 “이미 결정된 사안”이라는 답을 들었다면 결과는 같지 않았을 것이다.
인식주권은 개인이 지켜내는 능력이 아니다. 누군가 던진 질문이 절차 안에서 살아남을 수 있을 때 비로소 존재하는 조건이다.
함께 읽기: 판단의 통제권을 위임 규칙으로 구체화하려면 AI 시대 인간의 역할과 위임 계약서를 함께 사용할 수 있다.
참고자료
- NIST (2023), Artificial Intelligence Risk Management Framework (AI RMF 1.0) 및 AI RMF 현행 개정 안내. — 미국 정부기관의 자발적 프레임워크
- OECD AI Principles (2024년 개정), 법치·인권·민주적 가치(공정성·프라이버시 포함)와 인간 주체성·감독, 책임성과 추적 가능성. — 비구속적 정부간 권고 원칙