요약
독립 감사가 앞선 검토와 다른 결론을 낸 경우 누가 무엇으로 풀어야 하는지를 묻고, 충돌 결과의 검토 근거를 검토한다. 분석 대상의 범위, 검토 주체와 독립성, 오류 가능성의 검토를 차례로 다루며 유리한 출력만 채택하거나 반대 결과를 자동 폐기하지 않는 태도를 살핀다. 형사 증명의 기준을 AI 평가에 그대로 옮겨 적용하지는 않는다.
13.1충돌 결과의 검토 근거
개선 이력이 대응과 성능의 관계를 설명해 주는 것으로 마무리된 뒤, 충돌한 결론이 갈릴 때 무엇부터 살펴야 하는지가 문제로 남는다. 대법원 2014. 2. 13. 선고 2013도9605 판결은 같은 분석기법에서 나온 두 결과가 어긋나는 경우의 판단 기준을 제시하고 있다. 그 판결을 근거로 검토가 시작되는 시점과 검토의 항목을 밝히는 것이 이 절의 일이다.
우선 어떤 때 검토가 열리는지부터 정해 두어야 한다. 대법원 2014. 2. 13. 선고 2013도9605 판결은 검토의 전제를 두 가지로 적시하며, "어떠한 과학적 분석기법을 사용하여 제출된 것으로서 공소사실을 뒷받침하는 1차적 증거방법 자체에 오류가 발생할 가능성이 내포되어 있고, 그와 동일한 분석기법에 의하여 제출된 2차적 증거방법이 공소사실과 배치되는 소극적 사실을 뒷받침하고 있는 경우, 법원은 각 증거방법에 따른 분석 대상물과 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과가 일정한 방향성을 가지는지 여부, 상반된 분석결과가 나타난 이유의 합리성 유무 등에 관하여 면밀한 심리를 거쳐 각 증거방법의 증명력을 판단하여야 한다"고 설시하였다. 이 판결은 검토가 결과가 갈린 뒤 시작된다는 점을 분명히 한다. 따라서 편집자가 모델 A의 초안과 모델 B의 검토를 비교하는 자리에서도 두 판단이 어긋난 사실이 확인된 뒤에 검토 항목을 다루어야 한다.
검토의 항목은 결론의 옳고 그름이 아니라 두 결과를 낳은 과정의 비교로 꾸려진다. 인용된 판결이 항목으로 든 것은 분석 대상물, 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과의 방향성, 상반된 결과가 나타난 이유의 합리성이다 (대법원 2014. 2. 13. 선고 2013도9605 판결). 편집 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려져 있다는 사실은 이 가운데 분석 주체와 분석 절차의 동일 여부를 다루는 항목에 대응한다. 다만 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지는 미정이다. 판결이 제시한 항목은 확인된 사실을 어느 자리에 놓을지 알려 줄 뿐, 미정의 항목을 채우지 않는다.
두 결과의 차이가 무엇인지가 확인된 뒤에는 해명의 정도가 다시 판단에 반영된다. 인용한 판결은 "이때 각 분석결과 사이의 차이점이 합리적인 의심 없이 해명될 수 있고 1차적 증거방법에 따른 결과의 오류가능성이 무시할 정도로 극소하다는 점이 검증된다면 공소사실을 뒷받침하는 1차적 증거방법만을 취신하더라도 그것이 자유심증주의의 한계를 벗어났다고 할 수는 없을 것이나, 그에 이르지 못한 경우라면 그 중 공소사실을 뒷받침하는 증거방법만을 섣불리 취신하거나 이와 상반되는 증거방법의 증명력을 가볍게 배척하여서는 아니 된다"고 설시하였다 (대법원 2014. 2. 13. 선고 2013도9605 판결). 자동 대조에서 드러난 인용의 조항 번호 차이는 두 결과 사이의 차이 가운데 하나이다. 그 차이가 합리적인 의심 없이 해명되는지, 그리고 초안 결과의 오류가능성이 어느 정도인지는 미정이다. 해명이 미정인 동안 한쪽 결과를 우선 취사하는 것은 이 판결의 기준과 맞지 않는다.
따라서 교차검사에서 결과가 갈린 뒤에는 두 결과를 낳은 과정과 그 차이의 해명을 검토의 근거로 삼는다. 이 절은 판결이 제시한 검토 항목을 기준으로 삼되, 판결에 없는 AI 평가의 새로운 기준을 세우지 않는다. 검토가 시작되는 지점과 검토가 다루는 대상의 범위는 다음에 살펴볼 문제로 남는다.
13.2분석 대상의 범위
검토가 시작된 뒤에는 무엇을 분석 대상으로 삼을지가 먼저 정해져야 한다. 대법원 2014. 2. 13. 선고 2013도9605 판결은 검토의 범위를 넓게 열어놓지 않고 항목을 한정해 둔다. 그 판결은 법원이 살펴야 할 사항으로 "각 증거방법에 따른 분석 대상물과 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과가 일정한 방향성을 가지는지 여부, 상반된 분석결과가 나타난 이유의 합리성 유무 등에 관하여 면밀한 심리를 거쳐 각 증거방법의 증명력을 판단하여야 한다"(대법원 2014. 2. 13. 선고 2013도9605 판결)고 설시한다. 이 판결은 분석 대상물과 분석 주체, 분석 절차와 방법의 동일 여부를 맨 앞에 둔다.
이 항목들을 이 사례에 옮기면 검토에 붙일 대상이 가려진다. 장 초안을 쓴 모델 A와 같은 장을 검토한 모델 B는 각각이 남긴 산출물에서 분석 주체에 해당하며, 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은 분석 절차와 방법의 동일 여부를 가르는 자료가 된다. 다만 두 모델이 실제로 같은 방식으로 판단했는지, 아니면 같은 자료를 공유한 결과 우연히 같은 결론에 이르렀는지는 미정이다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지에 관한 사정은 자료가 확정한 바 없다.
판결은 분석 대상에 오류가능성과 결과의 방향성까지 함께 두고, 그 뒤에 상반된 결과가 나온 이유를 묻는다. 이 사례에서 상반된 결과는 초안에 적힌 원문 인용의 조항 번호와 자료의 실제 조항이 다르다는 점에서 드러난다. 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지, 그리고 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지는 미정이다. 사례가 확인해 준 관찰 사실은 여기까지이며, 확정 손해나 고의 같은 법적 평가는 이 자료만으로 이루어지지 않는다.
한편 판결은 분석 대상을 정한 뒤에 결론을 내리는 순서까지 밝힌다. 합리적 의심 없이 해명되고 오류가능성이 극소함이 검증되면 1차적 증거방법만을 취신할 수 있지만, "그에 이르지 못한 경우라면 그 중 공소사실을 뒷받침하는 증거방법만을 섣불리 취신하거나 이와 상반되는 증거방법의 증명력을 가볍게 배척하여서는 아니 된다"(대법원 2014. 2. 13. 선고 2013도9605 판결)고 판시한다. 이 사례에서 1차적 결과인 초안과 그에 배치되는 2차적 결과인 대조 확인 사이의 차이가 합리적으로 해명되었는지는 미정이며, 그 미정은 검토가 남겨둔 자리다. 따라서 분석 대상의 범위는 판결이 열거한 항목에 머물며, 사례가 확인하지 않은 사실을 보태어 대상을 넓힐 수 없다.
13.3검토 주체와 독립성
분석 대상의 범위를 특정한 뒤에 남는 물음은, 그 대상을 두고 벌어진 불일치를 누가 풀어야 하는지이다. 편집자는 초안 모델 A가 쓴 장을 상위 모델 B에게 넘겨 검토를 맡겼고, B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼다. 여기서 검토를 맡긴 쪽과 검토를 수행한 쪽이 어느 절차에 속하는지를 가려야, 재검토의 담당자를 정할 수 있다.
태깅 데이터의 교차 검수 절차에서 재검토가 어떤 조건에서 열리는지를 자료는 이렇게 적는다. 「AI 데이터 구축 가이드 v3.5(제2권)」은 개선점으로 "태깅 데이터의 교차 검수 프로세스 강화"를 내걸고, 그 아래에서 "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토"라고 밝힌다[한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽]. 이 문장에 따르면 재검토는 독립 태깅 사이의 불일치가 드러난 뒤에 시작되며, 그 문을 여는 요건은 불일치 그 자체다. 이 사례에서 검토가 이루어진 지점이 초안 작성과 어떤 관계에 있는지, 그래서 독립 태깅이 성립했는지는 미정이다.
독립성은 수가 아니라 태도의 문제로 적혀 있다. 같은 조항은 작업자가 둘인 조건에 "독립적으로 태깅한 후"라는 구를 덧붙인다[한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽]. 두 사람이 같은 데이터를 손본다는 사실만으로 독립성이 생기지는 않음을 이 구가 분명히 한다. 이 사례에서 A와 B는 같은 학습 자료로 배운 것으로 알려져 있고, B는 A의 초안에 "문제없음"이라는 메모를 남겼다. 두 모델이 같은 지점에서 같은 판단을 냈는지는 미정이며, 같은 메모를 이어받은 쪽에 독립성을 지어낼 수는 없다.
독립 태깅 뒤에 무엇을 두는지도 같은 조항이 가리킨다. 그 자료는 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임"이라고 적는다[한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽]. 자동 절차와 사람의 검토가 나란히 놓이는 구조다. 이 사례에서 초안에 실린 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실은 자동 대조 절차가 찾아낸 것으로, 그 오류를 최종 결과에 어떻게 비추어야 하는지는 미정이다.
결국 풀이의 자리는 둘로 갈린다. 서로 다른 두 사람이 독립적으로 붙인 태그 사이에 벌어진 불일치는 재검토가 풀고, 자동 절차가 걸러낸 오류는 병행하는 전문가 검토가 다룬다. 이 사례에서 B의 통과 도장이 어느 쪽 절차에 놓이는지, 자동 대조가 지적한 조항 번호 차이를 누가 마무리하는지는 미정으로 남는다. 다만 검토 주체를 가를 때, 자료가 요구하는 독립 태깅이 이루어졌는지부터 살피는 수순은 정해져 있다.
13.4오류 가능성의 검토
독립 태깅 뒤 불일치를 재검토할 주체가 정하여졌다면, 이제는 그 검토 과정 자체에 숨어 있는 오류의 가능성을 나누어 살필 차례이다. 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 아직 미정이다. 다만 관찰된 사실을 절차 단계별로 나누어 살피는 일은, 앞서 확정되지 않은 쟁점을 함부로 매듭짓지 않으면서도 검토의 정확성을 닦을 수 있는 길을 열어준다.
먼저 자동 절차와 사람이 맡은 검토의 역할을 구분하여 살핀다. 의미 정확성의 태깅 오류를 막기 위한 개선조치로서 자동 필터와 전문가 리뷰의 병행이 권장된다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽은 "Ÿ 가공 작업자가 태깅한 데이터를 즉시 검증할 수 있도록 1차 필터링 시스템 적용"과 "Ÿ 태깅 데이터의 교차 검수 프로세스 강화 … AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임"을 함께 권하고 있다. 즉 자동 절차와 사람의 검토는 서로를 대신하는 관계가 아니라 서로 겹쳐지며 오류의 여지를 좁히는 관계에 있다. 이 사례에서 자동 대조 절차가 조항 번호의 차이를 잡아낸 것은 그 자동 필터가 초안의 오류를 드러내는 데 따로 기능하고 있었다는 뜻이다.
그 다음으로 오류가 발생할 자리에 어떤 요소가 겹쳐 있는지를 따져 본다. 위 자료는 오태깅을 막기 위한 수단으로 "Ÿ 문서 유형별 기준 정의 및 샘플데이터 구축 … 문서 유형별 명확한 기준을 수립하고, 태깅 예제 및 샘플데이터를 제공하여 작업자 혼동 최소화"를 함께 내세운다. 기준이 같은 곳에서 나온 판단이라면, 그 판단의 출처와 방식이 얼마나 겹쳐 있는지를 함께 보아야 한다는 뜻이다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려진 점과, 검토자가 초안 모델과 같은 회사 계열에 속한 점은 겹침의 정도를 가늠하는 자료가 될 뿐이며 그 자체로 오류의 확정을 뜻하지는 않는다.
한편 오류의 가능성이 짙은 자료들이 서로 어긋날 때 그 어긋남을 어떻게 다룰지는 형사 증명의 문맥에서 정리된 기준이 있다. 대법원 2014. 2. 13. 선고 2013도9605 판결은 과학적 분석기법으로 제출된 증거들 사이에 어긋남이 있을 때 판단할 요소로 "각 증거방법에 따른 분석 대상물과 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과가 일정한 방향성을 가지는지 여부, 상반된 분석결과가 나타난 이유의 합리성 유무 등에 관하여 면밀한 심리를 거쳐 각 증거방법의 증명력을 판단하여야 한다"고 설시한다. 이는 같은 기법으로 나온 결과들이라도 분석의 대상과 주체, 절차와 방법이 얼마나 같은지를 함께 살핀 뒤에야 그 증명력을 가릴 수 있다는 뜻이다. 이 사례에 그대로 옮겨 보면, 초안과 검토 메모가 어느 절차와 방법으로 나온 결과인지, 그 둘에 어떤 오류의 가능성이 깃들어 있는지를 따로따로 살피는 일이 우선한다.
다만 위 판례는 형사 증명의 문맥에서 나온 것이며, AI 평가의 절차에 그대로 옮겨 적용할 수는 없다. 그 판례는 나아가 "각 분석결과 사이의 차이점이 합리적인 의심 없이 해명될 수 있고 1차적 증거방법에 따른 결과의 오류가능성이 무시할 정도로 극소하다는 점이 검증된다면 공소사실을 뒷받침하는 1차적 증거방법만을 취신하더라도 그것이 자유심증주의의 한계를 벗어났다고 할 수는 없을 것이나, 그에 이르지 못한 경우라면 그 중 공소사실을 뒷받침하는 증거방법만을 섣불리 취신하거나 이와 상반되는 증거방법의 증명력을 가볍게 배척하여서는 아니 된다"고 덧붙인다(대법원 2014. 2. 13. 선고 2013도9605 판결). 이는 형사 증명에서 요구되는 해명의 정도를 밝힌 문언이지, 이 사례의 출판 검토 절차에 요구되는 기준을 그대로 적은 것이 아니다. 그러므로 이 사례에서 그려야 할 것은 형사 증명의 비유를 옮겨 붙이는 일이 아니라, 관찰된 사실을 자동 필터의 자리와 전문가 검토의 자리로 나누어 오류의 가능성을 각각 살피는 일이다. 그 나눔이 끝나는 자리에서 충돌한 결론은 확정되지 않은 채로 남아 있다.
13.5충돌한 결론의 처리
검토 메모가 오류 가능성을 가리는 데서 멈추지 않고, 서로 다른 결론이 나온 때에 무엇을 남길 것인가가 문제로 남는다. 유리한 출력 하나를 고르고 반대 결과를 지우는 방식은 자료가 요구하는 심리를 건너뛰는 결과를 낳는다. 따라서 충돌을 해소한 것처럼 정리하기 전에, 충돌 자체를 어떻게 기록할지부터 살펴야 한다.
과학적 분석기법의 결과가 서로 엇갈린 경우의 판단 기준은 대법원 2014. 2. 13. 선고 2013도9605 판결에서 밝혀져 있다. 그 판례는 법원이 지켜야 할 심리의 범위를 다음과 같이 정한다. "법원은 각 증거방법에 따른 분석 대상물과 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과가 일정한 방향성을 가지는지 여부, 상반된 분석결과가 나타난 이유의 합리성 유무 등에 관하여 면밀한 심리를 거쳐 각 증거방법의 증명력을 판단하여야 한다"(대법원 2014. 2. 13. 선고 2013도9605 판결). 이 판례가 요구하는 것은 결과를 하나로 모으는 일이 아니라, 양쪽 결과가 나온 경위를 나란히 따져 보는 일이다.
같은 판례는 한쪽만 취사하는 것이 허용되는 조건과 그렇지 않은 경우를 함께 밝힌다. "이때 각 분석결과 사이의 차이점이 합리적인 의심 없이 해명될 수 있고 1차적 증거방법에 따른 결과의 오류가능성이 무시할 정도로 극소하다는 점이 검증된다면 공소사실을 뒷받침하는 1차적 증거방법만을 취신하더라도 그것이 자유심증주의의 한계를 벗어났다고 할 수는 없을 것이나, 그에 이르지 못한 경우라면 그 중 공소사실을 뒷받침하는 증거방법만을 섣불리 취신하거나 이와 상반되는 증거방법의 증명력을 가볍게 배척하여서는 아니 된다"(대법원 2014. 2. 13. 선고 2013도9605 판결). 차이의 해명과 오류가능성의 극소함이 검증되지 않은 때에는, 한쪽을 택하고 다른 쪽을 가볍게 버리는 처리가 배척되는 셈이다.
이 기준을 편집 사례에 두면, 초안 모델 A가 쓴 장과 상위 모델 B의 검토 메모는 서로 다른 결론을 낳은 출력이 아니다. B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼으나, 자동 대조 절차는 그 초안에 적힌 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실을 확인했다. 같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 냈다는 점, 그 판단이 검토 메모와 다음 검토에 어떤 영향을 주었는지, 조항 번호의 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다.
확정 손해나 고의 같은 법적 평가는 이 관찰된 사실만으로 서두를 수 없다. 판례가 요구하는 항목을 여기에 놓고 보면, 분석 대상물과 분석 주체, 절차와 방법의 동일 여부가 아직 가려지지 않았고, 내포된 오류가능성의 정도와 상반된 결과가 나타난 이유도 확인되지 않았다. 그러므로 이 사례에서는 충돌한 결론을 하나로 좁히지 않고, 확인된 사실과 미정인 항목을 함께 적어 두는 처리가 남는다.
다룬 판결
다룬 공식 문서
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)