Summary
불일치가 기준서의 모호함, 판결문의 모호함, 판정자의 실수 가운데 어디에서 온 것인지를 묻는다. 어긋난 항목의 사유를 세 갈래로 나누어 차례로 살피고, 원인에 따라 고치는 자리가 다르다는 점을 설명한다. 판결 자체의 불확정성이 두 갈래로 읽히는 문제와 법원의 심리 기준은 다음 장에 남긴다.
11.1어긋난 항목의 원인 나누기
어긋난 15건의 항목을 모아 둔 채 그 사유를 미리 단정하지 않은 흐름에서, 이 절은 그 불일치가 어디서 온 것인지를 가르는 자리를 마련한다. 앞 절의 결론이 바뀌는 것은 아니고, 모아 둔 명부의 출처를 세 갈래로 나누어 읽는 틀을 세우는 것이 이 절의 과제이다.
우선 이 사례에서 확인된 사실의 범위를 분명히 해 둔다. 두 판정자는 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 다만 어긋난 15건의 항목 내역과 그 사유는 미정이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율도 함께 확인되지 않았다. 그러므로 어느 한 항목의 원인을 이 절에서 단정하지 않고, 원인의 자리를 나누어 두는 선에서 멈춘다.
불일치의 출처를 셋으로 나누는 구분은 검수 절차에서 이미 그 자리가 정해져 있음을 보여 준다. 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은, 정확성의 의미를 밝히는 가운데 검수의 단계를 나누어 둔다. 거기서는 "사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수"를 첫 단계로 두고, 이어 "크라우드워커(전문가)에 의한 1차 검수"와 "가공 담당자에 의한 2차 검수"를 거치며, 마지막으로 "품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행"을 두었다. 이 셋은 각각 기준서가 제대로 설계되었는지, 판정이 그 기준대로 이루어졌는지, 판정자 사이의 신뢰도가 확보되었는지를 묻는 자리이다. 따라서 불일치의 출처를 기준서·판결문·판정자로 나누는 구분은 임의로 만든 틀이 아니고, 검수 절차가 이미 가르고 있는 물음의 셋을 이 사례에 옮긴 것이다.
기준서 쪽의 물음은 분류 기준이 제대로 만들어져 있는가이다. 「AI 데이터 품질관리 가이드 v3.5(제1권)」 표 II-26은 품질기준 검사내용 가운데 "각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"과 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"을 요구하고, 아울러 "초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"을 함께 요구한다. 이 사례에서 두 판정자가 나눈 규칙형과 형량형이 분류체계에 모두 포함되는지, 그 구분이 두 판정자에게 같은 비율로 읽히는지는 확인되지 않았다. 기준서의 문안이 불충분하거나 포함 대상이 빠져 있었다면, 그 불일치는 기준서에서 온 것이 된다.
판결문과 판정자 쪽의 물음은 이 구분이 그 다음의 자리이다. 판결문의 서술이 규칙형과 형량형의 경계에서 모호하여 같은 서술이 서로 다르게 읽혔다면 불일치는 판결문에서 온 것이고, 두 판정자가 같은 서술을 같은 기준으로 읽고도 다르게 분류했다면 불일치는 판정자에게서 온 것이 된다. 어느 쪽인지 어긋난 15건의 사유가 확인되어야 가려진다. 확인된 35건의 일치와 미정으로 남은 15건의 사유 사이에서, 이 절은 세 갈래의 자리를 마련해 두는 것으로 그친다.
11.2기준서에서 온 불일치
세 갈래 가운데 첫 갈래로 기준서를 두기로 한 까닭은, 두 판정자가 같은 문장에서 다른 분류를 골랐다면 그 문장이 어느 쪽 읽기를 열어두었는지부터 물어야 하기 때문이다. 분류 기준서의 문안과 개정 이력은 아직 확인되지 않았다. 이 점이 미정으로 남아 있으므로, 어떤 문구가 어느 쪽 분류를 뜻한다고 단정할 수 없다. 다만 기준서가 분류의 출발점이라는 틀 안에서, 불일치의 첫 갈래가 그 문안에서 나올 수 있음을 확인하는 데 그친다.
기준서가 올바르게 기능하기 위한 조건은 품질관리 지침에도 서술되어 있다. 한국지능정보사회진흥원, 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 검사내용에서 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"하고 "각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"할 것을 요구한다. 이 지침은 분류 대상이 분류체계 안에 빠짐없이 들어오고, 그 비율이 검토 계획에 드러나 있어야 분류 작업이 제대로 이뤄진다는 뜻이다.
이 사건에서 두 판정자는 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하였다. 다만 기준서의 문안이 미정이므로, 규칙형과 형량형이 분류체계에 어떻게 배치되었는지, 두 범주 밖의 항목이 있는지 여부도 확인되지 않는다. 지침이 요구하는 '분류체계가 모두 포함'되는지와 '적절한 비율'이 지켜졌는지는 이 사건에서 바로 대조할 수 없다. 확인되지 않은 것은 확인되지 않은 채로 둔다.
그렇다고 해서 이 갈래를 미루는 것은 아니다. 원인이 기준서의 문안에 있으면 고칠 자리도 기준서다. 문안이 두 가지 읽기를 막아두지 못해 분류가 갈렸다면, 문안을 다듬는 일로 불일치를 줄일 수 있다. 개정 이력이 함께 살펴져야 하는 까닭도 여기에 있다. 문안이 언제 바뀌었고 어떤 표현이 더해졌는지가 밝혀져야, 어느 시점의 기준서가 이 판정 50건에 적용되었는지 가릴 수 있다.
어긋난 15건의 항목 내역과 그 사유가 확인되면, 어느 항목의 불일치가 기준서에서 나왔는지 실물로 대조할 수 있다. 그때까지는 원인을 기준서로 확정하지 않고, 판정자별 분류 비율이나 훈련 여부도 함께 놓고 본다. 확정 손해나 고의 같은 법적 평가는 이 관찰의 밖에 있다.
11.3판결문에서 온 불일치
기준서에서 온 불일치가 가려진 뒤에도 어긋난 15건의 자리가 남는다. 두 판정자가 같은 문안을 두고도 판결문의 서술을 서로 다르게 읽은 경우가 그 안에 섞일 수 있다. 이 갈래는 기준서가 아니라 판결문에서 온 불일치이며, 원인을 판정자 쪽에서 찾기 전에 먼저 판결문의 서술에 두어야 한다.
분류 기준서는 무엇을 포함하고 어떤 비율로 두는지를 적도록 되어 있다. 「AI 데이터 품질관리 가이드 v3.5(제1권)」 표 II-26은 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"하라고 적고 있다. 이 문안은 분류체계가 빠지지 않기를 바라는 기준을 말한다. 그러나 이 사건의 50건은 이미 만들어진 판결문이므로, 선정의 문제가 아니라 판결문의 서술을 어떻게 읽느냐가 남는다.
같은 기준으로도 분류가 갈릴 수 있다. 규칙형과 형량형의 경계에 든 판결문은 서술이 두 갈래로 읽힌다. 판결문이 근거를 적어 두고 그에 따라 결론을 내리는 듯 보이면 규칙형에 가깝다. 반대로 양형의 요소를 두루 헤아려 결론을 정하는 듯 보이면 형량형에 가깝다. 어느 쪽으로 읽느냐에 따라 두 판정자의 분류가 갈라진다.
여기서 미정인 사실은 남겨 두어야 한다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 확인된 바가 없다. 따라서 어떤 한 쪽이 잘못 읽었다고 단정할 수 없다. 다만 35건에서 두 분류가 같은 사실은 확인되어 있고, 남은 15건의 원인을 가르는 작업이 다음으로 남는다.
판결 자체의 불확정성 문제와 법원의 심리 기준은 이 자리에서 다루지 않는다. 이 사건의 관찰된 사실은 재현성 측정의 출발점일 뿐이다. 확정 손해나 고의 같은 법적 평가는 이 단계에서 논하지 않는다. 어긋난 15건의 서술을 읽어 어느 갈래에서 온 것인지 가리는 일이 이 갈래의 몫이다.
35대 50의 일치가 의미를 갖는지는 우연히 맞은 몫을 빼고 보아야 한다. 책임자의 판단만으로 충분하다고 보기는 어렵다. 판결문에서 온 불일치가 얼마인지가 가려져야 기준서의 고침과 판정자의 훈련 가운데 무엇을 먼저 손댈지 정할 수 있다.
11.4판정자에서 온 불일치
판결문 쪽에서 온 갈림을 나누어 두고 나면, 어긋남의 세 번째 자리는 판정자라는 물음이 남는다. 같은 기준서와 같은 판결문 앞에서도 분류가 갈리는 경우, 그 원인이 판정자 한 사람의 판단에 있는지를 따로 알아보아야 한다. 이 물음은 앞에서 살핀 두 갈래와 나란히 놓일 때만 그 자리가 분명해진다.
한국지능정보사회진흥원 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은 검수를 여러 층위로 나누어 두었다. 먼저 기준서를 대조하는 점검을, 「Ÿ 사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수」라고 적었다. 이 점검은 루브릭에 맞추어 평가가 되었는지를 보는 일이며, 판정자가 서로 같은 분류를 골랐는지를 보는 일과는 대상이 다르다. 이 사건에서 35건의 일치 여부는 어느 쪽에 놓이는지 판단할 근거가 아직 없다.
그 가이드는 이어서 「3차 Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행」이라고 적었다. 이 구절은 판정자 간 신뢰도를 보는 절차를 별도의 검사로 두고 있으며, 앞의 정확도 검수와 이름부터 구분하였다. 이 사례에서 35건의 일치 여부를 다루는 일은 후자의 검사에 놓이는 문제이며, 앞의 검사로 대신할 수 없다.
그 검사에 쓰이는 지표의 명칭도 가이드의 적힌 표현 그대로 둔다. "Kendal W(일치도) 계수"라는 표기를 수식으로 다시 만들거나 다른 지표와 바꾸어 읽지 않는 것이 이 자료를 다루는 방식이다. 책임자가 35/50이면 충분하다고 보고 통계 담당자가 우연히 같을 몫을 따로 구분해 말한 까닭도, 그 검사가 무엇을 보는 절차인지 밝혀 두었을 때에만 따져 물을 수 있다.
다만 이 사건에서 판정자 쪽 원인을 확정하는 데 필요한 재료는 아직 채워지지 않았다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 확인되지 않은 훈련 이력을 넣어 판정자 원인을 확정할 수 없으며, 15건을 어느 한 갈래에 몰아 넣는 일도 이번에는 할 수 없다.
11.5원인마다 다른 고칠 자리
일치와 불일치의 갈래를 나눈 뒤에는, 확인된 35건과 확인된 15건이 각각 어디에 걸맞게 고쳐져야 하는지가 남는다. 불일치 15건의 사유는 미정이고, 이 사건에서 그 15건을 기준서 탓으로 돌릴지 판정자 탓으로 돌릴지 단정할 근거는 마련되어 있지 않다. 원인을 특정하지 못한 채 한쪽 자리를 고치면 다른 갈래의 오류가 고스란히 남는다.
기준서 쪽 원인은 분류 기준서의 문안과 개정 이력에서 찾아야 한다. 이 사건의 기준서 문안과 개정 이력은 미정이므로, 무엇을 고쳐야 하는지 이 자리에서 적을 수 없다. 다만 데이터 구축 절차에서는 같은 성격의 결함을 미리 걸러 내도록 되어 있다. 「AI 데이터 품질관리 가이드 v3.5(제1권)」 제59쪽 표 II-26은 검사내용을 두고 "Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"이라 하였다. 분류 기준서가 규칙형과 형량형의 경계를 분명히 적지 않으면 두 판정자가 그 경계에서 다른 판단을 내릴 수 있다. 따라서 이 갈래의 고칠 자리는 분류 기준서의 문안이며, 앞서 거론한 대로 문안과 개정 이력의 확인은 미정이다.
판결문 쪽 원인은 판정 대상이 되는 판결 50건의 서술 방식에 있다. 규칙형과 형량형은 본문의 판단 기준 서술에서 갈리는데, 판결문이 그 서술을 생략하거나 모호하게 적으면 두 판정자는 같은 문장을 읽고도 다른 분류를 고르게 된다. 어긋난 15건의 항목 내역과 그 사유가 미정인 상태에서, 이 갈래의 고칠 자리를 특정할 항목 식별은 아직 이루어지지 않았다. 이 갈래를 고치려면 판결문의 판단 기준 문장을 판정자에게 보이게 하는 작업이 선행되어야 한다.
판정자 쪽 원인은 마지막 갈래이며, 이 갈래의 고칠 자리는 판정자이다. 품질 검수 절차는 이 갈래를 검사하는 별도의 단계를 두고 있다. 「AI 데이터 구축 가이드 v3.5(제2권)」 제118쪽은 3차 검수를 "Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행"으로 정하고 있다. 이 문안은 판정자 간 신뢰도를 검사하는 단계가 루브릭 준수 여부를 점검하는 단계와 구분되어 있음을 보인다. 두 판정자의 훈련 여부가 미정이므로, 이 사건의 불일치를 훈련 부족 탓으로 돌리는 설명은 아직 채워 넣을 수 없다.
세 갈래는 서로 섞이지 않는다. 기준서를 고치면 판정자에게 적용될 규칙이 바뀌고, 판결문을 고치면 판정 대상의 표시가 또렷해지며, 판정자를 고치면 같은 규칙과 같은 표시 아래서의 판단이 달라진다. 따라서 불일치 15건의 사유가 확인되기 전에는 어느 자리를 먼저 고칠지 정할 수 없고, 35건이 맞은 것을 이유로 지표의 정확성을 인증하거나 합격 기준을 세우는 일도 이 자리에서는 다루지 않는다.
Official documents referred to
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)
- 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)