요약
어긋난 항목을 한 자리에 모으는 일을 어떻게 해야 하는지를 묻는다. 검사대상의 선정 범위와 분류체계별 포함 비율을 확인한 뒤 엇갈린 항목의 명부를 만드는 방법을 정리한다. 루브릭 점검과 일치도 검사를 구별하는 구축 사례를 근거로 삼되 수식을 새로 짜지 않고 표기를 특정 지표와 같은 것으로 보지 않으며, 모은 항목은 원인 가르기로 넘긴다.
10.1검사대상 선정의 범위
사후 조정값의 재사용 문제에서 한 걸음 나아가면, 엇갈린 항목을 모으는 일 자체가 우선 해결 과제로 놓인다. 이때 무엇을 검사대상으로 삼는지의 범위를 먼저 가르쳐야 한다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 품질검사 설계에서 지켜야 할 기본 방향을 두 항목으로 적는다. 첫째, "Ÿ 각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"이다. 이 항목은 엇갈린 항목을 모으는 일에도 그 판단 기준과 분량을 미리 정해둘 것을 요구하며, 임의로 골라 모으는 일을 막는다. 둘째, "Ÿ 구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"한다. 이 항목은 한쪽 분류에만 쏠린 검사대상이 나머지 분류의 엇갈림을 놓치게 된다는 점을 알려준다.
같은 표 II-26은 검사내용을 적으면서 그 선정의 시점까지 함께 못 박는다. "Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"한다. 이 문장은 엇갈린 항목을 모으는 일이 나중에 덧붙이는 작업이 아니라, 자료를 처음 모으는 시점부터 짜 넣어야 할 계획임을 뜻한다. 앞서 본 두 항목이 선정의 기준과 범위를 정했다면, 이 항목은 그 범위를 실제 모으는 계획으로 옮겨 심는 역할을 한다.
이런 요구를 이 사건에 두면, 판정 일치도 실험에서 무엇을 검사대상으로 삼을지가 분명해진다. 두 판정자가 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 여기서 검사대상은 그 50건 전부이며, 같은 분류를 고른 35건만이 아니라 어긋난 15건까지 함께 들여다보아야 한다. 분류체계가 규칙형과 형량형의 둘이므로, 어느 한쪽에만 쏠리지 않게 두 분류의 판결이 모두 검사대상에 들어가야 한다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다.
그러나 이 사건에서 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 표 II-26이 요구한 "적절한 비율"이 이 사건에서 얼마였는지, 또 두 분류가 실제 판결 50건 안에서 얼마씩 차지했는지는 아직 확인되지 않았다. 이 미정 사실은 검사대상의 범위를 정하는 데 참고할 만한 요소를 비워둔 채로 남겨둔다.
따라서 엇갈린 항목을 모으는 일의 검사대상은, 정한 기준과 분량에 맞추어 분류체계가 빠짐없이 담긴 전체를 향한다. 앞의 논의에서 미측정 범위와 대응 이력을 남기도록 한 것과 같은 태도로, 확인되지 않은 항목은 미정으로 남아야 한다. 표 II-26은 여기서 지표의 수학적 정의나 법률 정확성의 인증 기준을 제공하지 않는다. 그 문안은 엇갈린 항목을 모을 때 무엇을 대상에 넣을지를 정하는 설계의 지침으로만 읽힌다.
10.2분류체계별 포함 비율
검사대상의 범위를 정한 뒤에는, 모아야 할 항목이 분류체계마다 고르게 섞여 있는지를 따져야 한다. 앞서 확인한 대로 어떤 판결이 검사대상인지를 가르는 문제와, 그 판결이 분류체계 중 어느 쪽에 얼마만큼 들어가는지를 가르는 문제는 서로 다른이다. 이 사건에서 규칙형과 형량형으로 나뉜 판결 50건은 분류체계가 둘이라는 점에서 모집의 대상이 되고, 각 체계에 몇 건씩 들어가는지는 별도로 셈해야 한다.
한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 검사대상 선정의 검사내용으로 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"하되 "각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"하여야 한다고 적고 있다. 앞의 문장은 체계 중 하나가 빠지지 않을 것을 요구하고, 뒤의 문장은 들어가는 양이 체계별로 적절하게 배분될 것을 요구한다. 규칙형과 형량형 어느 쪽도 모으는 일의 대상에서 제외되지 않는다는 뜻이며, 그렇다고 두 쪽의 건수가 반드시 같아야 한다는 뜻은 아니다.
표 II-26은 같은 검사내용의 앞부분에서 "각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"을 함께 요구한다. 이 구절은 비율을 정할 때 체계마다 얼마씩인지에 대한 기준과 수량을 함께 적도록 요구한다는 의미로 읽힌다. 이 사건에서는 판정자별 분류 비율이 미정이므로, 규칙형 몇 건과 형량형 몇 건이 선정 기준에 맞는지는 이 단계에서 확정할 수 없다. 비율을 정할 근거가 되는 자료가 확인되지 않은 채로 남아 있기 때문이다.
"적절한 비율"이라는 문구는 그 자체로 구체적인 숫자를 가리키지 않는다. 표 II-26은 체계가 모두 포함될 것과 적절한 비율로 획득·수집될 것을 함께 적되, 적절하다고 보는 비율의 값을 제시하지 않는다. 따라서 이 사건에서 35건의 일치와 15건의 어긋남이 어떤 분류체계에 어떻게 퍼져 있는지가 확인되기 전에는, 규칙형과 형량형이 각각 모으는 일에 얼마만큼 들어가는지를 수치로 적을 수 없다. 확인되지 않은 비율을 지어내어 설계로 확정할 것은 아니다.
분류체계별 포함 비율은 이와 같이 둘로 나뉜다. 체계가 빠짐없이 모이는지에 관한 범위의 문제와, 각 체계에 들어가는 양이 기준에 맞게 배분되는지에 관한 비율의 문제이다. 이 사건에서는 두 판정자가 규칙형과 형량형으로 나눈 50건이 그 범위 안에 있고, 그 50건이 각 체계에 몇 건씩 들어가는지는 미정이다. 미정으로 남긴 비율은 확정 손해나 고의 같은 법적 평가의 근거가 되지 않고, 재현성을 셈하는 준비의 범위에 머문다.
10.3엇갈린 항목의 명부 만들기
분류체계를 모두 포함하고 적절한 비율로 모으는 틀을 세웠다면, 이제는 이 틀에서 벗어난 자료를 한 자리에 모아야 한다. 이 사건에서 두 판정자는 규칙형과 형량형으로 나누어 판결 50건을 분류하였고, 35건에서 같은 분류를 고른 사실이 확인되었다. 따라서 남는 어긋난 15건의 명부를 만드는 일이 다음에 놓인다.
명부에 담을 자료를 고르는 기준은 앞서 세운 검사대상과 포함 비율의 틀이다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 구축대상 데이터의 선정 기준으로 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"이라는 문안을 둔다. 이 기준에 따라 어긋난 15건은 규칙형과 형량형 어느 쪽에 몰렸는지, 두 분류체계가 명부 위에 함께 드러나게 모아야 한다. 분류체계 중 하나가 명부에서 빠지면, 어긋남의 모양이 왜곡된다.
명부에 담을 항목의 나머지 한 축은 비율이다. 같은 표 II-26은 "각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"과 함께 "초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"을 검사내용으로 적는다. 이 문안은 어긋난 15건을 분류체계별 비율과 함께 적도록 요구한다. 다만 이 사례에서 규칙형과 형량형이 실제로 차지하는 비율과, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 이 미정의 자리를 수치로 채우면, 확인된 사실 밖으로 나간다.
명부의 항목으로는 무엇을 적을지가 남는다. 이 사례에서 확인된 것은 50건 가운데 35건이 일치하고 15건이 어긋났다는 사실과, 어긋난 15건의 항목별 사유가 미정이라는 사실이다. 항목별 어긋난 사유를 채워 넣거나, 35건의 일치에 원문에 없는 의미를 더하면, 명부는 관찰된 사실의 기록이 아니라 평가의 기록이 된다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율도 확인되지 않았으므로, 이 항목들은 미정으로 남겨 둔다.
명부는 어긋난 자료를 한 자리에 모으는 일의 결과물이다. 이 명부 위에 올라온 15건은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가가 아니다. 어긋난 항목을 모은 뒤에 무엇을 점검할지는 이 명부가 담아야 할 내용과는 별개의 일로 남는다.
10.4루브릭 점검과 일치도 검사
엇갈린 항목을 모아 놓은 명부는 어긋난 원인을 밝히는 자료가 될 뿐, 두 점검을 하나로 묶는 근거가 되지는 않는다. 이 사례에서 남은 질문은, 앞서 확인한 분류 결과를 다루는 데 루브릭 준수 점검과 평가자 간 일치도 검사가 각각 어떤 자리에 놓이는지 구별하는 것이다.
먼저 루브릭 준수 점검의 자리를 확인한다. 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은 검수 절차의 첫째 항목으로 "Ÿ 사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수"를 두고 있다. 이 점검은 평가 결과가 정해진 루브릭에 부합하는지를 살피는 일이다. 이 사례에서 두 판정자가 판결 50건을 규칙형과 형량형으로 나누어 분류한 결과가 루브릭에 맞는지를 묻는다면, 그것은 이 항목에 해당하는 물음이 된다.
다음으로 같은 자료가 1차와 2차 검수의 담당을 적고 있는 점을 확인한다. 위 가이드는 "1차 Ÿ 크라우드워커(전문가)에 의한 1차 검수", "2차 Ÿ 가공 담당자에 의한 2차 검수"로 검수 단계를 나누고 있다. 이 사례에서 검수 단계에 누가 배정되었는지, 그리고 각 단계가 무엇을 살폈는지는 자료가 말하지 않으므로 미정으로 남는다.
그 다음에 일치도 검사가 놓인다. 위 가이드는 "3차 Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행"이라고 기록하고 있다. 이 검사는 판정자 둘이 서로 얼마나 같은 답을 골랐는지를 다루는 일이며, 둘 사이의 신뢰를 가늠하는 점검에 해당한다. 이 사례의 35건 일치와 15건 불일치는 이 점검이 들여다볼 관찰 대상이다.
두 점검은 묻는 대상이 다르다. 루브릭 준수 점검은 판정 결과가 정해진 기준을 지켰는지를 묻는 반면, 일치도 검사는 두 판정자가 서로 맞물리는지를 묻는다. 가이드가 루브릭 준수 점검과 일치도 검사를 각각 별개의 항목으로 기록하고 있다는 사실이 이 구별을 뒷받침한다. 따라서 한쪽 점검의 결과를 다른 쪽의 근거로 삼을 수 없다. 50건 가운데 35건에서 두 판정자가 같은 분류를 골랐다는 사실은 루브릭이 제대로 지켜졌다는 뜻이 아니며, 그 역도 마찬가지다.
이 사례에서 두 점검은 나란히 놓여 있을 뿐, 서로의 결론을 대신하지 않는다. 35건의 일치와 15건의 어긋남은 일치도 검사가 훑을 자료이고, 분류가 루브릭에 맞았는지에 대한 판단은 별도로 루브릭 준수 점검에서 내려진다. 판단 기준의 형태를 나눈 판정이 확정 손해나 고의에 관한 법적 평가와는 거리가 있는 관찰인 것과 마찬가지로, 어느 점검의 결과를 다른 점검에 옮겨 적는 것은 산정된 재현성의 범위를 벗어나는 일이 된다.
10.5Kendal W 표기의 보존
루브릭 준수 점검과 일치도 검사가 서로 다른 점검임을 확인한 뒤, 이 절은 일치도 검사에서 쓰인 표기를 어떻게 옮길지에 관해 다룬다. 두 판정자가 판결 50건을 규칙형과 형량형으로 분류한 뒤 35건에서 분류가 겹친 사실 앞에서, 책임자는 35/50이면 충분하다고 보았고 통계 담당자는 우연히 같았을 몫이 남는다고 답하였다. 이 관찰된 사실들을 하나의 수로 바꾸어 비교하려 할 때, 인용문에 남은 표기의 생김새가 먼저 손상을 입지 않아야 한다.
데이터 검수 절차에서 일치도 검사가 어느 자리에 놓였는지를 보이려고, 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은 다음과 같은 순서를 적었다. "1차 Ÿ 크라우드워커(전문가)에 의한 1차 검수 2차 Ÿ 가공 담당자에 의한 2차 검수 (…) 3차 Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행". 이 인용문에서 일치도 검사는 앞의 두 검수를 대신하지 않고, 그 뒤에 놓인 별개의 점검으로 표시된다.
그중에서도 이 인용문이 일치도 계수를 부르는 이름은 "Kendal W(일치도)"로 적혀 있다. 이 표기는 자료가 놓은 그대로 두는 것이 옳다. 원문을 옮기면서 W를 κ로 바꾸거나, "Kendal W"를 Cohen κ를 뜻하는 말로 읽거나, 다른 계수의 이름으로 다듬어 쓰면 인용된 문장의 뜻이 바뀐다. 두 판정자의 분류가 35건에서 겹친 사실을 계산에 넣는 방식은, 표기 하나를 지키는 일과 별개의 문제로 남는다.
또한 이 인용문에는 수식이 들어 있지 않다. 검사의 순서와 이름만이 글자로 적혀 있고, 계수를 계산하는 식이나 값을 얻는 조건은 이 문장 안에 나타나지 않는다. 표기의 보존은 곧 수식의 재구성 없이 인용을 끝마치는 일이며, 수식이 빠진 자리를 임의로 채우지 않는 것이기도 하다. 따라서 이 자료를 근거로 계산의 모양을 특정할 수는 없고, 미정인 부분은 미정으로 남는다.
두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 정해지지 않았다. 표기만을 옮겨 둔 자리에서 이런 사항들을 끼워 넣으면, 계수의 이름에 품은 뜻과 실제 판정의 모양이 한데 섞인다. 품질 조직이 검사에 쓴 이름이 무엇이었는지에 관한 사실과, 이 사건에서 35/50을 어떻게 볼지에 관한 판단은 나란히 놓일 뿐이다.
이로써 표기는 원문의 모습 그대로 남기고, 수식이 비어 있는 자리도 비운 채로 남았다. 모아 둔 엇갈린 항목의 명부를 다음 다루어야 할 자리로 넘길 준비는, 이 이름 하나를 지키는 일에서 멈춘다.
10.6모은 항목을 원인으로 넘기기
Kendal W 표기를 원문 그대로 둔 뒤에, 앞 장이 모아 둔 엇갈린 항목의 명부를 다음 장의 원인 가르기로 어떻게 넘길지를 정리한다. 여기서는 어긋난 15건의 사유를 미리 끊어 단정하지 않고, 분류 기준서·판결문·판정자 가운데 어느 한쪽에도 책임을 미리 배정하지 않은 채 넘김의 자리를 정한다.
이 장이 넘길 대상은 앞 단위에서 확인한 명부 그대로이다. 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은 3차 검수에서 "품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행"을 뜻한다. 이 문장은 1차 검수의 "크라우드워커(전문가)에 의한 1차 검수"와 2차 검수의 "가공 담당자에 의한 2차 검수"를 앞에 두고 3차를 받는다. 따라서 Kendal W 검사는 앞선 검수 단계를 대신하지 않고, 앞 단계를 거친 평가가 평가자 사이에서 얼마나 되풀이되는지를 확인하는 자리에 놓인다. 이 사례에서 두 판정자의 50건 가운데 35건이 같은 분류로 모인 것도 바로 그 확인 자리에서 나온 관찰이다.
이 관찰을 넘길 때 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안은 같은 검수 문안 안에서 "사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수"를 첫째 항으로 둔다. 즉 검수의 첫 단계가 루브릭 준수 여부를 보는 것이라면, 엇갈린 항목의 사유를 다룰 때 루브릭의 문안과 개정 이력을 먼저 들여다보는 방향이 허용된다. 다만 분류 기준서의 문안과 개정 이력은 아직 미정이고, 이 장은 그 내용을 확정한 다음 장이 아니다.
같은 맥락에서 「AI 데이터 품질관리 가이드 v3.5(제1권)」 표 II-26은 각 공정의 품질기준을 정할 때 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"하도록 요구한다. 같은 표의 검사내용은 "초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"을 둔다. 이 두 항은 어긋난 15건의 항목 내역을 넘길 때, 어느 한 판정자의 분류 비율만을 문제 삼기 앞서 두 판정자 사이의 비율이 구축 계획과 어떻게 맞물리는지 함께 볼 근거가 된다. 판정자별 분류 비율과 어긋난 15건의 항목 내역 및 그 사유는 여전히 미정이므로, 이 장은 그 내용을 채우지 않는다.
한편 앞 단위에서 Kendal W 표기에는 수식이 포함되지 않았다는 사실을 확인하였다. 따라서 그 표기가 이 장에서 어떤 숫자를 뜻하는지 밝히지 않고, 35/50이라는 이 사례의 비율을 그 표기와 함께 쓰지 않는다. 두 판정자가 50건을 규칙형과 형량형으로 나눈 뒤 35건에서 같은 분류를 고른 사실과, 책임자가 35/50이면 충분하다고 본 사실, 통계 담당자가 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답한 사실은 각각 그 말과 함께 남긴다.
이렇게 정리된 명부와 그 위에 얹힌 세 갈래의 자리만이 다음 장으로 넘어간다. 넘겨 받는 쪽에서 어긋난 15건을 기준서·판결문·판정자 세 갈래로 나누더라도, 지금 확인된 것은 35건의 일치와 15건의 엇갈림이라는 관찰 사실뿐이다. 확정 손해나 고의 같은 법적 평가가 이 명부에 함께 섞이지 않도록 넘김의 선을 그어 둔다.
다룬 공식 문서
- 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)