요약
판정자 수, 분류의 순서, 빠진 값이라는 조건이 지표 선택을 어떻게 가르는지를 묻는다. 일치 건수에서 출발하여 판정자 수를 세고, 분류 체계의 성격과 결측 값의 유무를 차례로 점검하며 고르는 순서를 세운다. 구축 사례가 남긴 표기와 방법의 검증 여부는 원문 그대로 살피며, 지표별 해석 구간의 확정은 이 권에서 정하지 않는다.
6.1일치 건수와 지표 선택
지표마다 놓일 자리가 정해져 있다는 확인에서 멈춘 뒤에 남는 물음은, 어떤 지표를 이 사건에 놓을 것인가이다. 50건 가운데 35건이 일치했다는 관찰을 계기로, 지표 선택이 숫자를 고르는 일에서 시작되지 않는다는 점을 먼저 밝혀 둔다. 지표는 관찰된 사실을 읽는 틀이므로, 그 틀을 고르는 순서에는 확인할 조건이 앞선다.
우선 지표의 대상이 무엇인지 밝혀야 한다. 이와 관련하여 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)은 품질기준을 정할 때 "Ÿ 각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"을 함께 적도록 하였다. 이 사건에서 분류의 대상은 판결 50건이고, 두 판정자가 나눈 항목은 규칙형과 형량형이다. 지표는 이 항목 위에서만 값을 가진다. 35라는 숫자는 그 대상과 항목이 먼저 정해진 뒤에야 셀 수 있는 것이다.
다음으로 대상이 지표가 다루어야 할 범위를 빠뜨리지 않는지 확인한다. 같은 표는 검사내용으로 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)에 "Ÿ 구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"을 요구한다. 이 사건에서 분류체계는 규칙형과 형량형의 두 갈래로 잡혀 있고, 50건은 그 두 갈래 가운데 하나로 배정되어 있다. 두 갈래를 모두 덮는 지표를 놓아야 35라는 수가 어떤 범위의 일치인지를 말해 준다.
그리고 자료가 어떤 흐름으로 모였는지를 살핀다. 앞선 지표의 경우와 마찬가지로, 같은 표는 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)에서 "Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"을 두었다. 이 사건에서 판정을 거친 50건이 어느 비율로 모였는지는 미정이다. 어긋난 15건의 항목 내역과 그 사유, 판정자별 분류 비율 역시 미정으로 남는다.
이 조건들은 35/50이라는 관찰을 어떤 용도로 읽을 것인가를 가르기 위한 것이다. 통계 담당자가 우연히 같아질 몫을 말한 것은, 일치 건수를 그 몫과 떼어 놓고 읽을 수 없다는 뜻이다. 그 몫의 크기를 계산해 넣는 일은 이 단계에서 하지 않는다. 관찰된 사실은 재현성 측정의 출발점일 뿐이고, 확정 손해나 고의 같은 법적 평가로 옮겨 읽히지 않는다.
결국 지표 선택은 일치 건수를 세기 전에, 지표의 대상과 범위, 자료의 흐름을 확인하는 순서에서 시작된다. 이 사건의 분류 기준서 문안과 개정 이력, 두 판정자의 훈련 여부는 확인되지 않았으므로 그대로 미정이다. 35건이라는 관찰은 이 조건들이 확인된 뒤에 지표와 결합되고, 확인되지 않은 항목은 확인되지 않은 채로 남는다.
6.2판정자 수를 세는 일
35건이라는 숫자가 무엇의 몫인지를 가려내고 나면, 곧바로 던질 질문이 남는다. 이 일치 비율을 어떤 지표로 잴 것인가 하는 문제이다. 지표를 고르는 일은 공식을 먼저 고르는 일이 아니라, 이 관찰에 몇 명이 참여했는지를 세는 일에서 시작된다.
판정자는 판결 50건을 규칙형과 형량형으로 나눈 두 사람이며, 그 밖의 판정자는 없다. 이 사례에서 판정자 수는 2명이다. 이 수가 정해져야 지표 후보가 가려진다. 같은 분류를 고른 35건은 두 명이 함께 낸 결과이므로, 세 명 이상을 전제하는 계량은 여기에 그대로 들어맞지 않는다.
국립표준기술연구소(NIST), AI Metrology Center의 지표 설명은 판정자 수를 지표 적용 범위의 첫 요건으로 적고 있다. Cohen’s Kappa 항목의 적용 정의는 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)"이다. 정확히 두 명에게만 적용된다는 이 문구는, 판정자가 둘인 이번 분류에 Cohen’s Kappa를 놓는 데 걸림이 없음을 뜻한다.
Fleiss’ Kappa는 그 경계가 다르다. 같은 문서의 적용 정의는 "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)"이라고 되어 있다. 세 명 이상이라는 요건을 적은 셈이므로, 판정자 둘인 이 사건에는 적용 대상이 아니다.
Krippendorff’s Alpha의 사정은 또 다르다. 적용 정의는 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)"로 되어 있다. 판정자 수를 가리지 않으므로 두 명인 이번 건도 제외되지 않는다. 다만 이 항목이 함께 밝히는 결측 처리와 척도 적응 요건은 여기서 확인되지 않았으므로, 지표 선택의 근거로 삼기에는 미정이다.
이 사례의 판정자 수가 2라는 점으로 미루어, 지표 후보는 Cohen’s Kappa와 Krippendorff’s Alpha로 좁혀진다. Fleiss’ Kappa는 판정자 수 요건에서 벗어나므로 제외된다. 확정 손해나 고의에 관한 판단은 이 자리에서 하지 않는다.
6.3분류 체계의 성격 확인
판정자 수가 둘로 확인된 뒤에 남은 다음 질문은 이 사건의 분류 항목이 어떤 성격을 띠는지이다. 두 판정자는 판결 50건을 규칙형과 형량형으로 나누었으므로, 그 나눔의 뼈대가 되는 분류 체계를 먼저 살펴야 지표를 고르는 둘째 조건을 잡을 수 있다.
분류 체계를 설계하는 요구는 구축 지침에서 확인된다. 한국지능정보사회진흥원(NIA)는 「AI 데이터 품질관리 가이드 v3.5(제1권)」 59쪽 표 II-26에서 검사 계획 수립 항목과 검사 내용을 함께 적었다. 그 문안은 다음과 같다. "Ÿ 각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정 Ÿ 구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정 검사내용 Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립". 이 문안은 분류 체계의 포함 여부와 항목별 비율을 함께 따져 보라는 뜻이며, 규칙형과 형량형 두 항목이 어느 쪽에 얼마나 들어 있는지도 같은 눈으로 보아야 한다. 다만 이 사건에서 항목별 실제 비율과 어긋난 15건의 내역은 미정이므로, 포함 여부는 확인되더라도 비율의 적정성은 이 자리에서 결론 내릴 수 없다.
분류 항목이 가진 성격은 나아가 지표의 선택 범위를 정한다. 미국 상무부 국립표준기술연구소(NIST) AI Metrology Center는 Cohen's Kappa의 적용 정의로 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)."라 밝혔다. 여기서 주목할 대목은 "categorical items"라는 표현이다. 규칙형과 형량형은 범주를 나눈 분류이며, 이 사건의 관찰 값은 범주 자료에 해당한다. 그러므로 이 사건의 분류 체계는 수량을 잰 척도가 아니라 명목 범주를 고르는 체계로 읽는다.
같은 출처가 판정자 수에 따라 지표를 갈라 놓은 점도 앞서 확인한 판정자 수와 맞물린다. NIST AI Metrology Center는 Fleiss' Kappa의 적용 정의로 "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)."라 적고, Krippendorff's Alpha의 적용 정의로 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)."라 적었다. 앞 단위에서 판정자가 둘임을 확인했으므로, 세 명 이상을 전제한 Fleiss' Kappa는 이 사건의 셈에 놓을 자리가 없다. 남는 후보 가운데 Krippendorff's Alpha는 결측 값 처리를 함께 다루므로, 그것이 이 사건에 쓰일지는 빠진 값을 본 뒤에야 가릴 수 있다.
결국 이 사건의 분류 체계는 두 명의 판정자가 고르는 명목 범주 체계이며, 규칙형과 형량형 두 항목이 모두 포함된다는 점은 확인된다. 다만 항목별 비율의 적정 여부와 해석 구간의 확정은 다루지 않으며, 분류 항목을 새로 두는 일도 이 자리의 범위 밖이다.
6.4빠진 값의 유무 점검
분류 항목의 성격을 확인하는 두 번째 조건을 넘기면 남는 것은 판정 표에 값이 비어 있느냐는 점이다. 책임자가 35건의 일치를 충분하다고 본 근거와 통계 담당자가 우연 일치를 지적한 까닭은 모두 값이 채워진 셀의 수를 세는 데서 나왔다. 기준 선택의 마지막 점검은 그러므로 각 판정 항목마다 값이 들어 있는지를 확인하는 일에 놓인다.
값의 유무를 확인할 때 먼저 물을 것은 결측 값을 어떻게 다루는지에 관한 기준이 이미 마련되어 있는가이다. NIST는 Krippendorff's Alpha를 소개하며 이 계수가 결측 자료를 다룬다고 적고 있다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Krippendorff's Alpha 항목의 적용 정의는 다음과 같다. "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)". 이 기술은 결측 값이 있는 자료에도 계수를 적용할 수 있음을 말할 뿐, 이 사건의 결측 값을 어떻게 처리할지에 대한 규칙을 정해 두지 않았다. 따라서 결측 처리 방식이 어떠하다고 단정할 수 없다.
같은 점검에서 빠질 수 없는 것은 검사 대상에 값이 제대로 실렸는지를 재는 기준이다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 59쪽, 표 II-26은 검사내용을 다음과 같이 적는다. "Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립". 이 문장은 분류체계별로 값이 골고루 담기도록 계획을 세우라는 점을 지시한다. 이 사건에서 어긋난 15건이 어느 항목에서 비었는지는 분류 항목별 획득·수집 계획과 견주어 볼 자리가 생긴다.
두 판정자 사이의 일치도를 정하는 지표가 어느 쪽이든 값을 비워 두는 자료를 함께 다루는지는 고르는 데 영향을 준다. NIST는 Cohen's Kappa를 두 판정자의 범주 항목에 대한 일치도를 우연 보정해 재는 계수로 적고, "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)" 로 그 정의를 밝힌다. 이 사건은 판정자가 둘이므로 이 계수가 놓일 자리는 열려 있다. 다만 이 정의는 결측 값을 어떻게 처리하는지를 담고 있지 않으므로, 값이 빈 항목이 남을 때의 처리 방식은 아직 정해져 있지 않다.
이 사건에서 확인할 수 있는 것은 50건 가운데 35건이 두 분류를 같이 고른 사실과, 나머지 15건에서 값이 어떻게 되어 있는지에 대한 자료가 아직 미정이라는 점이다. 분류 기준서의 문안과 개정 이력, 판정자별 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유가 모두 미정이므로, 지표별로 허용할 결측 비율이나 대체 값을 정하지 못한다. 값의 유무를 점검하는 일은 이 관찰된 사실을 확인하는 선에서 멈추고, 남은 자료가 채워질 자리를 비워 둔다.
결국 지표를 고르는 세 번째 조건은 판정 표에 값이 빈 곳이 있는지, 그리고 그 빈 곳에 관한 규칙이 마련되어 있는지를 묻는다. 이 사건에서 값이 채워진 35건은 재현성 측정의 출발점이 될 뿐이며, 확정 손해나 고의 같은 법적 평가와는 구별된다. 값의 유무를 확인하는 것으로 지표 선택의 조건 점검을 마친다.
6.5구축 사례가 남긴 표기
결측 값의 유무를 점검하는 절차를 마치자, 이어서 지표를 고르는 길에서 구축 사례가 남긴 표기를 그대로 읽어 보아야 한다. 표기의 형태가 지표의 성격을 오해하게 만들 수 있기 때문이다. 「AI 데이터 구축 가이드 v3.5(제2권)」 5.2 데이터 검수 방안에 인용된 사례의 표기는 다음과 같다.
한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 5.2 데이터 검수 방안은 사전 설계된 루브릭을 기준으로 한 검수와 품질 조직에 의한 일치도 검사를 구분해 제시하면서, 사례의 사례의 검수 단계를 이렇게 적고 있다. "Ÿ 사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수 (…) 3차 Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행". 이 인용에는 루브릭 준수 여부를 확인하는 검수와 평가자 사이의 일치도를 검사하는 단계가 나란히 적혀 있다.
따라서 이 사례의 표기는 두 가지 점검을 하나로 합치지 않고 서로 다른 조사로 분리하고 있다. 앞쪽 단계는 만들어진 평가가 설계된 루브릭에 맞았는지를 확인하는 정확도 검수이고, 뒤쪽 단계는 평가자 사이의 신뢰도를 검사하는 일치도 검사이다. 이 두 가지를 같은 수치로 읽으면 지표를 고르는 기준이 어긋난다.
그 표기에는 'Kendal W(일치도) 계수'라고 적힌 문구가 그대로 남아 있다. 이 문구를 옮길 때 'Kendal W' 표기를 고치거나 그 수식을 복원하지 않아야 하며, 수록되지 않은 계산식을 재구성해 해석하거나 다른 지표와 같은 것으로 다루지 않는다. 인용에 적힌 계수의 이름과 괄호 속 '일치도'란 표기가 함께 놓였다는 사실만 확인하면 충분하다.
이 사례는 판정자별 신뢰도 검사가 별도의 단계로 남아 있음을 보여 준다. 이 표기가 가리키는 검사의 대상과 계산 결과의 해석 범위는 수록된 문구에 그쳐 있고, 그보다 넓은 의미를 이 표기에서 새롭게 만들어 내지 않는다. 같은 문구라도 앞의 정확도 검수와 뒤의 신뢰도 검사를 달리 읽어야 함을 기억해 두어야 한다.
결국 구축 사례가 남긴 표기는 루브릭 준수 점검과 평가자 간 일치도 검사가 각자 다른 자리를 차지하고 있음을 드러낸다. 표기에 적힌 계수의 명칭과 검사의 구분을 그대로 두는 것이 지표를 고르는 순서에서 문헌을 읽는 최소한의 주의이다.
6.6선택 이후의 남은 경계
Kendal W 표기를 그대로 두고 두 검사를 구분한 뒤에야, 지표를 고르는 일은 절차로 정리할 수 있다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 선정 단계에서 확인할 항목을 이렇게 적는다. "Ÿ 각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정" 곧 이 사건에서 지표는 두 판정자 간 일치도이므로, 그 지표에 맞는 기준과 대상 수량을 먼저 고른다.
같은 표는 이어서 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)에서 "Ÿ 구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정" 이라 하였다. 규칙형과 형량형 두 분류 가운데 한쪽에 치우친 판결 50건이면, 분류 체계가 모두 담겼는지 확인한 뒤에야 비율을 읽을 수 있다. 그런데 이 사건에서 판정자별 분류 비율은 미정이므로, 이 항목의 점검은 아직 끝나지 않았다.
선정에 이어 검사 순서를 정한 문안도 있다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안은 1차 검사로 "Ÿ 사전 설계된 루브릭을 기준으로, 평가가 루브릭대로 이루어졌는지에 대한 정확도 검수" 를 둔다. 이 사건의 분류 기준서 문안과 개정 이력이 미정인 까닭에, 첫 단계의 점검부터 넘길 수 없다.
2차와 3차는 성격이 다르다. 같은 검수 방안은 3차로 "Ÿ 품질 조직에 의한 Kendal W(일치도) 계수 검사를 통해 평가자 간 신뢰도 검사 진행" 을 적는다. 루브릭 준수를 재는 검사와 평가자 간 일치도를 재는 검사를 나란히 둔 셈이다. 따라서 지표를 골랐다는 사실이 곧 루브릭 준수까지 입증한 것은 아니다.
선정 이후의 경계도 분명하다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 Cohen’s Kappa 항목에서 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이라 하였다. 두 판정자와 범주형 항목을 전제한 지표가 이 사건의 두 판정자·두 분류에는 맞지만, 그 공식이 법률 판단의 정답률을 말하는 것은 아니다. 같은 자료는 수록 자료에 대해 "Inclusion of resources in the Center does not constitute NIST endorsement, validation, or determination of suitability of any listed methodology, metric, or tool." 이라 못박았다.
따라서 지표 선택이 끝난 뒤에도 남는 경계는 셋이다. 일치도 값은 재현성의 출발점일 뿐 확정 손해나 고의 같은 법적 평가를 대신하지 않고, 두 판정자가 독립했는지는 이 지표가 입증하지 않으며, 해석 구간은 어긋난 15건의 항목 내역과 사유가 확인되어야 비로소 정해진다. 35건이 일치했다는 관찰만으로는 이 셋 가운데 어느 하나도 문을 닫지 못한다.
다룬 공식 문서
- 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)
- 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)