Summary
여러 판정자를 대상으로 한 지표들이 어떤 조건에서 갈라지는지를 묻는다. Cohen·Fleiss·Krippendorff 세 지표의 적용 대상과 정의를 나란히 놓고 서로 바꿔 쓸 수 없는 자리를 표로 정리한다. 갈래가 갈라지는 조건을 확인하고 선택으로 넘기는 물음을 남기며, 수식의 전개는 내놓지 않고 법률 판단의 정확성 문제는 뒤 장에 남긴다.
5.1세 지표를 나란히 놓는 일
일치와 정확성을 가른 뒤에 남는 것은 우연의 몫을 얼마만큼 빼느냐의 문제이다. 뺀 만큼의 크기를 숫자로 옮겨 붙인 이름이 지표이다. 그러나 지표 하나가 모든 판정 자리에 두루 맞지 않으므로, 어떤 지표를 어느 판정 상황에 놓을지 먼저 가려야 한다. 미국 상무부 국립표준기술연구소의 AI Metrology Center는 그 가름의 출발점으로 세 지표를 함께 적어 두었다.
가장 앞에 놓인 것은 Cohen's Kappa이다. 국립표준기술연구소 AI Metrology Center는 이 지표를 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)"라고 적었다. 범주형 항목을 다루고, 판정자가 정확히 두 명일 때 쓰며, 우연 일치를 보정하는 계수가 이 지표의 자리이다. 이 사건에서 판정자는 두 명이지만, 나눌 항목의 겉모습이 범주형으로만 보인다고 해서 이 지표를 곧바로 적용할 수 있는지는 자료가 정해 두지 않았다.
판정자가 셋 이상으로 늘어나면 그 자리를 이어받는 지표가 따로 있다. 국립표준기술연구소 AI Metrology Center는 Fleiss' Kappa를 "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)"라고 적었다. Cohen's Kappa를 넓힌 것으로서, 판정자가 셋 이상이면서 그 수가 정해져 있을 때, 범주형 등급을 나누어 줄 때의 신뢰도를 재는 계수이다. 이 사건의 판정자는 두 명이므로 이 지표가 요구하는 판정자 수의 조건은 갖추어지지 않았다.
세 번째로 놓인 것은 판정자 수에 제한을 두지 않는 계수이다. 국립표준기술연구소 AI Metrology Center는 Krippendorff's Alpha를 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)"라고 적었다. 판정자가 몇 명이든 쓸 수 있고, 결측 자료를 다루며, 명목·서열·간격·비율의 척도에 맞추어 적응한다는 점이 이 지표의 특징이다. 다만 이 사건의 항목이 어느 척도에 놓이는지, 결측 자료가 있는지는 자료가 말하지 않았다.
세 지표를 나란히 놓고 보면, 판정자 수와 자료의 척도가 지표 선택의 조건으로 드러난다. 이 사건은 판정자가 두 명이라는 점에서 Cohen's Kappa가 요구하는 자리에 가까우나, 분류한 항목의 성격과 결측 여부는 미정이다. 그러므로 이 관찰된 35건의 일치와 15건의 불일치를 어느 계수에 넣어 계산할지는 여기서 확정할 수 없다. 앞 장이 구별한 일치의 크기에서 우연의 몫을 빼는 계산이, 바로 이 세 갈래 가운데 어느 하나의 형태를 띠게 되는지를 밝히는 일만 남아 있다.
5.2Cohen 카파의 자리
앞 절이 세 지표의 문안을 나란히 세운 자리에서, 이제 Cohen 카파 하나만을 따로 떼어 이 사례에 놓을 수 있는지 살핀다. 두 판정자가 판결 50건을 규칙형과 형량형으로 나누었으므로, 판정자는 정확히 둘이며 다루는 항목은 범주형이다. 미국 상무부 국립표준기술연구소(NIST) AI Metrology Center는 이 지표의 적용 대상을 다음과 같이 적는다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이 문안은 판정자가 정확히 둘일 때, 그리고 항목이 범주형일 때를 전제로 삼는다. 이 사례의 판정자 수와 항목 성격은 그 전제와 겹친다.
그러나 문안은 정의식에서 무엇을 계산하는지도 함께 적는다. 앞서 인용한 식에서 분자에 놓이는 두 값은 관찰된 일치 비율과 우연히 일치할 몫이며, 그 차이를 일치할 여지의 나머지로 나눈다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 책임자가 본 35/50의 일치 비율이 이 식의 어디에 놓이는지, 통계 담당자가 말한 우연의 몫이 어디에 놓이는지를 가르는 일은 이 정의가 맡는다.
적용 대상에 관한 문안은 이 지표가 쓰일 자리를 좁혀 놓는다. "between exactly two annotators"라는 표현은 판정자가 셋 이상으로 늘어나는 자리를 이 지표 안에 넣지 않으며, "categorical items"라는 표현은 범주형이 아닌 항목을 그 자리에 함께 두지 않는다. 이 사례에서 어긋난 15건의 항목 내역과 그 사유는 미정이다. 그 내역이 밝혀지더라도, 판정자가 셋 이상이 되거나 항목이 범주형을 벗어나는 자리는 이 지표의 문안이 담은 범위 밖에 남는다.
분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율도 미정이다. Cohen 카파의 정의는 이 셋 가운데 어느 것도 정하지 않고, 두 판정자 사이의 일치와 우연의 몫만을 식에 담는다. 따라서 35건의 일치가 이 지표를 통해 어떻게 읽히는지는 문안이 정한 자리의 안쪽에서만 다룰 일이며, 그 자리를 벗어난 판단은 이 지표에 맡길 수 없다.
5.3Fleiss 카파의 자리
Cohen 카파가 놓이는 자리를 확인한 뒤에, 인용한 자료는 같은 목록에 Fleiss’ Kappa를 두 번째 지표로 함께 적어 두었다. Fleiss’ Kappa의 적용 대상과 정의를 그대로 옮겨 놓으면, 이 지표가 어느 판정 상황에 대응하는지가 분명해진다.
미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)은 적용 정의란에서 판정자의 수를 특정하여 지표를 적었다. 그 문장은 다음과 같다. "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)." 이 정의에 따르면 Fleiss’ Kappa는 세 명 이상으로 고정된 판정자 수를 전제로 쓰이는 계수이다. 따라서 Cohen 카파가 자리를 둔 "exactly two annotators"의 상황을 지나, 판정자가 셋 이상으로 늘어난 자리에서 이 지표를 놓는다.
정의는 Fleiss’ Kappa를 Cohen’s Kappa의 연장으로 소개한다. 앞의 두 판정자 상황에서 우연 일치를 보정하여 일치도를 재던 틀을, 판정자 수가 늘어난 분류 부여 상황으로 넓힌다는 뜻이다. 다만 자료는 그 연장의 결과치가 Cohen 카파와 같다고도, 두 값이 서로 환산된다고도 적지 않았다. 이 사례에서 두 판정자가 판결 50건을 규칙형과 형량형으로 나누어 분류하고 35건에서 같은 분류를 고른 사실은 관찰된 일치의 출발점일 뿐이다.
이 사례의 판정자는 둘이다. 자료가 Fleiss’ Kappa에 적어 둔 적용 대상은 세 명 이상으로 고정된 판정자이므로, 자료에 적힌 조건만으로는 이 사례를 그 지표 자리에 그대로 놓기 어렵다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 미정으로 남은 항목은 이 자리를 판단하는 데 필요한 사실로 남는다.
그럼에도 자료가 Fleiss’ Kappa에 제시한 식은 일치 비율에서 우연히 같아질 몫을 빼고 남은 몫을 나누어 보정한다는 구조를 보여 준다. 합성 사례에서 통계 담당자가 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답한 점이 바로 이 보정이 다루는 대상이다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다.
5.4Krippendorff 알파의 자리
Fleiss 카파가 다수 판정자의 분류 일치를 다룬 자리를 확인한 뒤, 세 번째 지표가 감당하는 대상의 범위를 살핀다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 Krippendorff’s Alpha에 관해 적용 정의를 다음과 같이 적어 두었다. "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)."
이 정의가 밝히는 첫째 자리는 판정자의 수다. "any number of annotators"라는 표현은 이 지표가 판정자의 수에 묶이지 않음을 뜻한다. 앞선 두 카파 가운데 하나는 판정자가 정확히 둘이어야 하고, 다른 하나는 셋 이상의 고정된 수를 전제하므로, 판정자의 수가 바뀌거나 확정되지 않은 작업에서는 이 구분이 그대로 적용되지 않는다. 이번 사례에서 판정자가 둘이므로 세 지표 가운데 어느 것을 놓아야 하는지는 곧바로 정해지지 않는다.
둘째 자리는 결측 처리다. 이 지표는 결측값을 함께 다룬다. 결측값이란 판정자가 어떤 항목에 응답을 남기지 않은 경우를 가리키는데, 판정자마다 판정에 참여한 항목 수가 다를 때 이 문제는 피할 수 없다. 이번 사례에서는 50건 가운데 어긋난 15건의 항목 내역과 그 사유가 확인되지 않았으므로, 결측 여부에 대한 판단은 미정으로 남는다.
셋째 자료 형태의 유연성이다. 이 지표는 명목·서열·등간·비율 척도에 맞추어 쓰인다. 앞선 두 카파가 범주형 자료를 전제한 데 비하면, 이 지표가 다루는 자료의 범위는 넓다. 이번 사례에서 판정자는 판결 50건의 판단 기준의 형태를 규칙형과 형량형의 둘로 나누었으므로, 그 자료는 범주형에 해당한다.
세 지표가 나란히 놓이면 각자의 자리가 드러난다. 판정자가 정확히 둘이고 범주형 자료를 다룬다면, 이 지표와 Cohen 카파의 적용 범위가 겹친다. 판정자가 셋 이상이면 Fleiss 카파의 자리가 생긴다. 이 지표는 결측값이 있거나 자료 형태가 범주를 넘어설 때 놓인다.
이 사례에서 관찰된 35건의 일치는 확정 손해나 고의 같은 법적 평가가 아니라 재현성 측정의 출발점이다. 책임자가 충분하다고 본 35건의 일치와 통계 담당자가 지적한 우연 일치의 가능성은 함께 놓여 있다. 그런데 이 일치율을 세 지표 가운데 어느 값으로 환산할지는 정해지지 않았다. 분류 기준서의 문안과 개정 이력, 판정자별 훈련 여부와 분류 비율이 확인되어야 각 지표가 요구하는 자료의 형태와 전제가 충족되는지 판단할 수 있다.
5.5갈래가 갈라지는 조건
세 지표를 나란히 놓고 보니, 앞에서 확인한 각 지표의 자리가 서로 포개지지 않는다는 점이 분명해진다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)에 따라 Cohen’s Kappa를 규정한 문안은 적용 대상을 두 판정자로 한정한다. 그 정의는 다음과 같다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 여기서 exactly two annotators라는 한정이 이 지표의 자리를 가른다. 이 사건의 판정자는 두 사람이므로 그 문면상의 수는 겹치지만, 세 명이었다면 이 지표를 그대로 쓸 수 없었다.
같은 출처의 Fleiss’ Kappa 항목은 그 한정을 넓혀 세 사람 이상으로 옮겨 놓는다. 적용 대상은 다음과 같다. "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)." three or more annotators라는 표현이 들어간 자리에는 두 판정자를 놓을 수 없다. 따라서 이 사건에서 두 판정자로 35건이 일치했다는 관찰값을 Fleiss’ Kappa의 값이라 부르는 일은 정의상 성립하지 않는다.
같은 출처의 Krippendorff’s Alpha 항목은 판정자 수에 제한을 두지 않는다. 그 문안은 다음과 같다. "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)." any number of annotators라는 범위 안에는 두 판정자도 세 이상의 판정자도 함께 들어간다. 다만 nominal, ordinal, interval, ratio scales이라는 척도의 나열이 함께 놓여 있으므로, 이 사건의 규칙형·형량형 분류가 어느 척도에 놓이는지는 정하여져 있지 않다.
세 문안을 겹쳐 보면, 갈래가 갈라지는 자리는 둘이다. 하나는 판정자 수이고, 다른 하나는 자료의 형태다. 앞의 두 카파는 판정자 수로 자리를 나누고, 세 번째 계수는 판정자 수를 열어 놓고 척도로 자리를 나눈다. 이 사건에서 50건 중 35건이 두 판정자의 분류에서 일치하였다는 사실은 그대로 놓여 있으나, 그 35/50이 세 지표 가운데 어느 하나의 값인지 확정되지 않았다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 모두 미정이다.
아울러 지표 선택에 앞서 함께 읽어야 할 문안이 있다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)에 따라 해당 목록을 제공하는 쪽은 그 지위를 다음과 같이 밝힌다. "Inclusion of resources in the Center does not constitute NIST endorsement, validation, or determination of suitability of any listed methodology, metric, or tool." 지표가 문헌에 실려 있다는 사실이 그 지표를 검증하거나 이 사건 용도에 적합하다고 정하여 준 것은 아니다. 그러므로 35/50이라는 관찰값을 어느 지표의 값으로 읽을지, 그리고 세 지표 가운데 무엇을 이 사건의 재현성 측정에 놓을지는 미정으로 남는다. 이 관찰값은 확정 손해나 고의 같은 법적 평가가 아니라, 재현성을 측정하는 작업의 출발점에 놓여 있을 뿐이다.
5.6선택으로 넘기는 물음
표에 대조된 자리가 각 지표의 정해진 자리를 보여준다는 사실에서, 이제 남은 물음은 어떤 지표를 먼저 고를지이다. 이 물음은 지표의 이름이 아니라 앞서 표시된 적용 조건에서 출발한다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 …은 미정이며, 이 미정 사항은 지표 선택의 순서를 정하는 일과 분리하여 다룬다.
지표 목록 자체는 검증의 보증이 아니다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 자료 수록의 의미를 분명히 하면서 "Inclusion of resources in the Center does not constitute NIST endorsement, validation, or determination of suitability of any listed methodology, metric, or tool."라고 밝힌다. 자료에 수록되었다는 사실만으로 지표의 타당함이나 용도 적합성이 확인된 것은 아니라는 뜻이다. 그러므로 이 목록을 근거로 지표가 사건에 맞는지까지 정해졌다고 읽을 수 없다.
이 사건에서 두 판정자는 판결 50건을 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 분류가 같았다. 그 35건이라는 관찰값이 어느 지표의 값에 해당하는지는 앞서 확인되지 않았다. 각 지표가 가진 정의의 조건이 서로 다르므로, 관찰된 숫자를 곧바로 어느 지표의 산출값으로 옮길 수 없다.
조건의 차이는 지표마다 놓인 자리가 다르다는 점에서 드러난다. Cohen’s Kappa는 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)."로 정의된다. 이 정의는 판정자가 정확히 둘이고 항목이 범주형일 때를 전제로 한다. Fleiss’ Kappa는 "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)."로 이어진다. 판정자가 셋 이상이고 그 수가 고정된 경우를 겨냥한다는 점에서 앞 지표와 자리가 갈린다. Krippendorff’s Alpha는 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)."로 정의된다. 판정자 수에 제한을 두지 않고 결측 자료와 척도 형태를 함께 다룬다.
정의에 드러난 조건에 비추어 보면, 두 판정자의 범주형 분류를 다루는 이 사건의 관찰은 세 지표 가운데 어느 자리에 놓일지가 각각 다르게 정해진다. 이 사건에서 판정자 수는 둘이고 자료는 규칙형과 형량형의 범주 분류이다. 다만 35건이 어느 지표의 값인지, 그리고 어느 지표를 택할지는 확정되지 않았다.
그러므로 지표 선택의 순서는 다음의 몫으로 남긴다. 목록에 오른 지표가 곧 검증된 지표라는 뜻으로 읽지 않고, 사건의 판정자 수와 자료 형태를 먼저 확인한 뒤에 정의의 조건에 맞는 자리를 고르는 일로 나아가야 한다. 이 목록은 재현성 측정의 출발점이며, 확정 손해·고의 같은 법적 평가가 아니다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)