Summary
판정자들이 아무 관계 없이 골라도 같았을 몫이 어떻게 생기는지를 묻는다. 관찰 일치율의 뜻과 분류 항목·범주의 정의에서 출발하여, 우연 일치의 정의와 일치치에 섞이는 구조를 설명한다. 판정자별 비율의 구실과 무관한 선택의 기대를 살피며, 카파의 공식 전개와 지표 선택의 문제는 뒤 장에 남긴다.
3.1관찰 일치율의 뜻
일치도 측정이 재현성 요청에 놓인 자리를 확인한 뒤, 이 사건의 35/50이 어떤 값을 가리키는지 살펴보아야 한다. 두 판정자가 50건을 규칙형과 형량형으로 나누어 분류한 뒤 35건에서 같은 분류를 고른 사실이 확인되었다. 이 35라는 수는 두 판정자의 기록이 겹친 건수만을 센다. 그러므로 35/50은 관찰된 일치의 몫을 나타낼 뿐이다.
미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 Cohen's Kappa를 둘 사이의 일치를 다루는 지표로 소개하며 그 정의를 다음과 같이 적는다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이 식에서 p_o는 관찰된 일치의 비율이고, p_e는 우연히 맞출 몫을 뺀다. 이 사건의 35/50은 식의 p_o 자리에 놓이는 값이다. 두 판정자가 우연히도 같은 칸을 골랐을 몫은 이 값 안에서 아직 빠져 있다.
통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답했다. 관찰 일치율이 7할이라도, 각 판정자가 규칙형과 형량형을 몇 건씩 골랐는지에 따라 우연 몫의 크기가 달라진다. 한쪽이 열에 아홉을 규칙형으로 몰아넣었다면 우연 일치의 몫도 커진다. 책임자는 35/50이면 충분하다고 보았다. 이는 관찰된 몫만을 두고 내린 판단이며, 우연 몫을 걷어낸 뒤의 값을 두고 한 말이 아니다.
한편, 관찰 일치율은 분류의 정답률과도 구별된다. 이 값은 두 판정자의 기록끼리 겹친 정도만 센다. 어느 범주가 옳은 분류인지, 두 판정자 가운데 어느 쪽이 맞았는지는 이 값이 묻지 않는다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 판정자별 분류 비율과 어긋난 15건의 항목 내역과 그 사유는 미정이다.
따라서 35/50은 이 사건에서 관찰 일치율이 얼마인지를 가리키는 데 그친다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부가 미정인 채로 이 값만으로 재현성이 충분하다고 결론지을 수 없다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 이러한 지표들을 나열하면서 "Inclusion of resources in the Center does not constitute NIST endorsement, validation, or determination of suitability of any listed methodology, metric, or tool." 라고 밝힌다. 지표의 쓰임은 남은 사실이 채워진 뒤에 가려질 문제로 남는다.
3.2분류 항목과 범주
관찰 일치율 35/50이 세고 있는 것은 단지 두 판정자가 함께 골라 둔 분류의 건수이다. 그렇다면 무엇을 항목으로 삼고 무엇을 범주로 삼았는지가 이 비율의 틀을 이룬다. 이 사건에서 판정 대상은 판결 50건이며, 두 판정자는 각 판결의 '판단 기준의 형태'를 규칙형과 형량형이라는 두 갈래 가운데 하나로 나누어 분류하였다. 범주가 둘이고 항목이 오십 개라는 이 틀 안에서 35라는 수가 생겼다.
항목과 범주를 대조하는 이 계산은 다른 자료에서도 같은 모양으로 확인된다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)은 두 판정자의 경우를 다루는 지표를 소개하면서 그 다루는 대상을 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)"라고 적었다. 이 정의는 판정자 셋 이상으로 늘어난 경우를 다루는 지표에 관해서도 같은 자료가 "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)"라고 같은 자리를 둔다. 두 표현이 함께 놓이는 자리는 분류 대상, 즉 'items'와 'ratings'이고, 그 내용은 'categorical'이다. 이 사건의 판결 50건이 'items'이고, 규칙형·형량형이 각 항목에 붙은 'categorical'한 범주이다.
범주가 둘뿐이라 하여 항목이 적은 것은 아니다. 판정자 셋 이상이 붙고 항목 사이에 빠진 값이 생기는 경우까지 다루는 지표는 그 점을 분명히 하며, 위에서 밝힌 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center의 같은 자료가 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)"라고 적었다. 여기 적힌 'nominal, ordinal, interval, and ratio scales'은 범주를 나누는 척도의 네 가지를 가리킨다. 이 사건의 규칙형·형량형은 순서를 세우지 않는 명목의 범주이며, 따라서 위 척도 가운데 'nominal'에 놓인다.
이 사건에서 두 범주에 관한 구체적 문안과 그 바뀐 내역은 미정이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정으로 남는다. 따라서 각 범주의 경계를 어디에 두었는지, 어떤 이유로 어느 판결을 어느 쪽으로 놓았는지에 관하여는 단정할 수 없다. 여기에 주어진 사실은 항목 50건과 범주 두 갈래, 그리고 일치 35건뿐이다.
또한 자료가 함께 밝힌 것은 한 가지이다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center의 같은 자료는 서두에서 그 쓰임을 한정하며 "Inclusion of resources in the Center does not constitute NIST endorsement, validation, or determination of suitability of any listed methodology, metric, or tool."라고 적었다. 위에서 옮긴 정의들이 범주와 항목을 다루는 모양을 보여준다 하여, 그 정의가 이 사건의 분류 기준이나 그 분류의 타당함을 보증하는 것은 아니다. 결국 분류 항목 50건과 범주 두 갈래는 이 사건 일치 계산의 틀만을 이룬다.
3.3우연 일치의 정의
35건의 일치가 어느 몫에서 비롯되었는지를 따지기에 앞서, 계산이 전제하는 '우연'의 뜻을 먼저 밝혀야 한다. 두 판정자가 50건을 규칙형과 형량형으로 나눈 결과에서 일치 비율을 세는 것은 지금까지 확인한 바와 같다. 그런데 이 일치 비율을 그대로 신뢰할 수 있는지를 가르려면, 서로 힘을 합치지 않아도 생겼을 일치가 얼마인지의 기준이 있어야 한다. 지표 문헌은 이 기준을 지표 안에 넣어 두고 있다.
미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, "Cohen's Kappa" 항목은 이 지표를 무엇을 하는 계산으로 정의하는지를 다음과 같이 밝힌다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이 정의는 세 가지 점을 함께 못 박는다. 다루는 대상이 범주 항목이고, 판정자가 정확히 둘이며, 계산이 우연 보정을 거친다는 점이다. 이 사건에서 판정자는 둘이고 항목은 규칙형과 형량형이라는 범주에 놓이므로, 이 정의가 놓는 자리는 그대로 맞아떨어진다.
같은 항목에서 정의가 붙인 "correcting for chance"라는 말은, 우연 일치란 두 판정자의 판단이 아니라 분류 범주의 분포만으로 생기는 일치라는 뜻이다. 한 판정자가 규칙형을 많이 고르고 다른 판정자가 형량형을 많이 고르면 같은 항목에서 만날 가능성은 낮아진다. 반대로 두 판정자 모두 한쪽 범주에 몰리면, 뜻을 맞추지 않아도 같은 답이 나올 여지가 커진다. 우연 일치율은 바로 그 여지를 수로 옮긴 것이다.
범주 항목의 층을 넘어 서열·간격·비율 척도까지 넓히는 계수에서도 같은 뜻이 유지된다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, "Krippendorff's Alpha" 항목은 그 계수를 "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)." 로 정의한다. 이 정의의 분모 자리에 놓이는 기대 불일치는, 표본에 나타난 범주 빈도만으로 예상되는 불일치를 뜻한다. 곧 알파가 1에서 D_o/D_e를 빼는 구조는, 관찰된 불일치를 우연히 예상되던 불일치에 견주는 일이다. 이 사건에서 알파를 고르는지는 다루지 않더라도, 알파가 우연을 기준으로 삼는다는 점은 카파와 다르지 않다.
이 사건의 책임자가 35건 일치를 두고 충분하다고 본 까닭과, 통계 담당자가 아무 관계 없이 골라도 몫은 같았을 것이라고 답한 까닭이 갈리는 지점이 바로 여기다. 전자는 관찰된 일치만을 세고 있고, 후자는 우연으로 설명될 수 있는 일치를 따로 떼어 보자는 말이다. 지표가 "correcting for chance"를 내세우는 까닭은, 관찰 일치 안에 섞인 우연 몫을 제쳐 두지 않겠다는 데 있다. 이 단계에서 정리할 수 있는 것은 우연 일치란 서로 무관한 선택이 범주 분포만으로 만들어 내는 일치라는 뜻이며, 이 뜻이 함께 다루는 지표들의 바닥에 놓여 있다는 사실이다.
3.4일치치에 섞인 우연
관찰된 35건의 일치 가운데 얼마가 판정자의 실력이고 얼마가 우연의 결과인지 가르는 일이 남았다. 두 판정자가 아무 관계 없이 골라도 어느 몫은 우연히 같아지므로, 관찰된 일치치에는 우연히 맞은 몫이 섞여 있다. 국립표준기술연구소의 지표 설명도 이 구조를 전제로 삼는다. 그 설명은 Cohen's Kappa를 두고 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 라고 밝힌다. 이 사건의 두 판정자는 범주형 항목을 둘로 나누어 분류한 정확히 두 사람이므로, 이 정의가 비추는 대상은 관찰 일치치와 우연 일치치의 차이이다.
공식의 형태는 우연 몫이 관찰치 안에 들어 있음을 그대로 보여준다. 위쪽의 p_o는 관찰된 일치의 몫이고, p_e는 우연히 같아졌을 몫이다. 분모의 1에서 p_e를 빼는 이유는, 우연히 맞아도 되는 자리를 뺀 나머지 안에서 얼마가 남아 있는지를 묻기 때문이다. 이 사건에서 p_o는 35/50이라는 사실로 확인되었다. 그러나 이 사건의 관찰만으로 p_e의 값은 정해지지 않았다.
p_e의 값이 정해지지 않은 까닭은, 이 사건에서 판정자별 분류 비율이 미정이기 때문이다. 두 판정자가 각각 규칙형과 형량형을 몇 건씩 골랐는지, 즉 각 범주에 얼마의 몫을 배분했는지가 확정되지 않았다. 이 비율은 우연히 같아졌을 몫의 크기를 정하는 자리에 놓인다. 따라서 관찰된 35/50만을 가지고 그 우연 몫의 크기를 계산할 수 없다. 책임자가 35/50이면 충분하다고 본 판단과 통계 담당자가 우연의 몫을 지목한 대답 사이의 간극이 바로 이 지점이다.
우연 일치를 덜어내는 일이 어떤 때 축약되는지도 이 사건의 대비가 말해준다. 국립표준기술연구소는 "Fleiss' Kappa (…) An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)." 라고 적는다. 세 사람 이상이 범주를 부여할 때로 넓어져도 우연히 같았을 몫을 빼는 골격은 그대로이다. 이 사건의 판정자는 셋이 아니라 둘이므로 이 확장된 형태가 겨냥하는 사정은 들어맞지 않는다. 다만 공식이 바뀌어도 우연 몫을 먼저 알아야 한다는 점은 같다.
이 관찰 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가가 아니다. 훈련 여부와 기준서의 문안, 개정 이력도 미정으로 남아 있고, 어긋난 15건의 항목 내역과 그 사유도 미정이다. 이 가운데 어떤 항목이 어떤 자리에서 우연의 몫을 좌우하는지는 다음 자리에서 다룰 문제이다.
3.5판정자별 비율의 구실
앞 절이 남긴 물음은 관찰된 35건 안에 섞였을 우연 몫을 얼마로 보아야 하는지이다. 그 몫의 자리를 정하는 데는 두 판정자가 각자 규칙형과 형량형에 붙인 비율이 관여한다. 이 비율의 구실을 밝히되, 이 사례에서 그 비율이 미정임을 함께 확인한다.
먼저 우연 일치 몫의 자리를 공식으로 옮겨 둔다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 Cohen's Kappa를 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)"라고 규정한다. 이 사례에서 판정자는 정확히 두 사람이고 항목은 규칙형과 형량형의 범주이므로 이 규정은 이 사례에 그대로 겹친다. 이 식에서 p_o는 관찰 일치율, p_e는 아무 관계 없이 골라도 같았을 비율이다.
문제는 p_e가 두 판정자의 분류 비율로 짜인다는 점이다. 한 판정자가 규칙형에 많은 몫을 주고 다른 판정자가 형량형에 많은 몫을 주면, 우연히 같은 범주에 겹칠 자리는 그만큼 좁아진다. 반대로 두 판정자가 같은 몫으로 나누어 가졌다면 우연히 겹칠 자리는 넓어진다. 관찰된 35/50은 그 자리를 채운 뒤에만 우연 몫과 진짜 일치를 가른다.
그런데 이 사례에서 두 판정자의 분류 비율은 미정이다. 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 자료가 제공되지 않았다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부도 함께 미정이다. 미정인 비율에 임의의 수치를 채워 넣으면 p_e는 얼마가 되어도 그만인 수가 되고, 이 사건의 35건은 그 수에 끌려다닌다.
이 사례에서 유일하게 확정된 것은 50건 가운데 35건에서 두 판정자가 같은 분류를 골랐다는 사실이다. 이 관찰된 사실은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 관찰 일치치에 섞인 우연 몫의 크기를 이 사례에서 계산하려면 판정자별 비율이 먼저 채워져야 한다. 미정인 채로 남겨 두는 것이 이 사례가 요구하는 자리다.
3.6무관한 선택의 기대
35건이면 충분하다는 답과 우연히도 같았다는 답이 나란히 놓인 자리에서, 이 사건이 마주한 질문은 관찰된 일치를 어떻게 읽는가이다. 두 판정자가 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 그런데 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 이 말은 관찰된 35건의 일치를 곧바로 재현성의 크기로 읽을 수 없게 만든다.
우연히도 같아지는 몫은 사실관계에서 떠오른 이례적인 견해가 아니다. 두 범주를 고르는 판정이 우발적 선택에 따르더라도 관찰된 일치가 생기는 자리를 가리키는 것이며, 계량 관행은 이미 그것을 계산 앞에 둔다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)은 두 범주를 나누어 고르는 두 판정자의 일치를 우연 몫을 덜어 내어 보는 지표의 정의를 다음과 같이 제시한다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이 정의에서 우연히 같아진 몫은 분자에서 이미 빠진다. 이 사건에서 관찰된 35건의 일치는 그 분자에 들어갈 자료일 뿐이다.
그렇다고 관찰된 35건이 무력한 숫자는 아니다. 판정 결과를 규칙형과 형량형이라는 범주로 나누어 두 판정자가 고른 사실은 확인되었고, 그 확인이 없으면 우연 몫을 논할 출발점조차 없다. 다만 그 35건 안에는 무관하게 골라도 생기는 몫이 섞여 있기에, 관찰 일치율 하나만으로 두 판정자의 기준이 실제로 맞물렸는지를 단정할 수 없다. 앞서 확인한 판정자별 분류 비율이 우연 몫의 자리를 정하나 그 비율은 이 사건에서 미정이다. 미정인 비율을 채워 넣지 않으므로 이 사건에서 우연 몫의 크기는 정하여 말할 수 없다.
이 사건의 책임자가 35/50이면 충분하다고 본 판단도 같은 자리에서 다시 보아야 한다. 충분하다는 답은 관찰 일치의 크기를 기준으로 한 평가이고, 통계 담당자의 답은 그 관찰 안에 끼어드는 우연 몫을 지적한 것이다. 두 답은 서로 배척하지 않는다. 하나는 관찰된 사실을 요약하고 다른 하나는 그 요약이 가진 한계를 적시한 것이다. 따라서 관찰 일치율이 얼마라는 사실은 재현성을 논의하는 출발점에 그치며, 그 자체로 두 판정자의 무관함을 입증하지도 않고 분류 기준서의 잘못을 입증하지도 않는다.
우연 몫의 존재가 밝히는 것은 관찰 일치 안에 두 겹의 성분이 있다는 사실이다. 한쪽은 두 판정자의 판단이 실제로 맞물려 생긴 일치이고 다른 한쪽은 무관한 선택이 우연히 겹쳐 생긴 일치이다. 이 사건에서 두 성분의 비율은 판정자별 분류 비율이 미정인 까닭에 아직 가려지지 않았다. 어긋난 15건의 항목 내역과 그 사유 역시 미정이다. 미정인 사실로 계산된 수치를 만들어 내지 않는 한, 관찰 일치율을 재현성의 측정치로 읽는 일은 다음 단계로 넘겨야 할 것이다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)