Summary
관찰 일치율에서 우연 일치의 몫을 뺀 값이 어떻게 읽혀야 하는지를 묻는다. 우연이 섞인 관찰 일치와 기대 일치의 정의 자리를 세우고, 그 구조에서 빼낸 값의 형태를 정의한다. 1에 가까운 값과 0에 가까운 값의 뜻을 나누어 놓고 일치와 정확성이 갈리는 자리를 가리키며, 해석 구간표와 상황별 지표 선택, 분류 치우침의 영향은 뒤 장에 둔다.
4.1우연이 섞인 관찰 일치
관찰 일치율 35/50이 무엇을 가리키는지 가린 문제를 세우자. 이 사례에서 두 판정자는 판결 50건의 판단 기준을 규칙형과 형량형으로 나누어 분류하였고, 35건에서 같은 분류를 골랐다. 책임자는 이 몫이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 관찰 일치 35/50에 우연히 같아진 몫이 얼마나 섞였는지는 미정이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 모두 미정이다.
일치 자체가 옳음을 뜻하지 않는다는 점은 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에서 같은 논의를 내어놓는다. 합의 측정의 주요 단점 하나는 합의가 'correctness'의 측정값이 아니라는 점임을 그 지침은 다음과 같이 밝힌다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 두 판정자가 규칙형이라는 같은 분류를 고른 35건에서 두 분류가 모두 기준서의 뜻에 어긋났을 가능성이 남는다.
나아가 전체 일치가 한쪽 몫을 감출 수 있음도 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽이 함께 말한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 따라서 35/50이라는 하나의 비율만으로 두 판정자의 분류가 두 축에서 고르게 맞았는지 드러나지 않는다.
우연히 섞인 몫의 크기는 아직 미정이다. 규칙형과 형량형 두 범주 중 어느 쪽으로 몇 건이 몰렸는지, 두 판정자가 각각 몇 건씩을 규칙형으로 뽑았는지가 정해져야 어긋남의 기대 몫이 잡힌다. 그러나 그런 값이 나와도 그것이 두 판정자의 무관함이나 분류 기준서의 잘못을 입증하지는 않는다. 통계 담당자의 답은 관찰 일치 35/50을 그대로 쓰면 섞인 몫을 걷어내지 못한다는 뜻이지, 두 판정자가 짜 맞추었거나 기준서가 틀렸다는 뜻이 아니다.
우연히 같아진 몫을 어떻게 잡을지는 미정으로 남는다. 여기서 확정할 수 있는 것은 관찰 일치율 하나만으로는 분류의 실질적 재현성이 얼마나 되는지 말할 수 없다는 점이다. 이 관찰 사실은 재현성 측정의 출발점이며, 확정 손해나 고의 같은 법적 평가가 아니다.
4.2기대 일치의 정의 자리
관찰 일치율이 우연히 맞춰진 몫을 담고 있음을 확인한 뒤, 다음으로는 그 몫을 무엇으로 계산해 빼는지 물어야 한다. 미국 상무부 국립표준기술연구소(NIST)는 두 판정자 대상 지표를 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)."라고 적는다. 이 문장은 두 가지를 함께 말한다. 지표가 다루는 대상이 범주형 항목에 대한 판정자 둘 사이의 일치이며, 그 값이 우연에 대한 보정을 거친다는 점이다.
우연을 빼는 자리는 분수의 분자에 놓인다. 관찰 일치의 자리에 해당하는 값이 p_o이고, 우연 일치의 기대값에 해당하는 값이 p_e이다. 즉, 분자에 들어가는 값 p_e는 무엇을 빼기 위한 값인가. 지표가 우연히 같아졌을 몫을 가려내어 관찰 일치에서 제거하기 위해 두는 값이다. 이 사건에서 35건의 일치 중 어떤 몫이 우연에 해당하는지 따지는 작업이 바로 이 값을 두는 이유에 해당한다.
지표 정의는 p_e를 무엇에 대하여 계산하는지 말하지 않는다. 다만 이 사건의 사정에는 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유가 모두 미정으로 남아 있다. 이 사실들이 미정인 채로 남으면, p_e의 값 자체도 확정할 수 없고, 그 값에 대한 평가자의 해석도 확인할 수 없다.
p_e를 빼는 일이 무엇을 증명하지 않는지도 분명히 해 두어야 한다. 지표 정의는 평가자 간 관찰 일치를 다룬다. 따라서 이 공식은 평가자의 독립성을 증명하지 않는다. 법률 판단의 정답률을 확정하지도 않는다. 아울러 이 사건의 관찰 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가의 확정을 수반하지 않는다.
정리하면, 이 값은 우연히 일치한 몫을 걸러내어 관찰 일치의 나머지를 둘로 나누는 분모에 함께 쓰인다. 관찰 일치의 절대 수 35건에서 우연 몫을 뺀 차이와, 1에서 그 우연 몫을 뺀 차이가 함께 놓이는 구조인 셈이다. 이 사건의 지표는 우연이 섞인 35건을 그대로 쓰지 않고, 우연 몫의 기대값을 빼는 보정을 거치는 값이다.
4.3우연을 뺀 값의 구조
관찰 일치에서 기대 일치의 몫을 빼는 일이 무엇을 남기는지 살펴보아야 한다. 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center는 Cohen's Kappa의 정의로 "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)"을 제시한다. 이 식의 분자는 관찰 일치 비율에서 우연히 맞을 기대 비율을 뺀 값이다. 즉, 전체 관찰 일치 가운데 단지 우연으로 돌아갈 몫을 제거한 나머지를 분자에 놓는다.
그렇다면 이 값이 나타내는 것은 두 가지다. 하나는 관찰 일치가 우연 기대를 얼마나 넘어섰는가이고, 다른 하나는 남는 일치의 크기가 1에서 우연 기대를 뺀 몫과 어느 비율인지다. 분모는 우연조차 없었을 때 남는 최대 여지이며, 분자는 실제로 넘긴 폭이니, 이 값은 관찰 일치와 우연 기대의 간격을 기대치가 남기는 최대 여지로 나눈 구조가 된다.
우연을 뺀 값이 0에 가깝다면, 관찰된 일치가 우연 기대에 거의 못 미친다는 뜻이다. 양수인 값은 관찰 일치가 우연 기대를 넘긴 폭을 말한다. 이 사건에서 두 판정자의 관찰 일치가 35/50이라면, 이 비율에서 분류별 빈도가 우연으로 맞힐 몫을 뺀 값이 Cohen's Kappa의 분자가 된다. 다만 분류별 비율이 아직 확인되지 않았으므로 그 폭의 실제 크기는 미정으로 남는다.
한편, 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 동의 지표가 정답률과 다르다고 지적하며, 4.1절에서 "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 경고한다. 이 지적은 Cohen's Kappa의 분모에 있는 1에서 우연 기대를 뺀 값도 정답률의 크기가 아니라는 점을 뒷받침한다. 우연을 뺀 값은 두 분류 사이의 순수한 일치만을 세며, 분류 자체가 법적 평가와 얼마나 가까운지는 다루지 않는다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 같은 절에서 나아가 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라고도 한다. 이는 우연을 뺀 값이 전체 일치 성격의 지표로만 머무른다는 점을 시사한다. 따라서 이 값이 무엇의 차이인지는 앞서 확인한 구조로 가리지만, 이 값의 크기 구간이 재현성의 어느 등급인지, 그리고 이 사례에 어떤 지표를 택할지는 여기서 확정하지 않는다. 그 구간과 지표 선택은 뒤의 논의로 넘긴다.
4.41에 가까운 값의 뜻
우연을 뺀 값이 어떻게 생겼는지 살핀 뒤에 남는 물음은, 그 값이 1에 가까울 때 무엇을 뜻하느냐이다. 앞서 정의한 값은 관찰한 일치에서 우연히 맞힐 몫을 뺀 나머지였으므로, 이 물음 역시 정의 문장의 구조 안에서만 읽을 수 있다. 분류 50건 가운데 35건에서 두 판정자가 같은 답을 고른 사실은, 관찰된 일치의 크기를 그대로 말할 뿐이다.
우선 정의가 놓인 자리를 다시 확인한다. 미국 상무부 국립표준기술연구소(NIST) AI Metrology Center는 카파의 정의를 아래와 같이 제시한다.
"Cohen's Kappa" 항목의 정의는 다음과 같다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)."
이 식에서 분자는 관찰 일치 비율 p_o에서 우연 일치 비율 p_e를 뺀 값이다. 분모는 우연으로 설명되지 않는 남은 여지, 곧 완전한 일치가 1을 이루는 데 필요한 몫이다.
분자에 관해 앞 절에서 읽은 뜻은 다음과 같다. 관찰 일치에서 우연 일치의 몫을 뺀 값은, 두 값의 차이를 나타낼 뿐이다. 그 차이가 클수록 관찰된 일치가 우연히 맞힐 만한 선을 넘어섰다는 뜻이 생긴다. 35건에서 두 분류가 같았다는 관찰이 우연 기대를 얼마나 넘었는지는, 이 정의만으로는 확정되지 않는다.
분모가 남은 몫을 나누는 점도 같은 방향이다. 미국 상무부 국립표준기술연구소(NIST) AI Metrology Center의 정의에서 분모는 "1 - p_e"로 주어진다. 분모가 남은 여지인 이상, 분자에서 생긴 차이를 남은 여지로 나눈 값은 1에 가까워질수록 그 차이가 남은 여지를 거의 다 채웠다는 뜻이 된다. 다시 말해 우연 기대를 뺀 뒤 남은 몫이 관찰에서 거의 모두 채워졌다는 뜻이다.
이 정의가 주는 것은 그 이상이 아니다. 자료의 정의 문장은 일치 정도를 우연으로 바로잡아 나타내는 지표를 제시할 뿐, 손해의 확정이나 고의의 존부를 말하지 않는다. 두 판정자에게 분류 기준서를 읽혔는지, 훈련을 받았는지도 이 값에서 확인되지 않는다. 분류 기준서의 문안과 개정 이력, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다.
따라서 1에 가까운 값이라는 말은, 관찰한 일치가 우연히 맞힐 몫을 넘어서 그 폭이 남은 여지에 거의 다다랐다는 정의상의 뜻만을 담는다. 35건의 일치가 그러한 값에 이르는지는 이 정의에 그대로 대입하여 확인할 일이고, 확정 손해나 고의 같은 법적 평가로는 이어지지 않는다.
4.50에 가까운 값의 뜻
우연을 뺀 값이 1에 가까운 쪽의 뜻을 읽고 나면, 그 반대편인 0에 가까운 값이 무엇을 말하는지가 자연히 뒤따른다. 50건 가운데 35건이 두 판정자의 분류에서 일치한 뒤, 관찰된 일치가 우연에 의한 것인지 넘어선 것인지 가리는 일이 남았다. 이 질문에 답하려면 먼저 0에 가까운 값의 정의가 무엇을 규정하는지를 그대로 읽어야 한다.
미국 상무부 국립표준기술연구소(NIST), AI Metrology Center의 공식 지표 설명은 Cohen’s Kappa를 설명할 때 다음과 같이 정의한다. "A metric evaluating inter-annotator agreement for categorical items between exactly two annotators, correcting for chance: kappa = (p_o - p_e) / (1 - p_e)." 이 식에서 분자 p_o는 관찰된 일치 비율이고 p_e는 우연에 기대할 일치 비율이다. 그러므로 분자가 0에 가깝다는 것은 관찰된 일치가 우연 기대치에 그쳤다는 뜻이 된다. 이 사건에서 두 판정자의 35/50이라는 관찰치만으로는 p_e가 얼마인지 아직 확정되지 않았으므로, kappa 값이 실제로 얼마인지는 계산되지 않은 채 남아 있다.
우연을 걷어내는 일이 왜 필요한지는 NIST가 Fleiss’ Kappa를 소개하는 정의에서도 드러난다. "An extension of Cohen's Kappa assessing the agreement reliability among a fixed number of three or more annotators when assigning categorical ratings: kappa = (P_bar - P^bar_e) / (1 - P^bar_e)." 이 정의는 p_e라는 기대값을 분모와 분자에서 함께 다룬다. 값을 0에서 1로 잡아 우연 기대를 표준으로 삼는 구조이며, 이 사건에서 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이므로, p_e의 값을 확정할 자료가 마련되어 있지 않다.
NIST가 Krippendorff’s Alpha를 설명하며 밝힌 정의도 같은 방향이다. "A versatile agreement coefficient for any number of annotators that handles missing data and adapts to nominal, ordinal, interval, and ratio scales: alpha = 1 - (D_o / D_e)." 이 계수 역시 관찰된 불일치 D_o를 기대된 불일치 D_e로 나누어 그 비율을 1에서 뺀다. 불일치가 기대치에 그치면 alpha 값은 0에 가까워진다. 다만 이 사건은 두 판정자가 다루는 범주형 분류이며, NIST가 정의에서 적응을 허용하는 척도의 종류 가운데 어느 것에 해당할지는 미정이다.
결국 0에 가까운 값은 두 판정자의 관찰된 일치가 우연에 기대한 몫을 넘지 못했다는 정의상의 뜻만을 가진다. 그 값이 나타난다고 하여 분류 기준서가 나쁘다거나 어긋난 15건의 항목 내역이 어떤 사유에서 비롯되었다고 결론 내릴 수 없다. 사유 단정이나 불일치 사후 조정값의 사용 여부는 이 단계에서 판단할 대상이 아니며, 자료로 주어진 사실들이 재현성 측정의 출발점일 뿐 확정 손해·고의 같은 법적 평가를 구성하지 않는다는 한계는 그대로 남는다.
4.6일치와 정확성의 갈림
우연을 걷어낸 값이 0에 가까운 뜻을 묻는 데서 멈추지 않고, 이 사례가 마주친 일치율 자체의 한계로 눈을 돌린다. 판정자 둘이 50건 가운데 35건에서 같은 분류를 고른 것은 그 자체로 재현성의 단면이며, 그렇다면 이 35/50이 곧 올바른 분류의 비율인지를 묻는 문제가 남는다. 두 분류자가 같은 답을 내놓았다는 사실과 그 답이 옳다는 판단은 서로 다른 물음이다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치 측정이 갖는 한계를 분명히 적는다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong." 이 문장이 말하는 것은 일치가 정답 여부의 척도가 아니라는 점이다. 두 판정자가 35건에서 만났다는 사실만으로 그 35건의 분류가 옳다고 수긍할 수는 없다.
나아가 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치와 정확성이 함께 낮을 수 있는 상황을 든다. "In fact, two tests could agree well, but both have poor sensitivity and specificity." 곧, 일치율이 높게 나온 자리에서도 두 평가 모두가 틀릴 수 있다. 이 사례에서 두 판정자의 35건이 같은 규칙형으로 모였다고 해서 그 규칙형 분류가 타당한 기준에 맞았는지는 별도의 문제로 남는다. 다만 이 사례는 판정자의 진단 정확성을 다루지 않으므로, 위 문장은 일치와 정확성을 구별하는 방법론적 경계선을 긋는 근거로만 읽는다.
또한 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치가 낮게 나온 경우에도 어느 한쪽을 옳고 그르다 단정할 수 없다는 점을 함께 적는다. "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 어긋난 15건에서 어느 판정자의 분류가 기준에 맞았는지는 미정이다. 두 판정자 가운데 한쪽이 틀렸다는 식의 결론을 이 문장에 기대어 내릴 수는 없다.
전체 일치를 요약하는 값이 상황에 따라 오해를 부를 수 있다는 경고도 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에 이어진다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 전체 일치율과 카파를 함께 적은 이 문장은, 이 둘을 단독으로 진단 성능을 설명하는 값으로 삼는 것을 권하지 않는 방법론적 권고다. 35/50이라는 하나의 전체 일치치를 재현성의 완성된 판단으로 여기는 것은 이 권고가 경계하는 방향이다. 이 권고는 의료 진단 평가를 겨냥한 것으로, 이 사례의 법적 기준으로 옮겨짐을 뜻하지는 않는다.
마지막으로, 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 어긋난 결과를 다듬어 얻은 값을 성능 평가에 다시 쓰지 말 것을 함께 적는다. "3. Avoid the use of outcomes altered or updated by discrepant resolution You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 어긋난 15건의 사유와 후속 처리가 미정인 이 사례에서, 그 처리 결과를 다시 일치의 값에 보태는 일은 경계해야 할 방향으로 남는다.
이 사례가 남긴 35건의 일치와 15건의 어긋남은 재현성 측정의 출발점이며, 확정 손해나 고의와 같은 법적 평가가 아니다. 일치와 정확성을 가르는 이 구분은, 우연을 걷어낸 값이 무엇을 말하고 무엇을 말하지 않는지를 가리는 데 필요한 경계선이다.
Official documents referred to
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)