Summary
한 분류에 사례가 몰리면 관찰 일치율과 우연을 뺀 값이 왜 어긋나 보이는지를 묻는다. 몰림이 관찰 일치율을 끌어올리면서 다른 지표를 낮출 수 있는 구조를 설명하고, 분류의 수가 값에 미치는 사정을 짚는다. 검사대상 선정과 비율 설계를 살피되 특정 업종이나 사건 유형의 비율을 대입하지 않고, 지표 하나로 품질을 확정하지 않는다.
7.1몰림이 보이는 관찰
지표 선택의 순서를 확인하는 것으로 절차를 정리한 뒤에, 이 사건의 관찰값을 놓고 나온 두 평가를 어떻게 읽어야 하는지가 남는다. 책임자는 50건 가운데 35건이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 같은 숫자를 두고 나온 이 평가가 무엇을 말하고 무엇을 말하지 않는지를 가르는 일에서 시작한다.
먼저 확인할 것은 두 분류가 나뉘는 자리다. 이 사건에서 판정자는 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 그런데 한 분류에 사례가 몰려 있으면, 두 판정자가 우연히 같은 분류를 고를 자리가 그만큼 넓어진다. 통계 담당자의 말이 바로 이 구조를 겨냥한 것이다.
사례를 모을 때 분류가 한쪽에 쏠리지 않도록 계획을 세워야 한다는 점은, 「AI 데이터 품질관리 가이드 v3.5(제1권)」 표 II-26의 검사내용에서도 요구된다. 한국지능정보사회진흥원(NIA)가 2025년 5월 23일 발간한 이 가이드의 검사내용은 "Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"이라고 적었다. 판정자 간 일치를 관찰하기 위한 판결 모음 역시 이 요구를 피해가지 않으므로, 분류별 사례의 비율이 관찰값의 해석에 직접 영향을 미친다.
다만 분류 비율 자체는 확인되지 않았다. 이 사건에서 판정자별 분류 비율, 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 따라서 한 분류에 사례가 몰렸다는 사실은 확인된 관찰에 포함되지 않고, 35/50이라는 값만으로 몰림의 정도를 따질 수도 없다.
아울러 35건의 일치라는 사실은 확정 손해나 고의 같은 법적 평가를 뜻하지 않는다. 책임자가 이 값을 재현성 측정의 출발점으로 삼아 충분하다고 평가한 것은 그 값 자체에 그친 판단으로 읽을 수 있을 뿐이고, 어떤 값 이상이어야 한 분류가 옳다는 결론으로 나아가지 않는다. 관찰된 사실은 분류가 어떻게 나뉘었는지를 보여주는 데 머문다.
결국 이 사건에서 확인되는 것은 50건 중 35건이 일치하였다는 관찰과, 그 값에 관한 두 평가가 갈린다는 사실이다. 한 분류에 사례가 몰렸는지 여부와 그 몰림이 관찰값에 어떤 영향을 주는지는, 미정으로 남은 항목들이 채워지기 전에는 판단할 수 없다.
7.2관찰 일치율의 끌어올림
일치 35건이라는 숫자를 높게 보느냐 낮게 보느냐 못지않게, 그 숫자가 만들어지는 자리의 모양도 함께 살펴야 한다. 이 사례에서 두 판정자는 50건의 '판단 기준의 형태'를 규칙형과 형량형 둘로만 나누었다. 분류가 두 갈래뿐이고 그중 한쪽으로 사례가 몰리면, 두 판정자가 골라 맞힐 자리와 우연히 맞을 자리가 함께 늘어난다. 관찰 일치율 35/50이 끌려 올라가는 까닭이다.
일치가 곧 옳음을 뜻하지 않는다는 점은 진단 검사의 통계 지침에서도 분명히 밝힌다. 미국 식품의약국, Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절은 "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 적는다. 이 사례에서 35건의 일치는 두 판정자가 규칙형이라거나 형량형이라며 같은 말을 냈다는 사실만 가리키며, 그 분류가 실제 판단 기준의 형태와 맞는지는 별개의 물음으로 남는다.
같은 지침은 몰림 아래에서 전체 일치가 왜곡되어 보일 수 있음을 한층 구체적으로 짚는다. 미국 식품의약국, 같은 지침 6절은 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라고 이른다. 한쪽에 사례가 몰리면 다른 쪽 분류의 일치는 드물어지고, 그 드물어진 쪽이 얼마나 어긋났는지는 전체 비율 뒤로 가려진다.
이 사례에 이 구절을 끌어오면 책임자가 35/50을 근거로 분류가 충분히 맞았다고 단정할 수 없다는 뜻이 남는다. 통계 담당자가 지적한 대로 아무 관계 없이 골라도 일정 몫은 우연히 같은 답이 나왔고, 몰림은 그 우연의 몫을 키운다. 관찰 일치율은 재현성을 살피는 첫 숫자이되, 분류의 품질이나 판정의 정확성을 확정하는 마지막 숫자는 아니다.
여기서 그치는 이유도 같은 지침의 태도와 맞닿는다. 미국 식품의약국, 같은 지침 3절은 "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."라고 못 박는다. 어긋난 판정을 고쳐 다시 짜맞춘 뒤 그 값을 일치의 근거로 삼는 것을 경계한 이 문장은, 관찰에서 드러난 15건의 어긋남도 그대로 두고 읽어야 함을 알려 준다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 항목의 내역과 사유는 미정이므로 여기에 보태지 않는다.
7.3우연을 뺀 값의 내림
한쪽에 몰린 분류에서는 관찰 일치율이 높아지는 구조를 확인한 뒤, 곧바로 우연의 몫을 뺀 값이 그러한 몰림 아래에서 어떻게 보이는지를 물어야 한다. 관찰 일치율이 함께 끌려 올라간다는 사실만으로는, 두 판정자의 진짜 재현성과 우연히 얻어 맞힌 몫을 서로 구분하지 못한다. 이 물음은 값 두 개의 뜻을 가르는 문제이지, 재현성의 결론을 다시 내리는 문제는 아니다.
일치를 측정한 지표에는 저마다 한계가 따라붙는다. 미국 식품의약국은 그 까닭을 다음과 같이 밝힌다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절에 따르면, "One major disadvantage with agreement measures is that agreement is not a measure of \"correctness.\" Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 이 대목은 일치 자체가 옳음의 척도가 아님을 분명히 한다. 따라서 높게 나온 값 하나로 분류의 정확성까지 확인된 것으로 보아서는 안 된다.
같은 자료는 일치 지표가 모를 끼칠 수 있음을 한정된 장면에서 다음과 같이 경계한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 6절에 따르면, "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 사건에서 관찰 일치율과 우연을 뺀 값이 함께 읽혀야 하는 까닭이 여기에 있다. 관찰 일치율은 높은데 우연을 뺀 값이 낮게 보이는 모습은, 값 둘 중 하나가 틀린 결과가 아니다. 두 값이 각기 다른 물음에 답하고 있을 뿐이다.
우연을 뺀 값이 몰림 아래에서 낮게 보이는 까닭은, 분류 한쪽에 실린 몫이 우연히 맞힐 몫도 함께 불린다는 계산 구조에 있다. 관찰 일치율에서 우연의 몫을 뺄 때, 몰림이 크면 우연의 몫이 커지므로 남는 값이 줄어든다. 관찰 일치율이 높게 나왔다는 사실과 우연을 뺀 값이 낮게 보인다는 사실은 서로 어긋나지 않는다. 하나는 맞힌 자리를 세어 본 값이고, 다른 하나는 그 가운데 우연의 몫을 덜어 본 값이다.
이 사건에서 판정자 두 명이 판결 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 다만 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 그러므로 두 값이 어느 쪽으로 나왔다는 사실만으로 확정 손해나 고의 같은 법적 평가를 끌어내서는 안 된다. 관찰된 사실은 재현성 측정의 출발점일 뿐이며, 우연을 뺀 값 하나로 품질을 확정하지도 않는다.
7.4분류의 수와 값의 관계
우연에 돌아갈 몫을 뺀 값이 낮아 보이는 까닭을 가른 뒤, 그 값을 낮추는 요인이 분류의 개수인지 각 분류에 실린 비율인지가 남는다. 이 사건에서 두 판정자는 규칙형과 형량형이라는 두 분류로만 판단 기준의 형태를 나누었고, 50건 가운데 35건에서 두 분정자가 같은 분류를 골랐다. 분류의 수가 셋이 아니라 둘이었다는 사실은 우연히 같아질 확률을 정하는 바탕이 된다. 분류에 실린 비율이 한쪽에 몰렸다는 사실은 같은 바탕 위에서 우연히 같아질 몫을 더 크게 만든다. 이 두 사정은 서로 다른 자리에서 값을 움직인다.
분류의 수와 비율이 함께 작용한다는 점은 미국 식품의약국의 진단검사 통계 지침이 지적하는 대목과 맞닿는다. 그 지침은 4.1절에서 일치 측정치가 맞음의 측정치가 아니라는 점을 먼저 밝힌 뒤, 6절에서 전체 일치 측정치가 오해를 부를 수 있음을 다음과 같이 적는다. "In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 대목에서 'positive or negative percent agreement'가 곧 각 분류에 실린 값이다. 이 사건에서는 규칙형에 실린 비율과 형량형에 실린 비율이 각 분류에 대응하고, 그중 한쪽이 매우 낮은 상태가 이 대목의 전제에 가깝다. 즉 분류의 개수를 둘로 줄여도 어느 한쪽에만 값이 몰리면, 전체에서 맞은 비율은 높아 보이면서 분류별로 맞은 값은 낮게 나온다.
두 값이 어긋나 보이는 설계와 두 값이 함께 움직이는 설계는 가려 읽어야 한다. 두 판정자가 50건 중 35건에서 같았다는 사실은 관찰된 일치율의 출발점이다. 여기서 우연히 같아질 몫을 뺀 값이 관찰 일치율보다 낮게 보이는 경우, 그 까닭은 분류의 개수가 적은 탓이 아니라 분류에 실린 비율이 몰린 탓으로 돌리는 편이 분명하다. 반대로 분류의 개수를 늘려도 각 분류에 값이 고르게 실리면, 우연히 같아질 몫은 줄고 두 값의 거리는 좁혀진다. 이 사건에서 분류는 둘이고, 분류별 비율 자체는 밝혀지지 않았다. 따라서 이 사건의 값이 어느 쪽 설계에 놓였는지는 이 관찰만으로 확정되지 않는다.
몰림을 막는 자리는 판정자가 아니라 분류체계를 담은 설계라는 점도 함께 짚힌다. 한국지능정보사회진흥원의 데이터 품질관리 가이드는 검사대상 선정에서 다음과 같이 요구한다. "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"하고, "각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"하여야 한다. 이 두 문장은 검사에 쓰는 표본이 분류의 수를 빠짐없이 담고, 각 분류에 실리는 비율을 미리 정해 둘 것을 뜻한다. 이 사건에서 두 분류가 모두 들어갔다는 사실은 확인되지만, 각 분류에 실린 비율이 적절했는지는 확인되지 않는다. 비율 설계가 미정인 까닭에 몰림이 표본에서 생긴 것인지도 함께 미정으로 남는다.
따라서 이 사건에서 분류의 수와 값의 관계는 이렇다. 분류가 둘이라는 사실은 우연히 같아질 몫의 크기를 정하는 틀을 만들고, 각 분류에 실린 비율이 한쪽에 몰렸다면 그 몫은 틀 안에서 더 커진다. 35/50이라는 관찰은 두 값이 어긋나 보이는 설계에 놓였는지 말해 주지 않는다. 책임자가 35/50이면 충분하다고 본 판단과, 통계 담당자가 우연히 같아진 몫을 지적한 답변 사이의 간격은 분류의 개수가 아니라 비율 설계에서 온다. 이 관찰은 재현성 측정의 출발점으로만 남는다.
7.5검사대상 선정과 비율 설계
분류 개수와 값의 배분이 측정값에 함께 작용한다는 점을 확인한 뒤, 몰림이 실험에 들어가는 표본의 선정에서 먼저 생기는지가 남는다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26은 검사대상 선정의 요건으로 "Ÿ 각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정 Ÿ 구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"을 제시한다. 이 두 문장은 검사대상의 양과 범위를 나란히 둔다. 검사에 올리는 건수만 맞추어서는 분류체계의 빈자리가 남는다.
가이드는 이어서 수거 단계의 계획까지 요구한다. 같은 표에서 "검사내용 Ÿ 초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"이라 하였다. 이 문장은 검사대상의 비율을 검사가 아니라 수집 계획에서 정하도록 본다. 따라서 어떤 분류에 사건이 몰려 들어간 것은 검사 결과가 아니라 계획이 만든 것이다.
이 사건에서 두 판정자는 판결 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누었고, 같은 분류를 고른 건수는 35건이었다. 이 50건이 두 분류를 모두 담도록 선정되었는지, 어느 분류에 몇 건이 실렸는지는 미정이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유도 미정으로 남는다. 가이드가 요구한 분류체계가 모두 포함되게 선정한 요건이 이 사건에서 지켜졌는지는 확인된 바 없다.
책임자는 35건이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라 답하였다. 이 두 의견은 같은 35건을 두고 나온 것이다. 다만 검사대상이 어느 분류에 어떻게 실렸는지가 밝혀지지 않았으므로, 35건이라는 값이 몰림의 영향을 얼마나 받았는지 여기서는 가를 수 없다. 선정과 비율 설계가 몰림을 낳는 자리라는 점만이 확인된다.
분류가 한쪽에 몰린 때에도 검사대상은 각 분류체계를 담도록 선정하고, 각 분류의 비율은 수집 계획에서 정한다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 확정 손해·고의는 이 자리에서 다루지 않는다.
7.6몰림 아래의 지표 읽기
몰림이 실험 설계에서 비롯된 것이 확인된 뒤에는, 그 몰림 아래에서 지표가 어떻게 읽히는지를 따져야 한다. 앞에서는 검사대상 선정과 분류체계별 비율이 관찰값에 미치는 자리를 살폈다. 이제 관찰 일치율과 우연을 뺀 값이라는 두 지표가 몰림을 만나면 각각 무엇을 보여 주는지 묻는다.
몰림은 지표의 정의 자체를 바꾸지 않지만, 지표가 담는 뜻을 좁힌다. 한국지능정보사회진흥원은 데이터 선정 단계에서 분류체계가 모두 포함되게 하라고 요구한다. 「AI 데이터 품질관리 가이드 v3.5(제1권)」 제59쪽 표 II-26은 "구축대상 데이터의 분류체계(카테고리)가 모두 포함되게 선정"이라고 적는다. 분류체계가 모두 섞여 들어가야 지표의 값이 그 체계 전반을 향해 놓인다.
같은 표는 검사 대상을 고르는 방식까지 함께 밝힌다. 「AI 데이터 품질관리 가이드 v3.5(제1권)」 제59쪽 표 II-26은 "각 공정의 품질기준(지표)에 따른 적절한 기준과 수량 선정"이라고 하면서, "초기데이터 구축 단계에서 부터 품질검사를 고려하여 각 분류체계의 데이터를 적절한 비율로 모두 획득/수집할 수 있도록 계획 수립"이라고 덧붙인다. 지표의 적절한 기준은 수량 선정과 뗄 수 없고, 그 선정은 분류체계별 비율을 함께 본다. 이 사례에서 두 판정자가 50건 가운데 35건에서 같은 분류를 고른 사실은 이 계획 아래 얻어진 관찰이다. 다만 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다.
몰림 아래에서 관찰 일치율을 그대로 읽으면 곤란한 이유는, 일치가 곧 정확성을 뜻하지 않기 때문이다. 미국 식품의약국은 「Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests」 4.1절에서 "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong."라고 짚는다. 두 판정이 자주 맞물린다고 해서 그 맞물림이 옳음으로 이어지지 않는다는 뜻이다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다.
같은 자료는 이 점을 한층 더 밝힌다. 미국 식품의약국은 같은 문건 4.1절에서 "In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 말한다. 일치가 높아도 둘 다 나쁠 수 있고, 어긋남이 곧 한쪽의 잘못으로 이어지지도 않는다. 35건의 일치와 15건의 어긋남 모두를 그대로 읽어야 하는 까닭이다.
전체 일치를 나타내는 지표는 몰림 앞에서 특히 조심스럽다. 미국 식품의약국은 같은 문건 4.1절에서 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라고 적는다. 분류가 한쪽에 몰리면 전체 일치라는 숫자가 곧게 보여도 그 안쪽 비율은 빈약할 수 있다. 이 사례의 35/50도 몰림을 함께 보지 않으면 그 값을 오해하기 쉽다.
결국 몰림 아래에서 읽어야 할 것은 지표 하나의 값이 아니라, 그 값이 놓인 자리다. 관찰 일치율과 우연을 뺀 값은 각기 다른 자리를 보여 주고, 어느 쪽도 홀로 품질을 확정하지 않는다.
Official documents referred to
- 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽