Summary
50건 중 35건이 같았다는 사실이 무엇을 말하고 무엇을 말하지 않는지를 묻는다. 관찰 일치율의 뜻과 측정의 대상·항목을 세우고, 확인된 사실과 미정 사실을 나눈 뒤 일치와 정확성이 다른 요청임을 가리킨다. 불일치 열다섯 건이 놓인 자리와 안심의 한계를 정리하며, 우연 일치의 계산과 지표 선택, 사후 조정의 문제는 뒤 장에 남긴다.
1.1관찰 일치율이 말하는 것
구성의 논의를 이어가면, 이 사례에서 확인된 사실은 하나의 수에 담겨 있다. 판결 50건 가운데 35건에서 두 판정자가 같은 분류를 골랐다는 관찰이 그것이다. 그 비율은 70퍼센트이다. 이 수가 무엇을 가리키고 무엇을 가리키지 않는지 먼저 살핀다. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답했다. 두 해석이 갈리는 지점에서, 일치 자체가 무엇인지에 관한 판단 기준이 문제된다.
일치한 검사 결과가 옳은 결과라는 뜻은 아니라는 점을, 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 다음과 같이 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 이 사례에서 35건이 두 판정자 사이에서 맞았다는 사실은, 그 35건의 분류가 옳다는 확인으로 이어지지 않는다. 두 판정자가 함께 같은 쪽에 섰을 수 있으며, 그 쪽이 분류 기준과 어긋나 있었을 수 있다. 반대로 어긋난 15건 가운데 어느 쪽이 옳은지도 이 사실만으로는 정해지지 않는다. 옳음의 문제는 일치율 바깥에 있다.
전체 일치율을 하나만 보아서는 놓칠 부분이 있다는 점도 같은 문서에서 확인된다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 이와 같이 권고한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 사례의 70퍼센트는 규칙형과 형량형 두 범주를 합쳐 센 숫자이다. 한쪽 범주에서의 일치가 다른 쪽 범주에서의 일치와 어떻게 섞여 있는지, 즉 판정자별 분류 비율과 어긋난 15건의 항목 내역과 그 사유는 아직 미정이다. 따라서 70퍼센트 하나로 분류 행위의 성격을 서술하기에는 확인된 부분이 적다.
어떤 일이 벌어졌는지를 적는 방법에도 한계가 있다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 다음과 같이 지적한다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 이 사례에서 어긋난 15건이 이후에 다시 논의되어 어느 한쪽으로 고정되었다면, 그런 고정된 결과는 원래의 일치 관찰을 대신하지 못한다. 미정인 사유 기록이 나중에 채워진다 하여, 처음의 35건과 15건이라는 배분이 바뀌는 것은 아니다.
따라서 이 관찰이 지금 직접 가리키는 것은, 판결 50건을 '판단 기준의 형태'라는 한 항목으로 규칙형과 형량형 나누었을 때 두 판정자가 35건에서 같은 범주를 고르고 15건에서 다르게 고르는 배분이 확인되었다는 사실이다. 이것이 이 사건의 재현성 측정 출발점이다. 확정 손해나 고의 같은 법적 평가는 이 수 안에 들어 있지 않다. 이 관찰만으로 책임의 유무나 손해의 범위를 말하기는 어렵다.
1.2측정의 대상과 항목
이 관찰의 의미를 논하기에 앞서, 그 35건이라는 숫자가 어느 것에 대한 것이고 어느 범위를 벗어나지 못하는지를 먼저 가려 둔다. 이 비율이 계산된 자료는 판결 50건이고, 두 판정자가 함께 판단한 것은 판정의 방향이나 결과가 아니라 각 판결의 '판단 기준의 형태'라는 한 항목뿐이다. 따라서 이 비율은 판결의 결론에 대한 일치도도 아니고, 판정자가 분류한 개별 항목의 옳고 그름에 대한 합의율도 아니다. 여기서 다루는 판정의 대상은 앞서 세어 본 50건으로 한정되고, 그중 35건이 두 사람에게서 같은 분류로 확인되었다는 관찰의 범위를 넘어서는 결론은 아직 세울 수 없다.
측정 항목은 '판단 기준의 형태' 하나로 정해졌다. 이 항목에는 규칙형과 형량형 두 범주가 쓰였다. 미국 식품의약국이 진단 검사의 일치도 평가에 관하여 쓴 지침은, 일치 자체를 정답과 같은 것으로 봐서는 안 된다는 점을 분명히 한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절은 "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong."라고 하였다. 이 문장은 두 판정자가 같은 범주를 골랐다는 사실이 그 범주가 옳다는 뜻은 되지 못함을 뜻한다. 앞서 확인한 35건의 일치도 마찬가지로, 두 판정자가 함께 규칙형이라거나 함께 형량형이라 부른 분류가 옳다는 뜻을 함께 전하지는 않는다.
같은 지침은 두 검사가 서로 어긋날 때에도 어느 한쪽이 틀렸다고 단정할 수 없음을 덧붙인다. 미국 식품의약국(FDA), 같은 지침, 4.1절은 "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 하였다. 이 말에 따르면, 이 사례에서 분류가 어긋난 15건은 어느 한 판정자의 오류로 미리 정해진 사건이 아니다. 누가 맞고 누가 틀렸는지는 이 항목의 일치 계산만으로는 가려지지 않는다.
나아가 이 관찰에서 계산한 값은 '전체 일치'의 성격을 띤다. 미국 식품의약국(FDA), 같은 지침, 6절은 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라고 하였다. 이 사례에서는 규칙형과 형량형 가운데 어느 한 범주에 쏠린 정도가 아직 확인되지 않았으므로, 35대 15라는 나눔만으로 두 판정자의 분류 능력을 평가하기는 이르다.
이처럼 이 비율의 자리는 좁게 정해진다. 판결 50건이라는 정해진 자료 위에서, '판단 기준의 형태'라는 하나의 항목을 규칙형과 형량형 두 범주로 나누어 분류한 결과, 두 판정자가 35건에서 같은 범주를 고른 사실을 확인한 것으로 그친다. 이 관찰은 재현성 측정의 출발점이며, 확정된 손해나 고의 같은 법적 평가의 근거가 되지 못한다. 이 자료에서 다룬 항목과 사건, 그리고 규칙형·형량형이라는 분류 체계를 넘어서는 결과를 이 비율에서 읽어 내기에는, 지금 확인된 사실이 너무 적다.
1.3확인된 사실과 미정 사실
70%에 대한 해석이 갈리는 지점에서, 무엇이 확인되었고 무엇이 남아 있는지를 가르는 일이 남는다. 이 사건에서 확인된 것은 두 판정자가 판결 50건을 규칙형과 형량형으로 나누었고, 35건에서 같은 분류를 골랐다는 사실이다. 그 사실은 합성 사례가 제시하는 관찰 내용이며, 확정 손해나 고의 같은 법적 평가가 아니다. 나머지 항목은 확인되지 않았다.
확인된 사실은 항목과 범주로 한정된다. 이 사건의 측정 대상은 판결 50건이고, 측정 항목은 '판단 기준의 형태' 하나이며, 쓰인 범주는 규칙형과 형량형이다. 이 세 가지가 확인되었다. 어긋난 15건이라는 숫자도 50에서 35를 뺀 결과로 확인되지만, 그 15건이 어떤 항목에서 왜 어긋났는지는 확인되지 않았다.
분류 기준서의 문안과 개정 이력은 미정이다. 기준서에 규칙형과 형량형이 각각 어떻게 정의되어 있었는지, 두 판정자가 같은 문안을 받았는지, 기준이 측정 도중에 바뀌었는지는 합성 사례가 밝히지 않았다. 두 판정자의 훈련 여부도 마찬가지로 미정이다. 훈련을 받았다면 무엇을 얼마나 받았는지, 받지 않았다면 어떤 경위로 판정에 참여했는지에 관한 사실이 없다.
판정자별 분류 비율도 미정이다. 50건 가운데 각 판정자가 규칙형에 몇 건을 놓았는지, 형량형에 몇 건을 놓았는지가 확인되지 않으면, 우연히 맞은 몫이 어느 크기였을지 가늠할 근거가 사례 안에 없다. 어긋난 15건의 항목 내역과 사유도 함께 남는다. 어느 판정자가 어떤 건을 어느 범주로 놓았는지, 어긋남이 애매한 사안 때문인지 기준 이해의 차이 때문인지가 확인되지 않았다.
미정 항목을 놓고 원인을 설명하거나 판정자의 능력을 평가하는 것은 이 사건에서 삼가야 한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절, 인쇄면 12쪽은 동의 측정치의 한계를 이렇게 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 이 문장은 일치가 정답과 같은 뜻이 아님을 가리키고, 확인된 사실과 미정 사실을 나누어 보아야 하는 이유를 뒷받침한다.
1.4일치와 정확성의 구별
70%에 대한 책임자의 판단을 그대로 두면, 이 수치가 무엇을 말하는지가 남는다. 두 판정자가 50건 가운데 35건에서 같은 분류를 골랐다는 사실은 분류가 서로 어긋났는가를 세어 얻은 것에 불과하다. 이 사건에는 분류가 과연 옳았는지를 다툴 참정 기준이 제시되지 않았으므로, 이 수치가 가리키는 것은 일치의 정도이고 분류의 정확함이 아니다. 그 둘은 물어야 할 것이 다른 요청이다.
일치와 정확성이 서로 다른 요청임을 분명히 한 문건으로 미국 식품의약국이 2007년에 낸 「Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests」를 빌릴 수 있다. 그 문건 4.1절은 평가 방법을 나누며 동의 측정의 한계를 이렇게 적는다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에 따르면, "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 이 사건에서 두 판정자가 35건에서 같이 읽었다는 사실만으로 그 35건의 분류가 옳다고 이어지지 않는 까닭이다.
그 문건은 총 일치 비율 자체만을 도구로 삼는 것도 경계한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에 따르면, "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 35/50이라는 한 자리 수치가 판정의 성질을 온전히 드러내기 어려운 까닭도 같다. 그러니 이 사례에서 확인된 관찰 일치율은 재현성을 향한 출발선이고, 판정의 능력이나 잘못에 대한 결론이 아니다.
그 문건 6절은 평가 대상이 될 값을 고르는 주의까지 덧붙인다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에 따르면, "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 다만 이 권고는 의료 진단 평가를 향한 비구속적 지침이며, 이 사건의 법적 기준으로 옮겨 읽을 수 없다. 이 사례에 참정 기준이 제시되지 않은 채로 남으므로, 분류가 옳았는지는 이 단계에서 묻히지 않고 70%라는 숫자가 뜻하는 자리를 분명히 하는 데에 머문다.
1.5불일치 열다섯 건의 자리
일치와 정확성을 가른 뒤에 남는 것은 어긋난 열다섯 건이다. 50건 가운데 35건에서 두 판정자가 같은 분류를 골랐으므로 나머지 15건은 두 판정이 갈라진 자리에 놓인다. 이 15건은 관찰 일치율에서 떨어져 나간 몫이지, 그 자체로 어느 한쪽의 잘못으로 적힌 항목이 아니다.
이 구분은 미국 식품의약국의 진단 검사 통계 지침에도 적혀 있다. 미국 식품의약국, Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절에서 갈라진 결과를 어떻게 읽어야 하는지 다음을 말한다. "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 두 판정이 어긋났다는 사실만으로 어느 쪽이 기준에 어긋났다고 단정할 수 없다는 뜻이다. 이 사건에서도 15건의 갈림은 그 자체로 어느 판정자의 오류를 뜻하지 않는다.
같은 문건은 어긋난 결과를 다룬 뒤의 처리에도 선을 긋는다. 미국 식품의약국, 위 지침 6절은 불일치 해소를 거친 결과의 사용을 다음과 같이 막는다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 갈라진 열다섯 건을 겉맞춤하여 다시 세어 넣은 수치는 이 측정의 자리에 두기 어렵다는 점을 일러준다.
이 사건에서 어긋난 15건의 항목 내역과 그 사유는 미정이다. 어느 판정자가 무엇을 근거로 규칙형과 형량형을 나누었는지, 분류 기준서의 문안과 개정 이력이 15건에 어떤 영양을 주었는지 역시 미정으로 남는다. 자료가 미정인 자리를 채워 넣어 그 원인을 단정하는 것은 이 측정이 세운 범위를 넘는다. 관찰된 것은 50건 가운데 35건이 같았다는 사실과 15건이 갈렸다는 사실뿐이다.
따라서 열다섯 건은 관찰 일치율의 나머지가 놓이는 자리이다. 책임자가 35/50이면 충분하다고 본 비율과, 통계 담당자가 우연히 같았을 몫을 걱정한 관점은 같은 15건을 두고도 다르게 말한다. 그러나 두 관점 어디에도 15건을 확정된 손해나 고의로 읽는 자리는 없다. 열다섯 건은 다음에 물어야 할 것을 남겨두는 측정의 결과로 남는다.
1.6안심의 한계와 다음 요청
어긋난 열다섯 건을 측정의 대상으로 삼은 뒤에 남는 문제는, 나머지 35건에서 두 판정자가 같은 분류를 고른 것이 어디까지 안심할 근거가 되는지이다. 이 사례에서 관찰된 사실은 두 판정자가 판결 50건을 규칙형과 형량형으로 나누어 분류하였고, 35건에서 같은 분류를 고른 것이 확인되었다는 점이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 관찰된 숫자가 무엇을 뜻하는지를 읽으려면, 일치 자체가 옳음을 담보하지 않는다는 점부터 분명히 해야 한다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치 측정의 한계를 다음과 같이 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity." 같은 지침, 같은 6절은 일치가 어긋났을 때의 함의에 관하여도 "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 밝힌다. 이 자료가 짚는 것은 일치가 옳음의 척도가 아니며, 불일치가 곧 어느 쪽의 오류를 가리키지 않는다는 점이다. 이 사례에서 35건이 같았다는 사실은 두 분류가 이 35건에서 모였다는 뜻만 담는다.
이러한 한계는 관찰 일치율이라는 요약 수치에도 그대로 미친다. 미국 식품의약국(FDA), 앞선 지침, 6절은 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low."라고 경계하고, 그 태도를 "For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라는 문장으로 분명히 한다. 이 사례에서 35/50이라는 숫자는 그 자체로 분류가 의존할 만한 정도를 결정하지 않는다. 판정자별 분류 비율이 미정인 채로 남아 있으므로, 관찰 일치율이 어느 쪽 분류에 몰렸는지를 감추지는 못한다.
한편 일치율에 수용 가능한 기준 수치를 붙이거나, 우연히 같았을 몫을 가정하여 보정치를 만들어 내는 것은 이 사례가 지금 허용하지 않는다. 통계 담당자가 지적한 우연 일치의 가능성은 방향을 가리킬 뿐, 그 몫을 계산할 재료가 여기에 놓여 있지 않다. 나아가 미국 식품의약국(FDA), 앞선 지침, 6절은 불일치 해소로 바뀌거나 갱신된 결과를 새로운 검사의 민감도·특이도나 참조 표준이 아닌 방법과의 일치를 추정하는 데 쓰지 말라고 요청한다. 어긋난 15건의 사유나 처리가 미정인 채로 관찰된 35건과 15건을 재배치하여 숫자를 고쳐 만드는 일은, 이 자료가 말한 주의와 맞지 않는다.
따라서 35건이 같았다는 사실이 허용하는 안심은 좁다. 같은 분류를 고른 사실이 관찰되었으므로, 두 판정자가 이 항목들에서 모였다고 말할 수 있을 뿐이다. 그것이 옳은 분류였는지, 같은 기준에 따른 같은 결과였는지, 다시 분류하여도 같은 숫자가 나올지는 이 관찰이 대답하지 못한다. 책임자가 35/50이면 충분하다고 본 판단도, 통계 담당자의 우연 일치 지적도, 각자 다른 점을 겨눈다. 남는 것은 관찰 일치율의 한계와, 그 한계를 넘어서기 위한 요청이다.
Official documents referred to
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽