Summary
불일치를 조정한 값을 같은 측정에 다시 쓸 수 있는지를 묻는다. 사후 조정값의 성격과 성능 평가로의 재사용에서 생기는 문제를 자료의 한계로 설명하고, 일치 지표로 드러나지 않는 것과 자료·도구의 지식 한계를 짚는다. 미측정 범위와 대응 이력을 남겨야 하는 까닭을 정리하며, 조정 후 값을 다시 검증하는 절차의 구체적 설계는 열어 둔다.
9.1사후 조정값의 성격
어긋난 자리를 고친 뒤에 남는 숫자가 무엇을 뜻하는지 따져 보아야 한다. 사후에 고친 값은 이중 판정이 당초에 기록한 관측과는 다른 값이며, 그 둘을 같은 것으로 취급하면 재현성의 측정이 흔들린다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절은 일치도의 한계를 이렇게 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 일치가 곧 정답임을 보증하지 않는다는 이 설명은, 고친 값이 원 관측을 대신할 수 있느냐는 물음과는 별개의 문제임을 분명히 한다.
같은 지침은 전체 일치도 수치가 이 사례와 같은 장면에서 오해를 부를 수 있음을 덧붙인다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 이렇게 말한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 어긋난 15건을 고쳐 넣은 뒤에 다시 계산한 일치도는, 원 관측만으로 얻은 일치도와는 다른 값을 가진다. 두 판정자가 판결 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 이 관찰된 사실은 재현성 측정의 출발점이며, 확정 손해나 고의 같은 법적 평가를 뜻하지 않는다.
사후에 어긋난 자리를 고쳐 넣은 결과가 어떤 성격의 값인지는, 그 값을 무엇에 다시 쓰려는지에 따라 달라 보인다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 확정된 조정 절차나 조정 전후의 수치가 확인되지 않은 채로, 고친 값을 성능 평가의 근거로 삼는 것은 섣부르다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 6절은 그 점을 짧게 못 박는다. "3. Avoid the use of outcomes altered or updated by discrepant resolution You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 불일치 해소 과정을 거쳐 바뀌거나 갱신된 결과를 민감도·특이도의 추정이나 비기준 시험과의 일치도 산정에 쓰지 말라는 권고는, 어긋난 15건을 고친 값의 성격을 가르는 실마리가 된다. 이 권고가 의료 진단 시험의 평가를 겨냥한 것임은 앞서 본 바와 같고, 그 밖의 평가에까지 규범으로 미치는지는 별도로 살펴야 한다.
따라서 어긋난 자리를 고친 뒤의 값은, 이중 판정이 남긴 원 관측을 대신하는 값이 아니라 별도의 성격을 띤 값으로 놓아야 한다. 일치도와 정확의 구별이 확인된 뒤에도, 고쳐 넣은 결과를 성능 평가의 재료로 되돌리는 일은 그 값의 출처를 잊는 일과 다르지 않다. 확정 손해나 고의의 판단 없이, 이 관찰된 사실은 재현성 측정의 출발점으로만 남는다.
9.2성능 평가로의 재사용
어긋난 자리를 고친 값은 원 관측과 다른 값임을 확인한 뒤, 이제 그 값을 평가에 다시 쓰는 일의 결과를 따져야 한다. FDA가 이 재사용을 어떻게 권고하는지부터 살핀다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 6절, 인쇄면/PDF 18쪽에서는 이 재사용을 막으라는 권고가 이렇게 적혀 있다. 자료가 말한 바대로 어긋난 자리를 고친 뒤에 갱신된 값을 다시 계산에 넣는 일을 피해야 한다. 미국 식품의약국(FDA), 위 자료 6절, 인쇄면/PDF 18쪽에 따르면, "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 이 권고는 민감도·특이도를 추정하는 일과 두 시험 사이의 일치를 계산하는 일을 함께 지목하고 있다.
이 사건에서 두 판정자는 판결 50건의 판단 기준을 규칙형과 형량형으로 나누어 분류하였고, 35건에서 같은 분류를 골랐다. 이 관찰은 재현성을 측정하는 출발점이 될 뿐이며, 확정 손해나 고의 같은 법적 평가가 아니다. 따라서 FDA가 경고한 재사용의 위험은 이 사건에서도 같은 모양으로 남는다. 15건의 어긋난 자리를 고친 뒤의 값을 그대로 다시 판정자 성능의 척도로 삼으면, 고쳐진 사실이 곧 판정의 원 품질을 보여 주는 것처럼 보인다. 그렇게 얻은 숫자는 재현성의 산출물이 아니라 조정의 산출물에 가까워진다.
다만 이 권고가 어디까지 힘을 갖는지 분명히 해야 한다. FDA의 문안은 검증 대상인 진단 시험을 평가하는 절차에 관한 것으로, 민감도와 특이도라는 특정 척도의 추정에 대해 말한다. 민감도·특이도는 이 사건의 두 분류 항목에 대응하는 척도가 아니며, 규칙형과 형량형의 구분은 진단 시험의 양성·음성과 같은 대체 불가능한 확정 결과로 읽히지 않는다. FDA는 이 권고를 비구속적인 안내로 두고 있다. 그러므로 위 문안은 의료 진단 평가의 권고일 뿐이고, 그 밖의 판정 성능 평가에 대한 규범으로 확장해 읽을 수 없다.
조정된 값을 다시 검증하는 절차의 설계는 다루지 않는다. FDA의 권고가 이 절차의 구체적인 모습을 지시하지 않으므로, 재검증의 방식이나 기준값은 미정으로 남는다. 이 사건의 어긋난 15건이 왜 어긋났는지, 그리고 그 항목 내역과 사유도 확인되지 않았다. 자료가 끝나는 자리에서 확정할 수 있는 것은 분류에 관한 관찰 두 가지이다. 어긋난 자리를 고친 값은 원 관측에서 갱신된 값이고, 그 값을 민감도·특이도나 일치의 추정에 다시 넣는 일은 FDA가 권고에서 피하라고 지목한 바로 그 재사용이다.
9.3일치 지표로 못 드러나는 것
조정 후 숫자를 성능 평가에 되돌리는 문제를 밝힌 뒤에도, 그 숫자가 능숙하게 보인다는 점 자체가 남는다. 35/50이라는 일치율이 이 사례의 판단을 어디까지 대변하는지를 FDA 지침의 경고로 읽어 확인한다. 지침은 일치 측정값의 결함을 먼저 적시한다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."(미국 식품의약국, 같은 지침, 4절) 이 말은 두 판정자가 같은 분류를 고른 35건이 두 판정이 모두 옳다는 뜻은 아니라고 가리킨다. 어긋난 15건에서 어느 쪽이 맞는지도 이 숫자만으로는 정해지지 않는다.
전체 일치율 하나로는 갈림의 모양이 가려진다. 지침은 이 점을 다시 명시한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."(같은 지침, 4절) 이 사례에서 35건이 어느 쪽 분류에 몰렸는지는 미정이다. 따라서 규칙형과 형량형 어느 한쪽에서 일치가 크게 무너졌어도 전체 일치율은 같은 값을 보일 수 있으며, 카파를 함께 붙인다 해도 이 몰림이 드러난다는 보장은 지침에 없다.
지표가 맞다 틀리다를 가리지 못한다면 어긋난 자리를 고친 뒤의 숫자는 더 조심스럽다. 지침은 그 사용을 직접 만류한다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."(같은 지침, 6절) 이 사례에서 어긋난 15건의 항목 내역과 그 사유는 미정이고, 그 15건의 분류가 이후 바뀌었는지도 미정이다. 바뀐 뒤의 값이 이 지침이 쓰지 말라는 결과에 해당하는지는 앞선 사정이 확인되어야 판단된다.
한편 판정자별 분류 비율이 어느 쪽으로 기울었는지도 아직 확인되지 않았다. 이 수치 없이는 35건의 일치가 두 판정자가 같은 눈금을 썼다는 뜻인지, 아니면 한 분류가 많아 우연히 맞물린 결과인지 가릴 수 없다. 이 지표들만으로는 이 사례의 분류가 같은 기준에 서 있는지까지 드러나지 않는다.
9.4자료와 도구의 지식 한계
일치 지표만으로는 어긋난 자리가 무엇을 뜻하는지 드러나지 않는다는 점에 이르러, 이어서 짚어야 할 것은 측정에 쓴 자료와 도구의 한계를 남겨 두는 일이다. 관찰된 35건과 15건의 숫자는 자료와 도구를 거쳐 나온 결과이므로, 그 자료와 도구가 어디까지 힘을 미치는지 적지 않으면 숫자의 범위가 정해지지 않는다. NIST 인공지능 위험관리프레임워크는 측정 결과와 함께 지식의 한계를 문서로 남기도록 요구한다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MAP 2.2는 그 문서에 담을 내용을 다음과 같이 밝힌다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 이 문장은 시스템이 아는 바의 경계와 산출물을 사람이 다루는 방식을 함께 적어 두어야 함을 말하며, 이 사건에서 분류 기준서의 문안과 개정 이력이 미정으로 남은 상태가 바로 그 경계에 관한 기록이 없는 지점을 뜻한다.
측정 대상으로 삼은 것과 삼지 못한 것을 가르는 기준도 같은 맥락에서 요구된다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MEASURE 1.1은 "1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 라고 규정한다. 측정하지 않거나 측정할 수 없는 항목을 따로 적어 두라는 후반부 문장은, 이 사건에서 판정자별 분류 비율과 어긋난 15건의 항목 내역과 그 사유가 확인되지 않는 한 그 부분을 측정 밖에 둔 채로 남겨야 함을 뜻한다.
그리고 쓴 지표가 계속 맞는지도 살펴야 한다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라고 선언한다. 오류에 관한 보고를 정기적 점검에 넣도록 한 이 문장은, 관찰된 일치 비율 하나만을 가지고 측정이 끝났다고 보아서는 안 됨을 뜻한다.
측정에 쓴 시험 도구의 내역도 남겨야 한다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented." 라고 정한다. 시험 집합과 지표, 도구의 세부 사항을 함께 적으라는 이 요구는, 이 사건에서 두 판정자가 규칙형과 형량형 중 어느 쪽을 골랐는지 세는 방식과 그 분류에 쓴 기준서가 어떤 문안인지가 함께 기록되어야 비로소 35건이라는 숫자가 무엇에 붙은 값인지 밝혀짐을 뜻한다.
측정 결과를 일반화할 수 있는 범위도 함께 한정 짓는다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MEASURE 2.5는 "5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 라고 요구한다. 개발 조건 밖으로 일반화하는 데 따르는 한계를 적으라는 이 문장은, 이 사건의 50건 판결에서 확인된 분류 일치가 다른 판결이나 다른 분류 기준에까지 그대로 이어진다고 말할 수 없음을 뜻한다.
평가자가 평가 대상 개발에 직접 관여하지 않았는지도 같은 범위에 든다. 미 상무부 국립표준기술연구소(NIST), 인공지능 위험관리프레임워크(AI RMF 1.0)(NIST AI 100-1), 2023-01-26, MEASURE 1.3은 "3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 라고 규정한다. 이 문장이 요구하는 것은 앞줄 개발을 맡지 않은 내부 전문가나 독립 평가자의 참여이지, 분류자와 측정자의 모델 이름이 다른 사실이 아니다. 이 사건에서 두 판정자의 훈련 여부는 미정으로 남으므로, 두 판정자가 이 요건을 채우는지 확인되지 않는다. 요컨대 관찰된 35건과 15건은 분류 기준서의 문안·개정 이력, 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 내역과 사유가 채워지지 않은 채로 얻어진 숫자이며, 이 숫자는 재현성 측정의 출발점에 머무른다.
9.5미측정 범위와 대응 이력
지식 한계의 기록으로 이어진 흐름에서, 측정하지 못한 범위와 그에 대응한 이력을 함께 남기는 일이 뒤따른다. 측정 결과를 낸 자리에는 함께 측정하지 못한 자리도 남기 마련이다. NIST AI 100-1(AI RMF 1.0)은 MEASURE 1.1에서 그러한 범위의 기록을 요구한다. "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이 기준에 비추면, 이 사건에서 측정 대상이었던 '판단 기준의 형태' 분류 가운데 측정하지 못한 범위를 남기지 않은 자리는 그 범위가 무엇인지조차 확인되지 않는다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부가 미정으로 남은 사실은 이 사건에서 그러한 기록이 비어 있는 모습을 보여준다.
측정의 적절성을 다시 살필 때는 오류와 그 영향에 관한 보고가 함께 요구된다. 같은 프레임워크 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 적는다. 이 기준에 비추면, 어긋난 15건의 항목 내역과 그 사유를 기록으로 남기는 일은 오류 보고의 출발점에 놓인다. 다만 이 사건에서 그 항목 내역과 사유가 미정이므로, 어떤 오류가 보고되었는지는 아직 확인되지 않는다.
오류에 대응하고 회복한 뒤의 이력 역시 남겨야 한다. NIST AI 100-1(AI RMF 1.0)은 MANAGE 4.3에서 "Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 요구한다. 이 기준에 비추면, 이 사건의 오류 대응 절차와 그 결과가 문서로 남았는지 여부는 확인되지 아니하므로, 이 역시 미정으로 둔다. 한편 같은 프레임워크 MANAGE 4.2는 개선 활동을 규정한다. "2: Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors." 이 기준에 비추면, 측정 도구를 고친 뒤에 무엇이 얼마나 달라졌는지 가늠할 수 있는 활동을 함께 두어야 한다.
그 개선 활동의 평가는 개발에 참여한 이들만으로는 충분하지 않다. 같은 프레임워크 MEASURE 1.3은 평가 참여자의 범위를 적는다. "3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates." 이 기준에 비추면, 측정 도구를 만든 이와 같은 모델 이름을 쓰더라도 평가 자리에 앞선 참여자인지 여부가 따로 확인되어야 한다. 나아가 같은 프레임워크 5.3절은 독립 검토의 효과를 설명한다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 이 설명에 비추면, 이 사건에서 책임자와 통계 담당자가 각각 다른 답을 낸 모습은 그 검토가 개발 자리와 떨어져 있는지 묻는 계기가 된다.
이 사건의 관찰된 사실들은 측정을 다시 점검하는 출발점일 뿐이다. 35/50이라는 숫자와 어긋난 15건의 존재가 확인되었을 뿐, 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 항목의 내역과 사유는 미정이다. 확인되지 않은 자리를 채워 넣지 않고 남겨 두는 것이, 측정 범위와 대응 이력을 함께 기록하는 첫 걸음이다.
9.6같은 측정에 다시 쓰는 문제
어긋난 15건의 사유를 적고 개선 이력까지 남긴 뒤에도, 그 고친 값이 다음 측정에 그대로 쓰일 수 있는지가 남는 물음이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 이 미정 항목들은 고친 값의 재사용을 판단하기 전에 확인되어야 할 사실이다.
고친 값을 다시 쓰는 방식이 정확도에 어떤 영향을 주는지를 자료는 분명히 말한다. 미국 식품의약국은 진단 검사 결과 보고 지침 3절에서, 불일치 조정으로 바뀌거나 갱신된 결과를 쓰지 말 것을 요구한다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 이 사건에서 15건의 어긋난 자리를 고쳐 35건의 일치 숫자를 다시 셀 경우, 그 숫자는 두 판정자의 일치도를 그대로 나타내지 않는다.
나아가 합치한 값 자체가 옳은 값을 보증하지 못한다. 미국 식품의약국은 같은 지침 4.1절에서, 일치 측정은 "correctness"의 척도가 아니라고 전제하고 두 검사가 합치해도 둘 다 틀릴 수 있음을 든다. 이 사건에서 두 판정자가 같은 분류를 고른 35건이 옳은 분류였다는 뜻은 아니다. 또 두 검사가 어긋날 때 어느 한쪽이 틀렸다는 뜻도 아니다.
재사용을 막는 대신 남은 범위를 기록하고 이력을 남기는 방식이 제시된다. 미국 상무부 국립표준기술연구소의 인공지능 위험 관리 프레임워크 MEASURE 1.1은, 측정되지 않거나 측정할 수 없는 위험과 신뢰성 특성이 적절히 기록되도록 요구한다. "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이 사건에서 고친 값으로 덮이지 않은 범위가 어디인지가 함께 적혀야 한다. 같은 프레임워크 MEASURE 1.2는 측정 지표의 적절성과 통제의 실효성을 정기적으로 평가·갱신하고 오류와 잠재적 영향에 관한 보고를 함께 두도록 한다. 개선 이력은 한 번 적어 두는 문서가 아니라 다시 살펴보는 절차에 놓인다.
그리고 갱신한 지표가 배치 조건과 비슷한 환경에서 다시 확인되어야 한다. 같은 프레임워크 MEASURE 2.3은 성능이나 보증 기준을 정성적·정량적으로 측정해 배치 환경과 유사한 조건에서 입증하고 그 측정을 기록하도록 요구한다. 이 사건에서 50건 분류의 35건 일치 숫자는 새로 쓰이는 측정 앞에서 다시 확인될 대상이며, 최종 확정값이 아니다. MEASURE 2.5는 일반화의 한계를 기록할 것을 덧붙인다.
결국 어긋난 자리를 고친 값은 그 자체로 다음 측정에 투입되지 않는다. 고치기 전의 결과와 고친 결과가 함께 남고, 측정되지 않은 범위와 오류 대응 이력이 뒤에 놓인다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가를 이루지 않는다.
Official documents referred to
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)