Summary
판정자들이 서로 같다는 것과 올바르다는 것이 왜 다른 요청인지를 묻는다. 일치율이라는 숫자의 무게와 우연히 겹치는 몫을 되짚고, 일치와 정확성을 구별하여 측정 도구와 지식 한계의 기록 자리를 가른다. 개발과 검토의 분리, 어긋남을 다룬 뒤의 숫자를 살피며, 검증과 개선 절차가 요구하는 사항은 다음 장에 이어 받고 판정자의 독립성 입증 문제는 논의 대상이 아니다.
8.1일치율이라는 숫자의 무게
몰림을 뺀 뒤에도 일치가 정확성과 겹치지 않는다는 결론에서 출발하여, 이 사례의 35/50이라는 숫자가 무엇을 담고 무엇을 담지 않는지 읽는다. 두 판정자는 판결 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 같은 분류를 골랐다. 이 숫자는 관찰된 분류 일치의 비율일 뿐이다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치와 올바름을 구별하며 이렇게 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 두 판정자가 35건에서 같은 분류를 고른 사실은, 그 35건의 분류가 옳다는 뜻이 아니다. 이 사례에서 두 판정자가 함께 규칙형으로 분류한 건이 형량형이어야 할 판결일 가능성은 이 숫자 안에서 가려지지 않는다. 어긋난 15건에서 어느 쪽이 맞았는지도 마찬가지로 정해지지 않았다.
한편으로 두 판정자가 어긋난 15건은, 어느 한쪽이 틀렸다는 뜻이 아니다. 위 지침은 이견이 생겼을 때 어느 한쪽을 옳고 다른 쪽을 틀렸다고 정하지 않는다는 점을 함께 일깨운다. 이 사례에서 어긋난 15건의 항목 내역과 그 사유는 미정이다. 그러므로 이 숫자는 분류 기준서의 문안이 적절했는지도 담지 않는다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부도 미정이므로, 일치율의 높낮이를 기준서의 품질이나 훈련의 효과로 옮겨 읽을 근거가 이 사례에 없다.
같은 지침은 전체 일치라는 측정값 자체가 읽는 이를 오도할 수 있다고 경고한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 이렇게 말한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 35/50은 규칙형과 형량형 두 범주에 대한 전체 일치의 비율이다. 이 사례에서 판정자별 분류 비율은 미정이므로, 이 숫자가 어느 한 범주에 치우친 채 계산된 값인지 아닌지는 확인되지 않는다.
다른 한편으로 일치율이 낮다고 해서 어느 한 판정자의 분류가 잘못되었다는 뜻은 아니다. 위 지침이 이견의 경우에도 어느 한쪽을 옳다고 정하지 않는다고 밝힌 까닭이 여기에 있다. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 이 두 읽기는 서로 다른 것을 묻는다. 앞의 것은 관찰된 일치의 크기를, 뒤의 것은 그 일치 가운데 우연히 생긴 몫을 지목한다.
결국 35/50이라는 숫자는 두 판정자가 50건 가운데 35건에서 같은 분류를 골랐다는 관찰만을 옮긴다. 이 관찰은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가가 아니다. 이 사례에서 그 숫자를 분류 기준서의 적정성이나 판정의 올바름으로 바꾸어 읽을 수는 없다. 남는 물음은 그 35건 안에 우연히 겹친 몫이 얼마나 섞여 있는가이다.
8.2우연히 겹치는 몫
일치율이 판정자 간 분류 일치만을 재는 수치임을 확인한 뒤, 이제는 그 숫자에 우연히 들어맞는 몫이 섞여 있는지를 따져야 한다. 35건이 일치했다는 관찰은 두 판정자가 사실상 독립적으로 고른 결과가 겹친 횟수를 세는 데서 나온다. 분류 항목이 규칙형과 형량형 둘뿐이고 두 판정자의 선택이 어떤 비율로 갈렸는지에 따라, 아무 의논 없이 골라도 우연히 같은 항목에 닿는 일이 생길 수 있다. 이 사건에서 판정자별 분류 비율과 분류 기준서의 문안·개정 이력, 두 판정자의 훈련 여부는 미정이다. 따라서 우연 일치의 크기를 이 사례에서 숫자로 잡을 수는 없다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 전체 일치 측정이 가지는 애매함을 이렇게 경고한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen's Kappa) can be misleading in this setting." 이 구절은 전체 일치율과 카파가 함께 묶여 경계의 대상이 된다는 뜻을 담는다. 같은 지침은 앞뒤 사정으로 "In some situations, overall agreement can be good when either positive or negative percent agreement is very low." 고 설명한다. 전체 일치가 높게 나와도 쪽별로 갈라 본 일치가 아주 낮을 수 있다는 이 구절은, 35/50이라는 이 사건의 수치가 그 자체로 두 판정자의 분류가 고르게 맞았다는 뜻이 아님을 일깨운다.
나아가 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 고 권한다. 이 구절은 전체 일치 측정값을 진단 성능을 표시하는 데 홀로 쓰지 말라는 요구를 담는다. 따라서 35건의 일치를 그대로 세어 나온 비율 하나만으로 분류 기준서의 적정성이나 판정의 올바름을 말할 수는 없다. 우연히 겹친 몫이 그 안에 섞여 있을 수 있기 때문이다.
한편 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치 측정의 한계를 더 넓게 설명한다. 그 지침은 일치가 올바름을 재는 척도가 되지 못하는 점을 큰 결함으로 든다. 같은 문단은 두 검사가 서로 같아도 둘 다 틀릴 수 있다고 밝힌다. 두 검사가 서로 같아도 둘 다 틀릴 수 있다는 이 구절은, 두 판정자가 같은 분류를 골랐다는 사실만으로 그 분류가 옳다는 결론이 나지 않음을 가리킨다. 그 지침은 일치가 높게 나타나면서도 민감도와 특이도가 함께 나쁠 수 있음을 덧붙인다. 일치가 높게 나타나면서도 민감도와 특이도가 함께 나쁠 수 있다는 이 구절은, 일치와 정확성이 한 자리에 놓이지 않는다는 점을 분명히 한다.
일치 측정을 세울 때 반대쪽 사정도 함께 둘러보아야 한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 고 못 박는다. 이 구절은 어긋남이 곧 어느 한쪽의 잘못을 뜻하지 않는다는 점을 분명히 한다. 따라서 이 사건에서 어긋난 15건의 항목 내역과 그 사유가 미정인 채로, 35건의 일치만으로 어느 판정자의 분류가 옳다고 정할 수 없다. 관찰된 일치율은 두 판정자의 분류가 겹친 횟수에 섞인 몫까지 함께 세운 것일 뿐이고, 그 안에서 우연히 닿은 자리가 얼마나 되는지는 판정자별 비율 등이 확인되어야 비로소 가려질 문제이다.
8.3일치와 정확성의 구별
우연 일치의 몫을 따로 가른 뒤에 남는 물음은, 도대체 일치율이 무엇을 말하고 무엇을 말하지 않는가이다. 미국 식품의약국의 통계 지침은 진단 시험을 다루면서도 일치와 정확성을 뚜렷이 벌려 놓는데, 그 까닭을 우선 지침의 문장으로 확인한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 일치 척도의 커다란 단점을 이렇게 적는다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 두 판정자가 꼭 같은 분류를 골랐다는 사실만으로는, 그 분류가 옳다는 말이 함께 성립하지 않는다.
같은 지침은 전체 일치 척도가 특정한 장면에서 오해를 부르는 까닭도 덧붙인다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽의 그 부분을 그대로 옮기면 다음과 같다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 사건의 전체 일치율 35/50이 진단 성능의 서술에 해당하지 않는 까닭이 여기에 있다. 판정자 둘이 서로의 손을 맞춘 비율은, 분류 한쪽에 몰렸을 때 생기는 허점을 가린 채로 높게 나올 수 있다.
지침은 서로 다른 판정이 나온 뒤에 결과를 고쳐 쓰는 방식에도 선을 긋는데, 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽의 요구를 확인해 둔다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 어긋난 15건의 사유를 밝히고 나서 그 중 얼마를 어느 쪽으로 고쳐 넣는지는, 분류 일치율을 말할 때와 진단 성능을 말할 때에 다른 자리를 차지한다.
이 사건에서 확인된 35건의 일치는 재현성의 관찰이며, 확정 손해나 고의 같은 법적 평가의 판단이 아니다. 두 판정자가 같은 답을 냈다는 사실과 그 답이 옳다는 사실은 서로 다른 요청에 대응하며, 앞의 요청만으로 뒤의 요청을 대신할 수 없다. 통계 담당자가 우연히 겹치는 몫을 걷어내야 한다고 답한 것도 같은 경계에 서 있다.
8.4측정 도구와 지식 한계의 기록
정확성과 분리된 재현성의 문제는 수치만으로 끝나지 않고, 그 수치를 낳은 도구와 범위를 함께 남기는 과제를 부른다. 두 판정자가 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 35건에서 같은 분류를 고른 뒤, 책임자는 35/50이면 충분하다고 보았고 통계 담당자는 우연히 같았을 몫을 따로 물었다. 이 관찰에서 나아가 무엇을 어떤 도구로 재었는지, 그리고 재지 못한 자리가 어디인지 적는 일이 남는다.
측정의 첫 걸음은 무엇을 재지 못할지까지 함께 정하는 것이다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 측정할 대상을 고르는 방식과 함께 남는 자리를 두고 다음과 같이 적는다. "1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이 사건에서 측정하지 못한 자리는 어긋난 15건의 사유가 아직 확인되지 않았다는 사실이며, 그 이유를 추측으로 채우지 않고 그대로 남겨 두어야 한다.
시험에 쓴 도구의 내역도 같은 문맥에서 요구된다. 같은 자료의 MEASURE 2.1은 도구와 시험 집합을 적도록 다음과 같이 말한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 판정자 두 사람의 훈련 여부와 분류 기준서의 개정 이력이 아직 미정인 이 사건에서, 도구에 관한 기록은 그 미정을 가리지 않고 미정으로 남긴 채로 쌓인다.
범위를 넘어서는 적용의 한계도 함께 적는다. 같은 자료의 MEASURE 2.5는 성능의 확인과 그 한계를 함께 요구한다. "5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 이 사건에서 50건의 판결은 이 관찰이 놓인 조건이며, 그 밖의 조건에서 같은 일치가 이어질지는 아직 말할 수 없다.
지식의 한계와 그 결과를 사람이 어떻게 다룰지도 문서에 남긴다. 같은 자료의 MAP 2.2는 그 문서의 내용을 이렇게 정한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 35/50이라는 숫자는 그 자체로 확정된 손해나 고의를 뜻하지 않으며, 이후 판단에 참고할 출발점으로만 기록된다.
따라서 이 사건에서 남길 것은 일치의 숫자만이 아니다. 판정자별 분류 비율과 어긋난 15건의 항목 내역은 아직 확인되지 않았으므로 그 빈자리를 그대로 두고, 도구와 시험 집합의 내역, 그리고 재지 못한 범위를 함께 적는다.
8.5개발과 검토의 분리
그렇게 기록에 남긴 범위와 사유를 평가의 근거로 삼으려면, 남은 물음은 누가 그 평가를 수행했는가이다. 모델이나 절차를 만든 사람이 그 성과를 직접 평가하면 평가 결과에 숨은 편향이 남는다. 개발과 검토를 나누는 요구는 이 문제를 겨냥한다.
자료는 검토 주체를 명시하여 평가 참여자를 적는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 1.3에서 검토 참여자를 이렇게 정한다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이 사건에서 검토와 오류 대응을 맡을 사람은 앞의 개발·분류 업무와 겹치지 않아야 하며, 어느 범위까지 밖의 전문가를 끌어들일지는 기관이 정한 위험 감수 수준에 따라 달라진다.
자료는 검토 절차의 효과를 함께 설명한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 5.3절에서 독립 검토의 의미를 다음과 같이 적는다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 이 표현은 독립 검토가 시험의 효과를 높이고, 내부 편향과 잠재적 이해충돌을 완화할 수 있음을 적는다. 이 사건에서 분류 기준서를 만든 이와 그 문안을 평가하는 이가 갈리면, 분류 결과를 그대로 받아들이는 대신 문안의 빈틈을 지적하는 경로가 열린다.
자료는 개선과 오류 대응의 이력을 함께 요구한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MANAGE 4.2에서 "Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors." 라고 하였다. 같은 자료의 MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 라고 정한다. 이 표현들은 오류를 기록하고 대응하며 회복하는 절차를 지키고 문서로 남길 것을 요구한다. 이 사건에서 어긋난 15건의 항목 내역과 그 사유는 미정으로 남아 있으므로, 오류 대응 이력 자체도 확인된 바 없다.
자료는 오류 보고를 지표 점검의 일부로 본다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)의 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라고 정한다. 이 사건에서 분류 도구의 지표가 적절한지, 통제가 효과적인지는 오류 보고를 빼고는 짐작할 수 없다. 나아가 이름이 붙은 절차나 모델이 다르다는 사실만으로 개발과 검토가 갈렸다고 단정할 수 없다. 자료는 참여자의 역할과 독립성을 기준으로 삼을 뿐, 명칭의 차이를 근거로 삼지 않는다.
결국 이 사건의 35건 일치는 검토와 오류 대응의 이력이 뒷받침하는 신뢰로만 읽을 수 없다. 두 판정자의 훈련 여부와 개발·검토 담당이 실제로 갈렸는지가 미정인 채로 남아 있는 한, 평가의 독립성은 확인되지 않는다. 일치도 수치는 개발과 검토가 분리된 상태에서 산출된 값인지를 밝힌 뒤에야 평가의 신뢰 근거로 자리 잡는다.
8.6어긋남을 다룬 뒤의 숫자
따라서 분류 절차의 이력이 확인되지 않은 채로는 35건의 일치가 무엇을 떠받치는지 말할 수 없다. 그렇다면 어긋난 15건을 고친 뒤 다시 세어 얻은 일치도는 무엇을 말할 수 있는지가 문제로 남는다. 미국 식품의약국(FDA)은 진단시험 평가 지침에서 불일치를 해소한 결과를 다시 쓰지 말 것을 권고한다.
그 권고는 불일치 해소(discrepant resolution)에 관한 것이다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 사용자가 피해야 할 방식을 다음과 같이 밝힌다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 불일치 해소 과정에서 바뀌거나 갱신된 결과를 민감도·특이도의 추정치나 두 시험 사이의 일치도에 다시 쓰지 말라는 뜻이다. 이 사건에서 어긋난 15건을 고친 뒤의 분류를 다시 세어 얻는 값은, 그 결과가 불일치 해소를 거쳐 바뀐 경우에 해당하는지를 가리는 기준이 된다.
그 결과가 왜 다시 쓰이지 말아야 하는지에 대해서는 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽이 일치 측정의 성격을 함께 밝히면서 설명한다. 그 절은 다음과 같이 말한다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 일치는 정답을 가리키는 척도가 아니며, 두 판정이 맞아떨어져도 둘 다 틀릴 수 있다는 뜻이다. 두 판정이 어긋난다고 해서 어느 한쪽이 틀린 것으로 정해지는 것도 아니다. 따라서 어긋난 자리를 고치는 일은 어느 한쪽을 기준으로 삼아 다른 쪽을 옮겨 놓는 작업에 해당하며, 그렇게 옮겨 놓은 뒤의 일치도는 원래 두 판정의 일치가 아니다.
이 지점에서 이 사건의 확인된 사실이 무엇인지 분명히 해 둘 필요가 있다. 두 판정자는 판결 50건을 규칙형과 형량형으로 나누어 분류하였고, 35건에서 같은 분류를 고른 사실이 확인되었다. 어긋난 15건의 항목 내역과 그 사유는 미정이다. 그러므로 그 15건을 어떻게 고쳤는지, 고친 뒤의 분류가 무엇인지, 그리고 고친 뒤에 다시 센 일치도가 얼마인지는 확인되지 않았다. 확인되지 않은 값을 만들어 내지 않는 한, 고친 뒤의 숫자가 무엇을 말할 수 없는지에 대해서만 말할 수 있다.
고친 뒤의 숫자가 말할 수 없는 것은 두 가지이다. 첫째로, 그것은 두 판정자가 처음에 내린 분류의 일치 정도를 더 이상 보여 주지 않는다. 지적된 대로 불일치 해소로 바뀐 결과는 새로운 결과이므로, 원래 50건의 관찰에서 떠난다. 둘째로, 그 숫자는 어느 분류가 옳은지를 보여 주지도 않는다. 일치가 정답의 척도가 아니므로, 어긋난 자리를 고쳐 맞춘 뒤에 높아진 값은 정확성의 향상을 뜻하지 않는다.
이러한 구별은 그 자리를 고치는 규칙이 무엇인지에 따라 달라지지 않는다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부는 확인되지 않았다. 확인되지 않은 규칙 아래에서 고친 결과를 다시 세어 성능평가에 넣는다면, 그 값은 관찰된 재현성이 아니라 해소 절차를 통과한 값을 반영한다. 그러므로 35건에서 확인된 일치는 그 자체로 출발점이며, 어긋난 15건을 고친 뒤의 숫자는 그 출발점을 대체하지 못한다.
Official documents referred to
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)