요약
검토가 늘어난 만큼 오류가 줄었다는 것을 무엇으로 확인해야 하는지를 묻고, 일치와 정확성을 가른다. 전체 일치율과 카파 단독 사용이 말해 주지 못하는 것, 불일치 사후 조정값의 재사용, 검토 주체의 구별과 한계 기록을 차례로 살핀다. 실제 검증 절차의 단계 구성은 다루지 않는다.
3.1일치와 정확성의 구별
오류 추적과 개선 보고를 함께 정리한 뒤에는, 거듭된 검토의 효과를 셀 때 무엇을 무엇과 갈라 놓아야 하는지가 다음 쟁점이 된다. 검토자가 초안에 문제없다는 메모를 남기고 통과 도장을 찍었어도, 그 메모는 초안의 내용이 정확하다는 뜻으로 그대로 옮겨 읽을 수 없다. 이 사례에서 확인된 것은 두 모델의 판단이 서로 맞았다는 사실과 인용의 조항 번호가 자료와 다르다는 사실뿐이며, 왜 같은 판단이 나왔는지와 오류가 최종 결과에 남긴 영향은 미정이다.
미국 식품의약국(FDA)은, 「Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests」(2007-03-13) 4.1절에서 일치가 곧 정확함을 뜻하지 않는 까닭을 다음과 같이 밝힌다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 초안과 검토가 같은 결론에 이른 것은 둘이 서로 맞았다는 뜻이지, 둘 가운데 어느 한쪽이라도 자료를 정확히 옮겼다는 뜻은 아니다. 이 사례에서 통과 도장이 남은 자리에는 조항 번호 오류가 함께 남아 있다.
같은 자료에서 두 검토자의 판단이 어긋났을 때의 해석도 함께 밝힌다. 위 인용의 마지막 문장이 "when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 한 것은, 불일치 자체만으로 어느 한쪽을 기준으로 삼을 수 없음을 뜻한다. 반대로 일치했다는 사실만으로 어느 한쪽을 정답으로 삼을 수도 없다. 이 사례에서 두 모델이 같은 학습 자료로 배웠다는 점은 알려져 있으나, 그 사실이 두 판단의 공통 근거를 설명하는지 여부는 미정이다.
전체 일치율을 검토의 성과로 그대로 셀 때 생기는 위험도 같은 자료가 짚는다. 미국 식품의약국(FDA)은, 「Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests」(2007-03-13) 4.1·6절, 인쇄면/PDF 12·18쪽에서 이렇게 경고한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 사례에 일치율 수치가 확인되어 있지 않으므로, 그 수치를 세워 검토의 성과를 판단하는 자리는 아직 없다.
자료의 6절은 나아가 불일치 해소로 바뀐 결과를 성능 추정에 쓰지 말 것을 권고한다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard." 이 권고는 진단 검사 평가를 위한 비구속적 지침에서 나온 것이며, 이 사례의 편집 검토 절차를 직접 구속하는 규범으로 옮길 수 없다. 다만 이 사례에서 조항 번호 오류는 어떤 결과로 바뀌거나 보정된 바가 확인되지 않으므로, 그 오류가 남긴 자국이 어디인지부터 따로 적어야 한다.
거듭된 검토의 효과를 셀 때는, 검토가 초안과 맞았다는 사실과 초안이 자료와 맞았다는 사실을 서로 갈라 놓아야 한다. 이 사례에서 전자는 확인되었고 후자는 조항 번호 한 곳에서 어긋났음이 확인되었다. 검토 메모가 다음 검토에 남긴 영향과 그 오류가 최종 결과에 남긴 영향은 미정으로 남는다.
3.2전체 일치율이 못 말해 주는 것
합성 사례에서 확인된 것은 초안과 검토의 결과가 맞았다는 사실이며, 그렇다면 그 맞음이 검토의 성과를 얼마만큼 보여 주는지가 다음 질문이다. 이 물음에는 두 검토 결과의 일치가 무엇을 말하고 무엇을 말하지 않는지를 가려내는 방법이 필요하다. 미국 식품의약국은 2007년 3월 13일자 지침에서 일치 측정이 가진 한계를 이렇게 밝힌다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 초안과 검토가 같은 결론에 이르렀다는 사실은 그 둘이 서로 맞았다는 뜻만을 전하며, 그 결론이 옳았다는 뜻은 함께 전하지 않는다. 합성 사례에서 두 모델은 같은 판단을 남겼으나 그 판단이 자료의 실제 내용과 같은지는 이 일치만으로는 정해지지 않는다.
같은 지적은 전체 일치율이라는 측정 방식에도 그대로 이어진다. 미국 식품의약국은 2007년 3월 13일자 지침에서 이렇게 경고한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 합성 사례에서 검토 메모가 "문제없음"이라는 한 줄로 남았다는 사실은, 어느 지점에서 문제가 있었는지를 따로 드러내지 못한다. 초안과 검토가 서로 맞았다는 관찰만으로는 어느 쪽 판단이 틀렸는지 가려내지 못하며, 따라서 오류가 줄었다고 말할 근거도 생기지 않는다.
이 구별은 자동 대조 절차가 지적한 인용 오류에도 적용된다. 조항 번호가 자료의 실제 조항과 다르다는 사실은, 초안과 검토가 함께 놓친 지점을 드러낸다. 두 모델이 같은 결론에 이른 까닭이 무엇인지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 자료가 미정으로 남긴 것은 미정으로 두어야 하며, 일치율의 값이 이를 메우지 못한다.
그러므로 거듭된 검토의 효과를 셀 때에는 초안과 검토가 맞았다는 사실만으로 오류가 줄었다고 말할 수 없다. 일치가 정확성을 대신하지 못한다는 자료의 지적은, 합성 사례에서 확인된 사실만으로 확정 손해나 고의 같은 법적 평가에 나아가지 못하는 까닭을 함께 가리킨다.
3.3카파 단독 사용의 한계
동일 지표만으로는 횟수의 효과가 확정되지 않음을 알고 나면, 남는 물음은 카파 하나에 의존할 때 무엇이 놓치는지이다. 미국 식품의약국은 Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에서 일치 계열 지표가 함께 갖는 결함을 다음 문장으로 밝힌다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right." 초안 모델 A와 검토 모델 B가 같은 판단에 이르렀다는 사실은 그 판단이 옳다는 뜻으로 옮겨 읽을 수 없다. 같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 냈다는 관찰도, 그 판단이 옳다는 뜻과는 별개의 사실이다.
카파가 전체 일치율과 함께 묶이는 이유는 다음 문장에 담겨 있다. 미국 식품의약국, Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에서 전체 일치 계열의 지표가 유도하는 오해를 지적한다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 여기서 코헨의 카파는 전체 일치 계열의 지표 가운데 하나로 함께 거론된다. 따라서 카파 값 하나가 높게 나왔다는 사실만으로는 검토의 성과가 개선되었다고 단정할 수 없다. 미국 식품의약국이 지적하는 대로, 전체 일치가 양호하게 보이는 상황에서 특정 방향의 일치율이 매우 낮을 수 있다.
미국 식품의약국이 나아가 따로 분리한 경고도 같은 방향을 가리킨다. 미국 식품의약국, Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽에서 일치 지표의 단독 사용을 제한하는 문장을 옮긴다. "FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test." 이 문장은 일치 계열 지표를 완전히 쓰지 말라는 뜻이 아니라, 그 지표 하나만으로 성능을 정리하지 말라는 뜻이다. 검토 횟수를 늘렸다고 해서 카파가 반드시 함께 상승하는지, 아니면 같은 값을 반복하는지는 정해져 있지 않다. 두 모델이 같은 학습 자료를 공유한다는 사실과 그 판단이 서로 맞았다는 사실이 결합되어 나온 일치 계수는, 그 판단이 옳았는지와는 무관하다.
합성 사례에서 확인된 것은 검토가 이루어졌다는 사실과 그 결과로 “문제없음” 메모와 통과 도장이 남았다는 사실, 그리고 자동 대조에서 조항 번호가 실제와 다르다는 사실이 밝혀졌다는 사실이다. 왜 두 모델이 같은 판단을 냈는지, 검토 메모가 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 미정으로 남겨진 이 항목들은 일치 지표의 값만으로는 채워지지 않는다. 자료는 일치 지표가 옳음의 척도가 아님을 밝히면서, 단일 지표로 확정할 수 없는 영역을 그대로 두도록 요구한다.
따라서 검토 횟수의 효과를 카파 값 하나에 환원하는 수사는 이 사례에서 성립하지 않는다. 일치가 확인되었다는 관찰과, 그 판단이 참이라는 평가는 서로 다른 자리에 놓인다. 자료가 카파를 포함한 전체 일치 지표의 단독 사용을 경계한 까닭이 바로 여기에 있으며, 이 사례의 관찰된 사실들도 같은 구분 아래 놓인다.
3.4불일치 사후 조정값의 재사용
카파가 단독으로 검토 횟수의 효과를 확정하지 못한다는 결론에서, 다음 문제는 검토 결과를 고친 뒤 그 값을 다시 성과 세는 데 쓸 수 있는지이다. 앞 절에서 일치 지표가 정확함을 뜻하지 않는다고 본 이상, 불일치를 해소하고 나서 채워진 값의 성격을 따로 묻지 않을 수 없다. 편집자는 초안 모델 A의 장을 상위 모델 B에게 넘겼고, B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼으며, 그 뒤 자동 대조 절차에서 원문 인용 한 곳의 조항 번호가 실제 조항과 다르다는 사실이 확인되었다. 확인된 오류를 초안에 고쳐 넣고 나서, 고치기 전과 후의 값을 함께 두고 검토의 성과를 다시 계산하는 일은 무엇을 왜곡하는지 살펴보아야 한다.
불일치를 해소한 뒤의 값이 왜 성과 계산에 적합하지 않은지에 대해 자료는 직접적으로 금지한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."라고 권고한다. 이 권고는 원래 진단 시험의 민감도와 특이도를 추정하는 일을 다루지만, 검토 결과를 고쳐 넣고 난 값을 써서 검토의 성과를 다시 계산하는 꼴이 같다는 점에서 이 출판 사례에 그대로 옮겨 적용할 것은 아니다. 다만 조정된 값이 원래의 관찰을 대신하지 못한다는 사정은 이 사례에서도 마찬가지로 읽힌다.
고쳐 넣은 값은 어떻게 생기는가. 자동 대조 절차는 초안에 적힌 조항 번호와 자료의 실제 조항이 다르다는 사실을 밝혀냈고, 이 사실은 초안 작성과 검토 모두가 지나친 자리에 놓인다. 편집자가 이 오류를 확인하고 나서 초안의 번호를 고친다면, 그 뒤의 초안은 처음에 검토된 문서와 같은 문서가 아니다. 여기에 "문제없음"이라는 B의 메모와 통과 도장이 더해진다. B의 메모는 검토 대상이 된 상태에 대한 기록이며, 그 뒤에 문장이 고쳐졌다고 해서 메모가 자동으로 다시 쓰이지는 않는다. 미리 정해진 것은 아니지만, 메모가 고쳐 넣은 초안에 다시 붙는다면 그것은 검토가 한 번 더 있었음을 뜻하지만 검토가 거듭된 효과를 뜻하지는 않는다.
같은 학습 자료로 배운 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 이 관찰된 사실들만으로 확정 손해나 고의 같은 법적 평가가 이루어지는 것은 아니다. 다만 불일치 사후 조정값을 성과 계산에 다시 쓰는 일은, 확인된 오류가 원래 있었던 자리를 지워버린다. 검토가 한 번 더 있었던 것처럼 보이는 자리에, 사실은 오류를 고친 뒤의 문서만 남는다.
성능평가의 측정값이 정확함과 다른 문제에 대해서도 자료는 같은 방향을 가리킨다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong."라고 지적한다. 두 검토가 서로 맞았다는 사실이 두 검토가 모두 맞았다는 뜻은 아니라는 이 지적은, 이 사례에서 상위 모델 B의 통과 도장과 초안 모델 A의 판단이 서로 맞았다는 사실을 그대로 정확함으로 읽는 것을 막는다.
불일치 사후 조정값을 다시 쓰는 일을 금지하는 까닭이 여기 있다. 확인된 오류를 고친 값은 검토가 거듭된 효과를 세는 자리에 들어갈 수 없고, 검토가 지나쳤던 자리를 지우는 역할만 한다. 이 사례에서 편집자가 확인한 오류는 고쳐 넣었으나, 검토 메모가 그 고침 이전의 상태에 대한 것이었다는 사정은 함께 남는다. 검토가 거듭된 효과를 세려면 이 둘이 함께 기록되어야 하며, 이에 관한 요구는 다음 단위의 주제로 남긴다.
3.5검토 주체의 구별과 한계 기록
조정값을 다시 쓰지 않는 방식으로 성과를 세는 일을 뒤로 하고, 거듭된 검토를 확인하려면 검토에 참여한 이들이 남긴 기록에서 무엇을 읽어야 하는지 살펴보아야 한다. 검토 주체가 누구였고 무엇을 시험했으며 무엇을 측정하지 않았는지가 함께 적혀 있어야, 검토가 겹친 만큼 효과가 늘었다고 말할 수 있는 근거가 생긴다.
먼저 검토에 참여한 이가 초안을 만든 이와 겹치지 않았는지를 확인한다. NIST AI 100-1 (AI RMF 1.0) MEASURE 1.3은 검토 주체의 자격을 다음과 같이 적는다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이 기준은 앞선 개발에 직접 참여하지 않은 내부의 전문가 또는 독립 평가자가 정기 평가와 갱신에 참여해야 한다는 뜻이다. 같은 학습 자료로 배운 상위 모델 B가 검토에 나섰다는 사실만으로는 이 요건이 충족되었다고 단정할 수 없으며, B가 초안 작성이나 개발에 관여했는지에 관한 기록이 뒤따라야 한다.
같은 문서는 5.3절에서 독립 검토의 효과를 아래와 같이 적는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 5.3절에서 다음과 같이 적는다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 독립 검토가 시험의 효과를 높이고 내부 편향과 이해충돌을 완화할 수 있다는 취지이다. 다만 '개선할 수 있다'고 적혀 있을 뿐이므로, 검토가 한 차례 더 겹쳤다는 사실 자체가 이미 효과가 늘었다는 뜻이 되지는 않는다.
검토가 어떤 자료와 도구로 이루어졌는지도 함께 남아야 한다. NIST AI 100-1 (AI RMF 1.0) MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented." 라고 적고, MEASURE 2.3에서는 "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 라고 적는다. 시험 집합과 지표, 쓰인 도구의 내역이 함께 기록되어야 하고, 성능이나 보증 기준을 측정한 결과도 남아야 한다. 편집자가 B에게 넘긴 장에 어떤 자료가 붙어 있었는지, 대조 절차가 어떤 도구로 돌았는지가 기록되지 않으면 두 검토가 서로 다른 자료를 놓고 이루어졌는지 같은 자료를 놓고 이루어졌는지 가릴 수 없다.
측정되지 않은 범위와 일반화의 한계도 기록으로 남긴다. NIST AI 100-1 (AI RMF 1.0) MEASURE 1.1은 "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 라고 적고, MEASURE 2.5에서는 "Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 라고 적는다. 측정하지 않았거나 측정할 수 없었던 항목이 명시되어야 하고, 개발된 조건을 벗어난 일반화의 한계도 함께 적혀 있어야 한다. 같은 학습 자료로 배운 두 모델이 어느 범위까지 같은 판단을 낼 수밖에 없는지가 이 기록에 달려 있다.
나아가 검토 결과를 어떻게 보고했는지도 남아야 한다. 같은 문서 5.3절은 "formal- ized reporting and documentation of results" 를 요구하고, MANAGE 4.3에서 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 라고 적는다. 사고와 오류가 관련 주체에게 전달되고, 그를 추적하고 대응하고 회복하는 절차가 지켜지고 기록되어야 한다는 뜻이다. 대조 절차에서 밝혀난 조항 번호 불일치가 누구에게 어떻게 전달되었는지, 그 뒤 어떤 대응이 있었는지가 이 범주에 해당한다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지, 검토 메모가 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정으로 남는다.
거듭된 검토의 효과를 세려면, 모델 이름의 차이가 아니라 앞에서 확인한 자격·자료·한계·보고의 기록이 검토마다 남아 있어야 한다. 관찰된 사실만으로 평가의 독립성이 증명되었다거나 확정 손해나 고의가 성립한다고 보지는 않는다.
3.6미측정 범위와 대응 이력
거듭된 검토의 효과를 무엇으로 셀 것인지는, 남겨진 기록 가운데 자료가 측정하지 못한 범위와 오류 대응 이력이 놓인 자리를 살핌으로써 가릴 수 있다. 자료가 미측정 범위의 기록을 요구한 까닭부터 살펴보면, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 적는다. 편집자가 넘긴 장에서 자동 대조 절차가 밝혀낸 조항 번호 차이가 어느 측정 범위 안에 들었는지, 아니면 애초에 측정 대상에서 빠져 있었는지는 기록에 남은 바에 달렸다.
그 같은 한계는 단체 지식의 한계와 함께 기록되도록 요구된다. 같은 자료 MAP 2.2는 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 선언한다. 두 모델이 같은 학습 자료로 배웠다는 사실이 어느 범위까지 그려졌는지, 검토 메모가 다음 판단에 어떤 자료가 되었는지는 이 기록의 폭에 따라 읽힌다.
일치와 정확성이 서로 다르다는 점은 오류 대응 이력을 읽는 방향을 정한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절은 "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 적는다. B가 남긴 통과 도장과 "문제없음" 메모가 같은 지점을 함께 지나친 흔적으로만 읽히고, 그 지점이 옳았다는 뜻으로는 확장되지 않는다.
다만 자동 대조 절차가 찾아낸 조항 번호 차이는 일치만으로 묶이지 않는 지점을 드러내는 기록이다. 그 절차가 어떤 도구와 시험 집합으로 움직였는지가 함께 남아야 한다. NIST AI RMF 1.0, MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 적고, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 적는다. 대조 절차의 조건과 오류 보고가 각각의 자리에 남았을 때, 그 차이가 미측정 범위에 머물렀던 것인지 이미 잡히던 오류였는지를 따져 물을 수 있다.
오류가 확인된 뒤의 대응과 개선도 같은 방식으로 남는다. NIST AI RMF 1.0, MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 적고, MANAGE 4.2는 "Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors."라고 적는다. 조항 번호 차이가 누구에게 전달되고 무엇이 다음 갱신에 옮겨졌는지가 기록에 드러날 때, 검토가 거듭된 효과는 메모의 숫자가 아니라 추적되고 복구된 경로로 확인된다.
그렇게 남겨진 기록만으로는 확정된 손해나 고의 같은 법적 평가에 이르지 않는다. 검토 메모가 초안 작성과 다음 검토에 준 영향, 두 모델이 같은 판단을 낸 까닭, 인용 오류가 최종 결과에 미친 지점은 미정으로 남는다. 대조 절차가 개입한 뒤에는 FDA가 경고한 바대로, "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."라는 한계도 함께 지켜진다. 이 한계를 지킨 기록 위에서만 미측정 범위와 대응 이력은 거듭된 검토를 재는 척도가 된다.
다룬 공식 문서
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)