Summary
걸러진 항목을 어떻게 처리하고 왜 함께 알려야 하는지를 묻고, 일치와 정확성의 구별에서 출발한다. 사후 조정값을 성능 평가에 되쓰는 문제와 걸러진 범위의 기록, 검토와 감사의 분리를 차례로 살피면서 공개와 개선 이력을 남기는 까닭을 다룬다. 충돌한 결론을 푸는 주체와 기준은 다루지 않는다.
12.1일치와 정확성의 구별
자동 대조에서 걸러진 불일치 항목을 어느 쪽으로 읽을지 밝히기 전에, 일치라는 척도가 정확성을 대신하지 못한다는 점부터 확인한다. 미국 식품의약국은 진단검사 평가에서 합치도 측정의 한계를 다음과 같이 적었다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."(미국 식품의약국, Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절, 인쇄면/PDF 12쪽) 이 말은 합치와 정확을 나누어 읽으라는 지시로 옮겨 읽힌다. 출판사 편집자가 상위 모델 B의 "문제없음" 메모와 통과 도장을 초안에 대한 정확성의 확인으로 읽지 못하는 까닭이 여기에 있다.
같은 자료는 합치도 측정값 자체의 해석에 대해서도 주의를 환기한다. 판단의 근거를 오해하지 않도록 다음 문장을 함께 둔다. "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."(미국 식품의약국, 위 지침, 4.1절, 인쇄면/PDF 12쪽) 통과 도장이 남은 장면에서 두 모델의 판단이 겹쳤다는 사실만으로 초안의 품질이 높다고 말할 수 없으며, 겹친 판단이 같은 학습 자료에서 나온 것이라면 그 겹침은 더더욱 정확성의 표지가 되지 못한다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지는 미정이다.
자동 대조 절차는 정확성이 아니라 문자의 대조로 조항 번호의 차이를 찾아냈다. 이 관찰된 차이가 일치 측정에서 잡히는 오류인지, 아니면 정확성 측정에서만 드러나는 오류인지는 이 관찰만으로 확정되지 않는다. 확정 손해나 고의 같은 법적 평가는 이 자리에서 이루어지지 않는다. 다만 합치가 정답을 보증하지 않는 이상, 통과한 항목과 걸러진 항목을 같은 척도로 놓고 읽는 방식은 둘 사이의 구별을 지워버린다.
걸러진 항목의 값을 이후 손질하여 다시 평가에 넣는 일이 생기면, 자료는 그 값을 쓰지 말 것을 권고한다. 판단의 근거가 흔들리지 않도록 조문을 그대로 옮긴다. "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."(미국 식품의약국, 위 지침, 6절, 인쇄면/PDF 18쪽) 이 권고는 조정된 값을 평가의 재료로 다시 두는 일을 막는 방향으로 읽힌다. 조항 번호가 다르다고 확인된 그 인용 한 곳이 최종 결과에 어떤 영향을 미쳤는지는 미정이다.
따라서 걸러진 항목은 일치에서 밀려난 항목으로만 적어 두고, 정확성의 결함으로 확정하지 않은 채로 남겨 둔다. 통과 도장이 남은 장과 걸러진 인용 한 곳을 같은 기록 안에 두되, 하나는 판단의 겹침이고 다른 하나는 대조에서 드러난 차이라는 구별을 함께 적는다. 이 구별을 지킨 뒤에라야 다음 처리와 공개의 방식을 정할 수 있다.
12.2사후 조정값의 재사용
불일치 항목의 성격을 일치와 정확성 가운데 어느 쪽에 둘지 가른 뒤에는, 걸러진 항목의 값을 사후에 조정한 뒤 그 값을 평가에 다시 쓰는 일이 어떤 결과를 낳는지 살펴볼 차례이다. 미국 식품의약국은 이 문제를 논의하며 불일치 사후 조정(discrepant resolution)으로 달라지거나 갱신된 결과값의 사용을 다음 문장으로 피한다. 그 까닭을 밝히기 앞서 위 지침은 우선 방향을 다음과 같이 제시한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽 3절은 "Avoid the use of outcomes altered or updated by discrepant resolution"이라고 적는다. 이 권고가 무엇을 삼가도록 하는지 확인하는 데는 그 뒤에 따라오는 문장이 실질적인 기준이 된다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽 3절은 이어서 "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard"라고 밝힌다. 이 문장이 막는 것은 조정 행위 자체가 아니라, 조정을 거친 값을 민감도·특이도나 비기준표준과의 일치율 산정에 다시 대어 넣는 쓰임이다. 편집자의 사례에서 걸러진 항목의 값을 조정한 뒤 그 값을 성능 평가의 재료로 되돌리면, 조정 전에 잡힌 오류가 평가 수치에서 모습을 감추는 까닭이 이 구절에 담겨 있다.
그와 아울러 일치가 정답을 뜻하지 않는다는 지적도 같은 맥락에 놓인다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽 4.1절은 "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right"라고 적는다. 두 모델이 같은 학습 자료로 배워 같은 지점에서 같은 판단을 남겼다는 관찰만으로는 그 판단이 옳은지가 정해지지 않으며, 되려 둘이 함께 틀렸을 가능성도 이 지적이 열어 놓는다.
문제는 조정을 거친 값이 평가에 다시 들어오는 순간, 애초 걸러졌던 불일치가 사후 처리에 묻혀 측정에서 드러나지 않게 된다는 점이다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽 6절은 그런 조치가 일치 측정에 미치는 흔들림까지 짚으며 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test"라고 말한다. 조정으로 값이 바뀐 뒤에는 전체 일치율이 좋아 보여도 부분 일치율이 낮을 수 있으므로, 하나의 일치 수치만으로 성능을 단정하는 방식이 권고되지 않는다.
다만 이 권고를 조정 행위를 법으로 금하는 규제로 읽는 것은 문장의 범위를 넘는다. 위 지침이 명하는 것은 조정된 값을 평가 추정에 재사용하지 말라는 것이지, 걸러진 항목을 처리하는 절차 전반을 금지하는 것이 아니다. 이 사례에서 자동 대조로 드러난 인용 조항 번호의 차이가 최종 결과에 어떤 영향을 미쳤는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 두 모델이 왜 같은 판단을 냈는지는 미정으로 남는다. 관찰된 사실들만으로 확정 손해나 고의 같은 법적 평가가 내려지는 것도 아니다.
12.3걸러진 범위의 기록
조정된 값을 다시 쓰지 않는 방향을 세웠으므로, 남는 것은 어떤 범위가 결국 측정되지 않았는지 남기는 일이다. 걸러진 항목을 뺀 자리를 두고 평가 범위가 줄어들었다는 사실만으로는 무엇이 사라졌는지 알 수 없으므로, 자료가 요구하는 기록의 대상을 먼저 확인한다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2는 지식의 한계를 함께 적도록 정한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라는 문장이다. 시스템이 아는 바의 경계를 적는 기록은, 뒤에 판단을 이어갈 사람들이 무엇을 근거로 움직였는지 되짚는 데 쓰인다. 같은 자료의 5.3절은 측정 과정의 산출물을 묶어 설명한다. 같은 자료의 5.3절은 측정 과정의 산출물을 아래와 같이 정한다. 걸러진 범위가 곧 불확실성이 커진 자리임을 생각하면, 이 기록은 오차의 크기와 함께 그 자리를 표시하는 성격을 띤다.
측정하지 못한 대상을 적는 요구는 MEASURE 1.1에서 더 분명해진다. "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라는 문장이다. 여기서는 의도적으로 재지 않은 것과 애초에 재지 못한 것이 함께 묶이고, 어느 쪽이든 목록에서 사라지지 않게 남긴다는 점이 강조된다. 자동 대조 과정에서 확인된 인용의 조항 번호 불일치처럼, 통과하지 못한 항목을 뺀 뒤의 평가가 어느 범위에서 성립했는지는 이 기록에 의지해 가른다. MEASURE 2.1은 도구의 사정도 함께 남기라고 적는다. "Test sets, metrics, and details about the tools used during TEVV are documented."라는 문장이 바로 그것이다. 측정 도구가 걸러낸 자리를 그대로 두는지, 아니면 그 자리를 다른 값으로 메우는지는 이 기록의 범위 안에서 확인할 일이다.
문제가 확인된 뒤의 처리까지도 기록의 대상에 들어간다. MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 정하고 있다. 오류에 관한 보고가 지표의 적절성을 다시 따지는 자료로 쓰인다는 뜻이다. 한편 일반화의 한계는 MEASURE 2.5가 따로 다룬다. 같은 자료의 MEASURE 2.5는 일반화의 한계를 아래와 같이 기록하도록 정한다. 같은 학습 자료로 배운 두 처리가 같은 지점에서 같은 결론에 이른 범위를 일반화의 한계로 볼지는, 자료가 확인해 준 관찰 사실만으로는 정해지지 않았다.
오류를 알리고 되짚는 흐름도 기록을 전제로 한다. 같은 자료의 MANAGE 4.3은 오류의 전달과 대응의 기록을 아래와 같이 정한다. 추적과 대응과 회복의 각 단계가 문서로 남는다는 요구는, 걸러진 범위가 처리 과정에서 어떻게 옮겨졌는지 되돌아볼 수 있게 만든다. 이 사례에서 검토 메모가 다음 검토에 어떤 영향을 주었는지, 그리고 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정으로 남는다. 자료가 정한 것은 기록의 대상과 성격일 뿐, 기록의 양식이나 보관 기간이나 공개 형식은 정해지지 않았다. 그러므로 통과하지 못한 항목과 측정되지 않은 범위를 자료와 시험 도구의 한계와 함께 남기되, 남은 형식의 세부는 자료가 정한 바 밖의 일로 남겨둔다.
12.4검토와 감사의 분리
기록의 분리와 병행하여 검토 주체의 자리가 문제된다. 검토가 초안 작성과 가까운 관계에 있을 때, 통과하지 못한 항목과 오류 대응이 어느 자리에서 다루어지는지가 다음 쟁점이다. 여기서는 검토와 감사가 서로 다른 역할을 맡는다는 점을 확인하고, 평가자의 이름이나 계열이 다르다는 사실만으로 독립성이 증명된다고 하지 않는다.
먼저 검증 활동 자체가 어느 성격을 띠는지 규정한다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0)는 측정의 성격을 밝히면서, AI 위험 측정이 신뢰할 수 있는 특성과 사회적 영향, 인간과 AI의 구성에 관한 지표를 추적하는 일을 포함하고, MEASURE 기능에서 마련되거나 채택된 절차에는 엄격한 소프트웨어 시험과 성능 평가 방법이 있어야 하며, 불확실성의 측정과 성능 기준 비교, 결과의 공식적 보고와 문서화가 함께 뒤따라야 한다고 한다. 아울러 같은 자료는 독립적인 검토 절차가 시험의 효과를 높이고 내부 편향과 잠재적인 이해충돌을 완화할 수 있다고 본다. 이에 따르면 검토는 시험의 효과를 높이고 내부 편향과 이해충돌을 줄이는 자리에 놓인다. 편집자가 모델 A가 쓴 장을 같은 계열의 상위 모델 B에게 넘긴 경우, B의 자리가 이 독립 검토 절차에 해당하는지는 이 인용만으로 정해지지 않는다.
검토 주체의 구성은 별도 항목에서 다룬다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0)의 MEASURE 1.3은 "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 라고 규정한다. 일선 개발에 참여하지 아니한 내부 전문가나 독립 평가자가 정기 평가에 참여하는 것이 요구되며, 외부의 AI 행위자 등은 위험 감수 성향에 따라 필요할 때 자문을 받는다. 사례에서 B는 A가 쓴 장을 직접 작성하지 아니한 자리에 있었으나, 두 모델이 같은 학습 자료로 배운 것으로 알려져 있다는 사실은 이 자료가 정한 참여 기준과 별개의 문제로 남는다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지는 미정이다.
오류의 보고와 갱신은 감사에 가까운 쪽의 몫으로 나타난다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0)의 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라고 하여, 오류 보고를 지표의 적절성과 통제의 실효성 평가에 포함시킨다. 자동 대조 절차로 확인된 조항 번호의 불일치가 이 오류 보고에 해당하는 기록인지, 또 어떤 경로로 보고되었는지는 관찰된 사실만으로 확정되지 아니한다.
사고와 오류의 처리 절차도 그 역할을 분명히 한다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0)의 MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 라고 정한다. 통과하지 못한 항목은 이에 따라 관련 행위자에게 전달되고 추적·대응·복구 절차를 거치며, 그 과정이 기록된다. 사례에서 "문제없음"이라는 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 또 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정으로 남는다.
이와 같은 구분에 따르면 검토는 시험의 효과를 높이고 편향을 줄이는 자리이며, 감사는 오류의 보고·추적·대응·복구를 점검하고 기록하는 자리이다. 모델의 이름이나 계열이 다르다는 사실만으로 어느 쪽의 평가가 독립적임이 증명된다고 하지 아니하며, 위험 감수 성향에 따른 참여 범위도 함께 살핀다. 관찰된 사실들이 법적 평가로 이어지는지는 이 자리에서 확정되지 아니한다.
12.5공개와 개선 이력
통과 도장이 남긴 자국을 감사가 걷어낸 뒤에는, 걸러진 항목과 그 대응을 밖으로 알리고 개선 이력을 남길 차례이다. 공개는 오류를 감추려는 태도와 대비되는 것이며, 개선 이력은 성능 평가가 한 번으로 끝나지 않음을 보여주는 기록이다. 이 글은 오류 대응과 성능 평가가 공개와 기록에서 어떻게 맞물리는지 살핀다. 충돌한 결론을 푸는 주체와 기준은 여기서 다루지 않는다.
오류 대응이 공개를 빠뜨리면 성능 평가는 그 오류를 지워버린 기록 위에 선다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MANAGE 4.3은 오류의 통보와 처리 기록을 함께 요구한다. "3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 통보와 기록이 나란히 놓인 것은, 알린 일과 대응한 일이 함께 남을 때 비로소 오류 대응이 평가 자료가 되기 때문이다. 합성 사례에서 자동 대조 절차가 걸러낸 조항 번호 오류는 통보와 기록의 대상이 된다. 그 오류의 처리 결과가 어떻게 되었는지는 미정이다.
성능 평가는 무엇을 재었는지와 무엇을 재지 않았는지 함께 적을 때 비로소 오류에 대해 말할 수 있다. 같은 출처 NIST AI 100-1 (AI RMF 1.0), 2023-01-26, MEASURE 1.1은 잰 것과 잴 수 없는 것의 구분을 기록으로 남긴다. "1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 재지 못한 것으로 적힌 부분은 오류 대응이 다루지 못한 영역을 표시하며, 그 표시가 성능 평가의 한계를 드러낸다. 합성 사례의 인용 오류는 어느 항목에서 잡혔는지 기록될 수 있으며, 두 모델이 같은 지점에서 같은 판단을 내린 까닭은 미정이므로 잴 수 없는 것으로 남는다.
개선 이력은 한 번의 통과 도장으로 닫히지 않는 대응을 이어 가는 줄이다. 같은 출처 NIST AI 100-1 (AI RMF 1.0), 2023-01-26, MANAGE 4.2는 개선 활동의 측정 가능성과 이해관계자 참여를 함께 요구한다. "2: Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors." 측정 가능한 활동이 업데이트에 묶일 때 오류 대응은 지워진 흔적이 아니라 남은 이력이 된다. 합성 사례에서 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지는 미정이므로, 그 영향은 이력에 기록될 대상으로 남는다.
공개와 기록에도 한계가 있다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1절은 일치가 옳음을 뜻하지 않음을 경고한다. "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong." 통과 도장과 자동 대조의 결과가 맞물렸다 하여 그 지점이 옳다고 이력에 적을 수는 없다. 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은 일치의 근거를 이루나, 그 일치가 옳음을 입증하지 않는다.
따라서 걸러진 항목과 그 대응을 함께 알리고 개선 이력을 남기는 일은 오류 대응과 성능 평가를 같은 줄기에 묶는다. 그 이력은 옳음의 보증이 아니라 재고와 대응의 자취로 남으며, 확정 손해나 고의 같은 법적 평가는 이 관찰된 사실들만으로 이루어지지 않는다.
Official documents referred to
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)