Summary
일치도 측정이 어떤 꼴로 보고되어야 비판 가능한 기록이 되는지를 묻는다. 분류 기준서의 문안과 개정 이력, 판정자별 원자료, 일치 건수에서 계산까지의 과정을 함께 내놓아야 하는 까닭을 정리한다. 조정 전과 후의 값과 미측정 범위의 기록을 함께 두며, 품질진단 절차의 법적 요건과 측정값의 법적 효력은 확정하지 않는다.
13.1분류 기준서의 문안과 이력
형사증명 법리를 판단틀로 삼는 읽기를 마치면서, 같은 분류가 무엇을 뜻했는지 가려내는 재료가 무엇인지가 다음 질문으로 남는다. 이 사건에서 두 판정자는 판결 50건의 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 그러나 이 숫자가 무엇에 대한 합치인지는 분류 기준서의 문안이 어떻게 되어 있는지 보지 않고는 쓸 수 없이 남는다.
분류 기준서는 두 범주의 경계를 말한 문서이고, 그 문안이 함께 공개되어야 비로소 35건에서 맞은 분류가 같은 뜻이었는지 검토할 수 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1은 측정의 토대를 다음과 같이 요구한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 분류 기준서가 측정에 쓰인 도구에 해당하면, 그 문안은 위 조항이 말하는 세부 가운데 하나로서 문서로 남겨져야 한다. 문안이 공개되지 않으면 일치한 35건이 무엇에 비추어 맞은 것인지 확인할 길이 닫힌다.
문안만으로는 같은 낱말이 기록된 시점마다 같은 뜻을 가졌다고 할 수 없다. 개정 이력이 함께 공개되어야, 두 판정자가 어느 판에서 같은 문안을 놓고 분류했는지 비로소 정해진다. 같은 문서 MEASURE 1.2는 지표의 적절성을 주기적으로 다루며 다음과 같이 쓴다. "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 갱신이 예정된 항목이면 이력이 함께 남아야 어느 판의 기준서가 이 사건 50건의 분류에 쓰였는지 특정된다. 개정 시점이 미정인 채로는, 어긋난 15건이 기준서의 문안 차이에서 나온 것인지 판정자 사이의 실제 불일치인지도 가리기 어렵다.
기준서가 갱신되는 경우, 갱신을 다루는 사람이 기준서를 처음 쓴 판정자와 같은 사람인지에 따라 문안의 뜻을 검토하는 각도가 달라진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 그 자리를 다음과 같이 나눈다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in-volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이 사건에서 두 판정자의 훈련 여부는 미정이므로, 위 조항이 말하는 자격을 이 분류 작업에 누가 갖추었는지는 미정으로 남는다. 훈련 여부를 미정으로 둔 채 쓸 수 있는 판단은, 공개되어야 할 항목이 무엇인지 목록을 세우는 데까지이다.
문안과 개정 이력이 함께 놓일 때, 35/50이라는 수치가 어떤 뜻을 담은 관찰인지 비로소 읽을 수 있다. 책임자가 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였으나, 어느 쪽의 읽기가 맞는지 이 수치만으로는 정해지지 않는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.3은 조건을 함께 적을 것을 요구하며 다음과 같이 쓴다. "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 이 사건에서 측정의 조건에 해당하는 것은 분류 기준서의 문안과 개정 이력이고, 그 두 가지가 함께 공개되지 않으면 35건의 일치는 그 조건을 떠난 숫자로 남는다.
이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 분류 기준서의 문안과 개정 이력이 함께 공개되어야, 같은 분류라는 기록이 무엇을 뜻했는지 검토할 수 있고, 어긋난 15건의 성격도 그 검토 안에서 다룰 수 있다. 기준서에 따라 각 판정자가 매긴 분류가 어떤 자리에 놓이는지 판단하는 일은 아직 남아 있다.
13.2판정자별 원자료의 공개
기준서의 문안과 이력이 함께 공개되는 것으로서, 다음으로 남는 것은 각 판정자가 그 기준에 따라 실제로 매긴 분류다. 판정자별 원자료가 함께 제시되지 않으면, 50건 가운데 35건이 일치했다는 관찰이 무엇을 대조하여 얻은 것인지 검토할 길이 없다. 미국 상무부 국립표준기술연구소(NIST)의 「Artificial Intelligence Risk Management Framework (AI RMF 1.0)」(NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1은 측정에 쓰인 도구에 관한 세부 사항을 문서화하도록 요구하여, "Test sets, metrics, and details about the tools used during TEVV are documented."라고 규정한다. 판정자 각자가 매긴 항목별 분류는 이 사례에서 측정 도구를 다룬 세부 사항에 해당하므로, 함께 기록되어야 한다.
측정의 결과뿐 아니라 그 근거가 된 조건도 함께 남겨야 한다. 위 자료의 MEASURE 2.3은 성능이나 보증 기준을 유·정성적으로 측정하고 그 조건을 시사하도록 요구하여, "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented."라고 규정한다. 판정자별 분류 비율은 이 사례에서 각 판정자가 어떤 조건에서 규칙형과 형량형을 얼마나 골랐는지를 보여 주는 측정치이므로, 항목별 분류와 함께 공개되어야 한다.
원자료의 공개는 검토자가 분류 기준을 어떻게 적용했는지 따라갈 수 있게 만든다는 점에서 의의가 있다. 위 자료의 MAP 2.2는 시스템 출력의 한계와 활용·감독 방식을 문서화하고, 그 문서가 관련자의 의사결정과 후속 조치를 돕도록 충분한 정보를 담도록 요구하여, "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 규정한다. 판정자별 원자료는 이 사례에서 35건의 일치라는 결과가 어떤 판단 과정을 거쳐 나왔는지를 관련자에게 알려 주는 정보에 해당한다.
그 밖에 어떤 항목이 있었는지, 어떤 기록이 남아야 하는지도 함께 밝혀야 한다. 위 자료의 MEASURE 2.5는 일반화의 한계를 문서화하도록 요구하여, "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 규정한다. 어긋난 15건의 항목 내역과 그 사유는 이 사례에서 …은 미정이다. 미정으로 남은 항목이 기록되지 않으면, 검토자는 50건의 분류가 어떤 범위에서 이루어진 것인지 확인할 수 없다.
판정자별 원자료의 공개는 이 사례의 관찰을 재현성 측정의 출발점으로 삼기 위한 전제다. 앞선 기준서의 문안과 개정 이력이 같은 분류의 뜻을 밝힌다면, 판정자별 항목 분류와 분류 비율은 각 판정자가 그 뜻을 실제로 어떻게 옮겼는지를 보여 준다. 두 자료가 함께 제시될 때 비로소 35건이라는 관찰치가 무엇에 기초한 것인지 검토할 수 있다.
13.3일치 건수에서 계산까지
일치 건수 35건이 드러났다면 그 다음에는 그 숫자가 어떻게 계산으로 이어지는지가 남는다. 확정된 값 앞에는 무엇을 세고 무엇을 뺐는지의 과정이 놓여야 하며, 그 과정이 기록에 남지 않으면 35건이라는 관찰치는 끝내 검증할 수 없는 주장으로 남는다.
측정의 결과를 남길 때에는 불확실성에 관한 척도와 함께 정식으로 보고하고 문서화할 것을 요구한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, 5.3절은 AI 위험의 측정에는 신뢰할 수 있는 특성, 사회적 영향, 사람과 AI의 배치에 관한 지표의 추적이 포함되고, MEASURE 기능에서 만들거나 채택한 절차에는 엄격한 소프트웨어 시험과 성능 평가 방법이 함께 들어가야 하며, 여기에는 불확실성에 관한 척도, 성능 기준과의 비교, 결과의 정식 보고와 문서화가 딸린다고 밝힌다. 이 사건에서 두 판정자가 50건 가운데 35건에서 같은 분류를 고른 관찰치는 이 보고와 문서화의 대상이 된다.
문서화에는 계산에 쓰인 도구의 세부 사항까지 함께 담는다. 같은 자료 MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 정하고 있다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 아직 미정이므로, 이 가운데 어떤 항목이 계산의 재료가 되는지도 미정으로 남는다.
계산의 한 단계에는 우연히 같았을 몫을 다루는 절차가 들어간다. 책임자가 35/50이면 충분하다고 보았고 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답한 바 있다. 다만 자료는 확정된 계산식이나 특정 계수의 결과를 제공하지 않았으므로, 이 사건에서 우연히 같았을 몫이 얼마인지 확정하여 적을 수 없다.
측정의 적절성을 정기적으로 평가하고 갱신할 것도 함께 요구된다. 같은 자료 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 규정한다. 이 사건에서 계산식이 확정되지 않은 채로 남아 있는 이상, 그 적절성의 평가 대상조차 미정으로 남는다.
통계작성기관이 품질을 점검하고 그 결과를 남기는 틀도 마련되어 있다. 통계법 제11조 제3항은 "통계작성기관의 장은 자체통계품질진단을 실시한 해의 12월 31일까지 그 결과를 국가데이터처장에게 제출하여야 한다."라고 정하고 있다. 이 사건에서 35건이라는 관찰치가 확정된 값으로 자리 잡으려면, 계산 과정을 담은 기록이 이와 같이 제출되는 틀 안에서 남아 있어야 한다.
13.4조정 전과 후의 값
계산 과정이 남은 뒤에도 보고할 값이 하나로 고정되지 않은 경우가 있다. 이 사건에서는 기준서 개정 같은 조정이 있었는지가 미정이지만, 조정의 유무가 확인된다면 조정 전의 값과 조정 후의 값을 나란히 적는 꼴이 요구된다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.2는 측정 수단의 적절성과 통제의 실효성을 정기적으로 평가하고 갱신하도록 하면서, 그 부수로 오류 보고와 영향 보고를 요구한다. "MEASURE 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 조정은 한 번의 판단으로 끝나지 않고 되풀이되어야 하는 절차이며, 그때마다 무엇이 바뀌었는지가 기록에 남아야 한다는 뜻이다.
같은 문서의 MEASURE 2.1은 측정에 쓴 도구와 시험 집합의 세부 사항을 함께 문서화하도록 정한다. "MEASURE 2.1: Test sets, metrics, and details about the tools used during TEVV are documented." 측정값 하나만으로는 그 값이 무엇을 가지고 계산된 것인지 알 수 없으므로, 도구와 집합의 내역이 함께 있어야 조정이 있었을 때 무엇이 달라졌는지 비교할 수 있다.
또한 같은 문서의 MEASURE 2.3은 측정 결과 자체를 문서화하도록 요구한다. "MEASURE 2.3: AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 조정 전과 후의 값이 각각 측정된 때라면 그 둘 모두가 문서에 들어가야 하며, 어느 한쪽만 남기면 비교가 불가능하다.
이 사건에서 분류 기준서의 개정 이력은 미정이다. 그러므로 조정이 있었다고 끼워 맞추어 그 사실을 보고에 넣거나, 조정 전과 후의 값을 새로 만들어 내는 것은 허용되지 않는다. 오류와 영향의 보고를 부수로 요구한 조정 절차의 문안에 비추어 보면, 값의 이력을 남기는 일은 계산 과정을 남기는 일과 같은 방향의 기록 의무에 속한다. 계산이 확정된 뒤에 값이 다시 바뀐다면, 바뀌기 전의 값과 바뀐 뒤의 값이 함께 남아야 비판과 검증이 가능하다.
13.5미측정 범위의 기록
측정 결과를 제시하는 일은 측정한 것만을 보여주는 일로 끝나지 않는다. 앞서 확인한 조정 전·후의 값이 함께 제시되어야 하듯이, 측정하지 못한 범위도 그대로 남기는 일이 보고서의 일부이다. 분류 항목 중 무엇이 측정에서 제외되었는지, 그 제외의 까닭은 무엇인지가 함께 적혀야 한다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 측정 가능한 것과 측정하지 못한 것을 나란히 기록할 것을 요구하면서 다음과 같이 말한다. "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이 사건에서 두 판정자의 분류가 무엇을 측정하였는지는 확인되었으나, 측정하지 못한 범위의 목록과 그 사유는 여전히 미정이다.
같은 자료 MEASURE 2.5는 측정 결과의 한계를 함께 적도록 다음과 같이 정한다. "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 여기서 한계는 측정값에 대한 주석이 아니라, 그 값이 어느 범위에까지 미치는지를 밝히는 본문의 일부이다. 이 사례에서는 판정자 2인과 판결 50건이라는 범위 밖의 사정은 확인되지 않았으므로, 그러한 사정을 일반화의 한계로 채워 넣을 수는 없다.
측정 범위와 함께 다루어야 할 것이 지식의 한계이다. 같은 자료 MAP 2.2는 다음과 같이 말한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 지식의 한계란 무엇을 아는가와 더불어 무엇을 알 수 없는가를 함께 적는 일이다. 이 사건에서 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이며, 그 미정 자체가 지식의 한계에 해당한다.
측정하지 못한 범위를 적는 일은 측정 절차의 밖으로 밀어낸 것이 아니라, 측정 보고의 한 항목으로 삼는 일이다. 통계법 제11조는 자체통계품질진단에서 "통계작성기관의 장은 소관 통계에 관하여 매년 통계품질진단(이하 “자체통계품질진단”이라 한다)을 실시하여야 한다. 다만, 작성주기가 1년을 초과하는 통계의 경우에는 그 통계를 작성하는 해 또는 그 다음 해에 실시할 수 있다." (통계법 제11조)라고 정하면서 진단의 대상과 시기를 밝히고 있다. 이 사건의 일치도 수치가 그러한 진단의 요건을 충족하는가는 이 절에서 다루지 않으며, 다만 보고서 안에 미측정 범위와 지식의 한계가 함께 남는 꼴이 요구된다는 점만 확인된다.
Statutes referred to
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)