요약
이 권이 닫지 못한 물음과, 어떤 변화가 있으면 측정을 다시 짜야 하는지를 묻는다. 공개에 충분한 일치도의 문턱, 숙련된 법률가 사이의 불일치, 사람과 AI 판정자를 같은 척도로 읽을 수 있는지의 물음을 남긴다. 기준서 개정, 판정자 교체, 대상 사건군의 변화, 지표 교체라는 네 가지 변화를 재검토 조건으로 맺는다.
14.1공개에 충분한 일치도의 문턱
그렇게 기록해 둔 미측정 범위를 안고, 이제 공개한 일치도 수치가 공개에 내놓을 만한가라는 물음이 남는다. 이 물음은 수치의 크기만으로는 풀리지 않으며, 일치도를 점검하는 절차가 무엇을 요구하는지에서 다시 짚어야 한다.
통계법은 정기통계품질진단이 무엇을 조사하도록 정하는지에서 출발한다. 통계법 제9조 제2항은 "국가데이터처장은 다음 각 호의 사항이 포함된 정기통계품질진단계획을 수립하여 정기통계품질진단을 실시하는 해의 2월 말일까지 통계작성기관의 장에게 통보하여야 한다"고 규정하고, 그 항목으로 "정기통계품질진단의 대상 통계", "정기통계품질진단의 시기 및 방법", "정기통계품질진단 결과의 활용계획", "그 밖에 정기통계품질진단의 실시에 관하여 필요한 사항"을 든다. 이 항목에 일치도가 몇 퍼센트를 넘어야 한다는 식의 값은 들어 있지 않다. 같은 조 제3항은 "정기통계품질진단은 제35조에 따른 자료제출요구, 통계작성기관에 대한 방문 확인, 통계응답자에 대한 현지 확인 등의 방법으로 실시한다"고 정한다(통계법 제9조). 진단은 절차와 방법으로 진행되는 점검이지, 합격 점수를 단정하는 심사가 아니다.
그러므로 35건에서 두 판정자가 같은 분류를 골랐다는 사실이 진단 절차 안에서 무엇인지는, 그 수치를 자료제출이나 방문 확인으로 확인한 결과에 따라 달라진다. 통계법이 열거한 절차에 비추어 보면, 35/50이 충분하다는 판단이나 무관하게 골라도 그만큼은 같았을 것이라는 판단 모두 진단이 요구하는 검토를 대신하지 못한다. 이 값들은 이 사건의 관찰 사실로서 재현성을 가늠하는 출발점일 뿐이고, 확정 손해나 고의 같은 법적 평가와는 별개의 문제로 남는다.
진단을 마친 뒤의 절차도 이 물음의 경계를 분명히 한다. 통계법 제9조 제5항은 "국가데이터처장은 정기통계품질진단을 완료한 때에는 그 결과를 지체 없이 관계 통계작성기관의 장에게 통보하여야 한다"고 정하고, 제6항은 "정기통계품질진단계획의 수립, 정기통계품질진단의 주기, 방법 및 절차 등에 관하여 필요한 사항은 대통령령으로 정한다"고 위임한다. 위임된 사항에 임계값이나 합격 점수가 들어 있는지는 이 문헌에서 확인되지 않으며, 미정으로 남는다.
따라서 이 권이 공개에 충분한 일치도의 문턱을 정하지 못한 채 남긴 자리는 법률이 채우도록 둔 자리이다. 35/50이 어떤 검토를 거쳐 어떤 의미를 얻는지는 위임된 사항과 진단 절차에서 확인할 몫으로 남기고, 이 권은 그 문턱을 지어내어 결론으로 적지 않는다.
14.2숙련된 법률가 사이의 불일치
일치도가 공개에 걸맞은 수준인지를 따져 묻던 자리에서 남는 물음은, 숙련된 법률가 사이에서조차 불일치가 생겼을 때 그 불일치가 무엇을 가리키는지이다. 합성 사례에서 두 판정자는 같은 50건을 규칙형과 형량형으로 나누었고, 35건에서 같은 분류를 골랐다. 책임자는 그 35건이면 충분하다고 보았으며, 통계 담당자는 아무 관계 없이 골라도 일부는 우연히 같았을 것이라 답했다. 이 물음은 과학적 분석기법에서 서로 다른 결과가 나온 경우 무엇을 비교해야 하는지를 다룬 판례에 비추어 읽을 수 있다.
대법원 2014. 2. 13. 선고 2013도9605 판결은, 공소사실을 뒷받침하는 1차적 증거방법 자체에 오류 발생 가능성이 내포되어 있고 동일한 분석기법으로 나온 2차적 증거방법이 그에 배치되는 사실을 뒷받침하는 경우라고 전제하며 무엇을 비교하라고 했는지를 이렇게 밝힌다. 법원은 "각 증거방법에 따른 분석 대상물과 분석 주체, 분석 절차와 방법 등의 동일 여부, 내포된 오류가능성의 정도, 달라진 분석결과가 일정한 방향성을 가지는지 여부, 상반된 분석결과가 나타난 이유의 합리성 유무 등에 관하여 면밀한 심리를 거쳐 각 증거방법의 증명력을 판단하여야 한다"(대법원 2014. 2. 13. 선고 2013도9605 판결). 판정자 사이의 불일치를 읽을 때도, 어떤 분류 대상과 어떤 분류 절차와 어떤 판정자가 결과를 냈는지, 분류 기준에 오류가 끼어들 여지가 얼마나 되는지, 어긋난 결과가 한쪽으로 몰리는지, 그 까닭이 말이 되는지를 함께 살펴야 한다는 뜻이다.
같은 판결은 그러한 비교가 결론에 이르지 못한 경우에 취하지 말아야 할 태도까지 함께 적는다. 그 중 공소사실을 뒷받침하는 증거방법만을 섣불리 취신하거나 이와 상반되는 증거방법의 증명력을 가볍게 배척하여서는 아니 된다"(대법원 2014. 2. 13. 선고 2013도9605 판결). 이 사건에서 35건의 일치만을 앞세우고 나머지 15건을 가볍게 접어두는 독해는 이 금지에 닿는다. 숙련된 법률가 사이의 불일치는 판정자의 자질이 부족해서가 아니라, 규칙형과 형량형의 경계가 서로 다르게 읽힐 수 있음을 드러낸다.
다만 이 판결의 문안은 형사증명의 법리를 다룬 것이며, 코딩 일치도의 숫자에 합격선을 그어 주는 것은 아니다. 그 합격선을 지어내는 대신, 이 사례에서 어긋난 15건의 항목 내역과 그 사유는 미정이다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율도 함께 미정으로 남는다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해나 고의 같은 법적 평가가 아니다.
결국 숙련된 법률가 사이의 불일치가 뜻하는 것은 분류 기준에 따라 달라질 수 있다는 점이고, 뜻하지 않는 것은 분류 자체가 무의미하다는 점이다. 책임자의 판단과 통계 담당자의 반론이 함께 성립할 수 있으므로, 어느 한쪽을 앞세우기 전에 어긋난 15건을 왜 어긋났는지부터 밝혀야 한다.
14.3사람과 AI 판정자의 한 척도
숙련된 법률가 사이의 분석기법 차이를 읽는 기준을 세웠으므로, 남는 물음은 사람 판정자와 AI 판정자를 한 척도에 놓아 읽을 수 있는지이다. 두 사람 판정자의 분류가 35건에서 겹친 관찰은 재현성의 출발점에 머물렀고, 확정 손해나 고의 같은 법적 평가를 세우지 않았다. AI 판정자를 놓고도 같은 자리를 지켜야 한다. 같은 척도는 같은 기록을 요구한다는 뜻에서 살펴본다.
AI 위험 관리에 관한 문안은 지식 한계의 기록을 요구한다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0))는 MAP 2.2에서 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 정하였다. 사람 판정자에게 분류 기준서의 문안과 개정 이력을 요구한 것과 같은 맥락에서, AI 판정자에게도 무엇을 모르는지와 사람이 어떻게 감독하는지의 기록을 요구한다.
시험 자료와 도구의 기록도 마찬가지이다. 같은 문안은 MEASURE 2.1에서 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 정하였다. 이 사건에서 판정 50건과 규칙형·형량형의 분류 기준이 사람 판정자의 시험 자료라면, AI 판정자에게는 시험 집합과 지표, 쓰인 도구의 내역이 같은 자리에서 요구된다. 도구의 이름만으로 기록이 갖추어졌다고 보지 않는다.
측정의 밖에 둔 것도 남겨야 한다. 같은 문안은 MEASURE 1.1에서 "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 정하였고, MEASURE 2.5에서 "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 정하였다. 이 사건에서 미정으로 남은 훈련 여부와 판정자별 분류 비율, 어긋난 15건의 내역을 측정의 밖에 둔 사실 그대로 두는 것이 이 요구에 맞는다.
검토의 자리는 개발의 자리와 갈라놓는다. 같은 문안은 MEASURE 1.3에서 "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance."라고 정하였다. 통계 담당자가 우연의 몫을 따져 물은 것은 개발의 자리 바깥에서 관찰을 가늠한 일에 가깝다. 그러나 모델 이름이 다르다는 사실이나 도구가 다르다는 사실만으로 평가 독립성이 증명된다고는 읽지 않는다.
다만 이 문안은 자발적 권고이다. 같은 문안은 5.3절에서 "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est."라고 하여 독립적 검토가 효과를 가질 수 있음을 말할 뿐이다. 사람 판정자와 AI 판정자를 한 척도에 놓는 일은 같은 기록과 같은 검토의 자리를 요구하는 지침으로 가능하나, 이 사건의 책임자가 35/50을 충분하다고 본 판단을 그 지침으로 바로 바꾸어 놓지는 못한다.
14.4미측정 범위의 기록과 한계
사람과 AI 판정자를 한 척도에서 읽는 데는 자발적 권고만으로도 한계가 있음이 확인되었다. 그렇다면 같은 척도에서 남겨야 할 것이 무엇인지를 물어야 한다. 이 사건에서 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정으로 남았다. 이런 항목이 측정 결과의 밖에 있는지를, 프레임워크의 문안이 기록을 요구하는 범위에 비추어 살핀다.
NIST AI RMF은 MEASURE 1.1에서 무엇을 측정할 수 없는지를 함께 기록하도록 요구한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 규정한다. 측정하지 않기로 한 범위도 함께 남겨야 비로소 측정된 범위의 뜻이 정해진다. 이 사건에서 미정으로 남은 항목은 측정되지 않은 범위에 속하고, 그 범위는 기록으로 남겨둘 자리다.
이 프레임워크는 측정의 도구와 조건도 함께 남기도록 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 적고, 같은 문서 MEASURE 2.5는 "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 덧붙인다. 도구와 조건이 함께 남아야 측정값이 어느 범위에 붙은 것인지 알 수 있다. 기준서 문안과 판정자별 비율이 남지 않은 이 사건에서, 35건이라는 숫자가 어떤 조건에 붙은 값인지는 정하지 않은 채로 남는다.
한편 오류에 대한 대응은 기록과 함께 남도록 요구된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 하고, 같은 문서 MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 규정한다. 어긋난 15건의 사유가 남지 않은 이 사건에서, 오류의 내역과 대응은 기록되어야 할 자리가 비어 있는 셈이다.
개선의 이력도 함께 남는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MANAGE 4.2는 "Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors."라고 규정한다. 개선 활동이 기록되어야 다음 측정이 앞의 측정과 어떻게 이어지는지 알 수 있다. 이 사건에서 기준서의 개정 이력과 훈련 여부가 남지 않았으므로, 측정을 다시 짜야 할 조건이 언제 생겼는지는 이 기록만으로는 적을 수 없다.
따라서 남는 사실은 이 사건에서 측정의 밖에 있음이 확인되었다. 관찰된 35건과 50건은 재현성 측정의 출발점이고, 미정으로 남은 항목을 추측으로 채우면 일치도의 뜻이 보태지는 대신 달라진다. 이 권은 미측정 범위를 미정으로 남겨 기록하는 선에서 물음을 세우며, 확정 손해나 고의 같은 법적 평가는 여기서 정하지 않는다.
14.5측정을 다시 짜는 네 가지 변화
미측정 범위를 남기고 나면, 남는 물음은 언제 그 기록을 다시 열어 측정을 고쳐야 하는가이다. NIST AI RMF은 지표의 타당성을 정기적으로 다시 묻도록 두었는데, "MEASURE 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 이 문안에 따르면 지표의 적합성과 통제의 실효성을 규칙적으로 살피고, 오류 보고를 함께 갱신해야 한다. 50건 중 35건이었다는 이 사건의 숫자는 그러한 재평가가 필요한 한 시점의 관찰치에 머문다.
측정을 다시 짜는 첫째 변화는 분류 기준서의 문안이 바뀌는 경우이다. 같은 문안을 놓고도 판정자가 달리 읽을 수 있으므로, 기준의 표현이 달라지면 이전에 모은 분류는 곧바로 이어 쓰기 어렵다. NIST AI RMF은 측정 과정에서 시험집합과 지표, 도구의 세부 사항을 남기라고 하였다. "MEASURE 2.1: Test sets, metrics, and details about the tools used during TEVV are documented." 이 사례에서 분류 기준서의 문안과 개정 이력은 미정으로 남았으므로, 기준이 언제 바뀌었는지에 따른 일치도의 변동은 여기서 헤아릴 수 없다.
둘째 변화는 판정자가 교체되거나 훈련을 새로 받는 경우이다. 익숙하지 않은 판정자가 들어오면 같은 사건을 다르게 분류할 가능성이 커진다. NIST AI RMF은 앞선 개발에 참여하지 않은 내부 전문가나 독립 평가자가 정기 평가에 참여하도록 하였다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0)에 따르면, "MEASURE 1.3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates." 두 판정자의 훈련 여부가 미정인 이 사건에서는 교체나 재훈련이 일치도에 어떤 변화를 놓았는지 확인할 길이 없다.
셋째 변화는 대상 사건군이 달라지는 경우이다. 판정 대상의 성격이 바뀌면 기존의 분류 비율은 그대로 이어지지 않는다. NIST AI RMF은 배포 조건과 비슷한 환경에서 성능을 측정하고, 개발 조건을 넘어선 일반화의 한계를 남기라고 하였다. "MEASURE 2.3: AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 아울러 위 프레임워크는 "MEASURE 2.5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 판정자별 분류 비율과 어긋난 15건의 항목 내역이 미정인 이 사건에서는 사건군이 달라졌을 때의 일치도 변화를 따로 적을 수 없다.
넷째 변화는 지표 자체를 바꾸는 경우이다. 같은 분류 결과를 두고도 우연 일치의 몫을 어떻게 뺄지에 따라 쓰는 지표가 갈린다. 통계법 제9조는 주요 통계에 대하여 주기적으로 품질진단을 하도록 두고, 그 진단계획에 대상과 시기·방법, 결과의 활용계획을 담도록 하였다. 통계법 제9조 제2항은 "국가데이터처장은 다음 각 호의 사항이 포함된 정기통계품질진단계획을 수립하여 정기통계품질진단을 실시하는 해의 2월 말일까지 통계작성기관의 장에게 통보하여야 한다. <개정 2025. 10. 1.> 1. 정기통계품질진단의 대상 통계 2. 정기통계품질진단의 시기 및 방법 3. 정기통계품질진단 결과의 활용계획 4. 그 밖에 정기통계품질진단의 실시에 관하여 필요한 사항" (통계법 제9조)이라고 정한다. 이 절차는 진단의 시기와 방법을 미리 정해 알려 주는 방식으로 품질을 다시 묻는다. 통계법 제9조가 이 사건의 분류 업무에 직접 적용되는지는 여기서 확정하지 않는다.
이 사건에서 남는 물음은 다음과 같다. 분류 기준서의 문안은 무엇이고 개정 이력은 어떻게 되는가. 두 판정자는 어떤 훈련을 받았는가. 판정자별 분류 비율은 각각 얼마인가. 어긋난 15건은 어느 항목에서, 무슨 사유로 갈렸는가. 이 네 가지가 채워지기 전까지 35건이라는 숫자는 측정의 출발점으로만 놓인다. NIST AI RMF이 오류와 사고의 추적·대응·복구를 문서화하도록 한 위 프레임워크의 "MANAGE 4.3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 문안이 요구하는 기록은 이 사건에서 아직 비어 있다. 미정 사항은 미정으로 두어야 한다.
다룬 법령
다룬 판결
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)