Monograph Series · First series › Part VII Quantitative law and AI verification › Volume 44 · First edition
판정자 간 일치도: 법적 판단의 재현성 측정
복수 판정자의 일치도를 측정하고 해석하는 방법을 정리합니다.
Volume contents
- Abstract
- Synthetic case
- 01미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 02재현성의 요청: 무엇이 다시 나와야 하는가
- 03미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
- 04미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
- 05미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
- 06한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)
- 07미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
- 08미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 09미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 10한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)
- 11한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)
- 12법원이 상반된 결과를 다루는 방식
- 13미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 14미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
Abstract
이 권은 복수 판정자가 같은 대상을 분류한 결과의 일치도를 어떻게 측정하고 어떻게 읽을지를 묻는다. 합성 사례로 두 판정자가 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하고 35건에서 같은 분류를 고른 사건을 놓는다. 책임자가 충분하다고 본 35/50이라는 숫자가 무엇을 말하고 무엇을 말하지 않는지에서 출발한다. 이어 관찰 일치율에 섞이는 우연 일치의 구조와 그를 뺀 값의 뜻을 정하고, Cohen·Fleiss·Krippendorff로 갈리는 지표와 그 선택 순서를 놓는다. 분류가 한쪽에 몰릴 때의 값의 어긋남, 일치와 정확성이 다른 요청이라는 점, 사후 조정값을 같은 측정에 다시 쓰는 문제를 차례로 다룬다. 마지막으로 엇갈린 항목을 모아 원인을 가르고, 법원이 상반된 결과를 다루는 방식과 측정을 공개하는 꼴을 살핀 뒤 남는 물음과 재검토 조건으로 맺는다.
Synthetic case
The whole volume follows this invented case. It is not a real matter, and its facts are not legal findings.
두 판정자가 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하였고, 35건에서 두 판정자가 같은 분류를 고른 사실이 확인되었다. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답했다. 이 사건에서 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 …은 미정이다.
Fourteen chapters and their questions
- 01미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
50건 중 35건이 같았다는 사실은 무엇을 말하고 무엇을 말하지 않는가?
10 min - 02재현성의 요청: 무엇이 다시 나와야 하는가
법적 판단의 분류가 같은 기준으로 다시 나와야 한다는 요청은 어디에서 오는가?
9 min - 03미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
판정자들이 아무 관계 없이 골라도 같았을 몫은 어떻게 생기는가?
9 min - 04미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
관찰 일치율에서 우연 일치의 몫을 뺀 값은 어떻게 읽혀야 하는가?
10 min - 05미국 상무부 국립표준기술연구소(NIST), AI Metrology Center, Cohen’s Kappa, Fleiss’ Kappa, Krippendorff’s Alpha, 발행일 표기 없음(확인 2026-10-11), 쪽수 없음(공식 HTML 지표명으로 인용)
여러 판정자를 대상으로 한 지표들은 어떤 조건에서 갈라지는가?
9 min - 06한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)
판정자 수, 분류의 순서, 빠진 값이라는 조건은 지표 선택을 어떻게 가르는가?
9 min - 07미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽
한 분류에 사례가 몰리면 관찰 일치율과 우연을 뺀 값은 왜 어긋나 보이는가?
10 min - 08미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
판정자들이 서로 같다는 것과 올바르다는 것은 왜 다른 요청인가?
12 min - 09미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
불일치를 조정한 값을 같은 측정에 다시 쓸 수 있는가?
11 min - 10한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 118쪽, 5.2 데이터 검수 방안 (PDF 118쪽)
어긋난 항목을 한 자리에 모으는 일은 어떻게 해야 하는가?
9 min - 11한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 59쪽, 표 II-26 (PDF 61쪽)
불일치는 기준서의 모호함, 판결문의 모호함, 판정자의 실수 가운데 어디에서 온 것인가?
7 min - 12법원이 상반된 결과를 다루는 방식
엇갈린 감정·분석 결과를 만난 법원은 무엇을 비교하고 어떻게 택하는가?
8 min - 13미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
일치도 측정은 어떤 꼴로 보고되어야 비판 가능한 기록이 되는가?
8 min - 14미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
이 권이 닫지 못한 물음은 무엇이고, 어떤 변화가 있으면 측정을 다시 짜야 하는가?
9 min