Summary
판사의 인공지능 사용은 평균 정확도가 아니라 실패 유형별로 인권 침해와 절차 오류의 전이 경로를 매핑하고 인적 통제 지점을 설계해 심사해야 한다. 이는 입력 편향, 추론 붕괴, 출력 환각, 인지적 병목 등 실패 축에 맞춰 출처 기록, 중단 권한, 대조 검토와 기록 공개가 단계별로 작동할 때 성립한다.
5.1평균 정확도에서 실패 매트릭스로
판사의 인공지능 사용을 제도적으로 제한하고 설계할 때 성능 벤치마크가 아니라 실패 시나리오 매트릭스로 무엇을 검증해야 하는가. 중심 명제는 평균 정확도가 아니라 실패 유형별로 인권 침해 가능성과 절차 오류가 어떻게 전이되는지를 사전에 매핑한 뒤 각 유형에 인적 통제 지점을 설계해야 한다는 것이다. 판사가 참고하는 출력이 평균적으로 정확해도 한 건의 환각이 특정 당사자의 권리를 어떻게 침해하는지는 집계 지표가 보여주지 않는다. 사법 판단은 집단 평균이 아니라 개별 사건의 정의로움으로 심판되므로 검증 단위도 실패 사례 단위로 바뀌어야 한다.
5.2적법절차와 단계별 인적 통제 지점
연결 고리는 재판받을 권리와 재판의 공정성 원리이다. 헌법 제27조는 결과의 정확성만이 아니라 절차 자체의 정당성을 요구하므로, 환각이나 편향이 판결문의 어디에 스며드는지를 추적하지 않으면 적법절차는 선언에 그친다. 판례나 유권 해석은 확인되지 않은 사실이므로 확정 해석으로 제시하지 않는다. 실패 축의 분류는 설계 개념이다. 입력의 편향과 추론 사슬의 붕괴, 출력의 환각, 인간이 설득되는 인지적 병목은 서로 다른 개입 시점을 요구한다. 입력 단계에서는 참고 출처의 기록이, 추론 중간에서는 중단 권한이, 출력 이후에는 대조 검토와 기록 공개가 필요하다. 유럽연합 인공지능법 제14조는 이 원칙을 번역하는 근거로만 쓰며 사법부 적용 범위를 확정하지 않는다.
5.3반론: 과잉 설계 비판과 하한선
가장 강한 반론은 성능 지표가 무의미하다는 전제가 과장이며, 실제 제도화는 성능 기준과 인적 감독을 결합하는 방향으로 가능하므로 실패 매트릭스는 과잉 설계라는 것이다. 인정할 부분은 성능 지표가 초기 필터링의 한 근거로 기능할 수 있다는 점이다. 그러나 성능 지표는 개별 사건의 정의로움을 보증하지 않으므로 최종 설계 판단의 단위는 실패 시나리오별 피해 경로여야 한다. 본 설계는 성능을 배제하지 않고 하한선으로 재배치하며, 상한 판단은 실패 매트릭스가 담당한다. 민사 손해배상 사건의 환각 판례가 입력 여과와 추론 중단, 출력 대조의 실패를 거쳐 판결문에 이른다는 합성 사례는 매트릭스를 시험하는 도구일 뿐 실제 사건으로 전환하지 않는다.
5.4조건부 권고의 한계와 폐기 기준
미래 ASI 조건에서도 목록 자체보다 오래 남는 것은 통제 지점의 설계 논리다. 이를 관측으로 위장하지 않고 조건부 사고실험으로 명시한다. 한국 법원의 인공지능 사용 내규와 판결문 작성 관행, 기록 공개 제도는 확인되지 않은 사실이므로 매트릭스는 확정된 개혁안이 아니라 확인 이후 재평가될 조건부 권고로 남는다. 폐기 조건은 설계 스스로를 부정하는 경우에만 엄격하게 적용한다. 통제 지점이 실패 전이를 막지 못함이 반복 관측되고 대안이 이를 능가하면 매트릭스를 폐기하되, 실패가 관측되지 않은 침묵을 성공의 증거로 읽지도 않는다.