Summary
도입을 결정한 기관이 스스로 효과를 측정하면 유리한 해석만 남기 쉬우므로, 평가 결과는 평가자가 도입 주체와 갈라 설 때만 신뢰할 수 있다. 이는 비교 조건 설정·자료 접근·해석 확정 권한을 도입 주체와 분리하고, 사건 비밀을 보호하면서도 지표의 분모와 산출 기준을 차등 공개해 반박 경로를 열 때 성립한다.
7.1자기평가의 한계와 분리 필요성
도입을 결정한 기관이 그 효과를 스스로 측정하면, 좋은 수치는 확대의 근거가 되고 나쁜 수치는 측정의 한계로 흡수되기 쉽다. 이 편은 평가의 설계와 자료 접근, 해석이 도입 주체와 분리되어야 하며, 그 결과가 공개되어 다른 사람이 반박할 수 있어야 한다고 주장한다. 「Position Statement on the Judicial Use of Artificial Intelligence (AI)」의 세부 내용은 확인되지 않은 사실이나, 도입 주체의 책임이 자신이 만든 성과를 스스로 확인하는 일로 끝나면 안 된다는 점은 분명하다. 독립 평가와 결과 공개가 함께 있어야, 관측된 결과가 실제 도입 범위를 바꾸었는지 다른 사람도 확인할 수 있다.
7.2평가 권한 분리와 산출 기준 공개
독립성은 명칭이 아니라 권한의 배치로 확인한다. 누가 비교 조건을 정하고, 누구에게 자료가 열리며, 누가 해석을 확정하는지가 분리되지 않으면 외부 평가자라는 이름만으로 결과의 중립성이 보장되지 않는다. 「European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their Environment」의 투명성·감독 권고는 이 방향을 뒷받침하는 공개 자료이나, 평가 권한 분리의 세부 기준은 확인되지 않은 사실이다. 결과 공개의 범위는 사건의 비밀과 충돌할 수 있으므로 전면 공개를 전제하지 않는다. 그러나 어떤 지표가 어떤 범위에서 계산되었고 무엇이 집계에서 빠졌는지는, 확대의 근거로 쓰이는 한 공개되어야 한다. 공개된 부분과 비공개된 부분의 경계가 기록되지 않으면, 나중에 어떤 결론이 어떤 자료 위에 서 있었는지 확인할 길이 없다.
7.3반론: 보안 위협과 차등 공개
최강 반론은 외부 평가와 자료 공개가 사건의 비밀과 보안을 위협하고 검증 비용을 키워 도입 자체를 가로막는다는 것이다. 무차별적 원자료 공개가 비밀 보호와 충돌하고 외부 검증에 비용이 든다는 지적은 옳다. 답은 원자료의 전면 공개가 아니라 권한 분리와 산출 기준의 차등 공개다. 사건의 비밀과 보호 대상 자료는 가리되, 누가 어떤 분모와 제외 기준으로 지표를 계산했는지, 도입 주체로부터 독립하기 위한 조건은 무엇인지 공개한다. 요구하는 것은 모든 내부 자료의 노출이 아니라, 도입 주체가 유리한 해석만 확정하지 못하도록 검증 경로를 여는 일이다.
7.4독립성·공개 설계를 버릴 조건
이 명제는 두 경우에 버린다. 도입 주체와 분리된 평가가 이미 작동하고 그 결과가 다른 이의에서 실제로 인용되고 있다면, 별도의 독립성 설계를 더할 이유가 약해진다. 또는 공개된 항목이 당사자의 이의에 기여하지 못하고 형식적 요건만 남는다면, 공개 의무의 설계 기여는 약해진다. 다만 공개가 번거롭다는 사실만으로 분리를 포기하지는 않는다. 이 권의 성립 조건인 확대 전의 비교 조건과 실패 기준의 확정은 평가자가 누구인지, 그 결과가 누구에게 보이는지를 빼면 지켜지지 않는다.