요약
외부 벤더의 초지능 판결지원시스템은 단순 성능 수치가 아니라 재판관이 책임질 수 있는 상태를 기준으로 도입과 퇴출을 함께 통제해야 한다. 이는 기능 한정과 열람·협력을 심사하는 인가, 사건별 설명·오류 검증, 독립 주체의 상시 감사, 전제 붕괴 시 작동하는 퇴출이 상호 의존할 때 성립한다.
11.1벤더 시스템의 도입과 퇴출 기준
외부 벤더의 초지능 판결지원시스템에 의존하게 될 때 무엇을 근거로 법정에 들여놓고 무엇을 근거로 다시 내보낼 것인가. 이 편의 답은 성능이 아니라 재판관이 책임질 수 있는 상태를 기준으로 인가와 검증, 감사와 퇴출의 네 단계에서 통제해야 한다는 것이다. 성능 수치는 특정 평가셋과 기준에 대한 조건부 결과일 뿐, 어떤 사건에서도 재판관이 책임질 수 있음을 보장하지 않는다. 성능이 책임을 대신하게 되면 사법은 정확도에 매여 흔들린다. 이 물음이 해결되지 않으면 도입 판단이 성능 시험에서 도입으로 이어지는 단선적 논리에 머물고, 공급자가 자료와 도구와 업데이트를 지배한 채 법원은 그 공급자를 심리할 수 없는 상태가 된다. AI는 기능별 한정 사용과 오류 유형의 축적을 통해 책임질 수 있는 투입 범위를 넓힐 수 있다. 그러나 감사 가능성을 잃은 시스템은 아무리 우수해도 절차에 들어올 수 없다는 원칙이 함께 서야 한다.
11.2인가·검증·감사·퇴출의 상호 의존
이 명제가 성립하는 조건은 네 단계의 상호 의존에 있다. 인가는 성능 서열이 아니라 기능 한정, 학습자료 구성과 평가 방법의 열람 가능성, 오류 탐지와 회복 경로, 검증 정보 제공, 감사 협력 의무를 심사한다. 검증은 각 사건에서 기능 한정 기록과 입력 기록, 참고자료나 관행에 근거한 설명, 과거 오류 유형의 확인을 요구한다. 하나라도 확보할 수 없으면 사용을 중단하고 독자적 판단으로 돌아간다. 감사는 인가기관과 별도의 독립 주체가 정기 감사와 비정기 감사를 병행하는 방식으로 이루어진다. 입출력 기록과 협력 의무 이행 여부를 대상으로 하며, 의심을 제도화하기 위해 존재한다. 퇴출은 성능 하락뿐 아니라 인가 전제의 무효, 감사 협력 거부, 검증 가능성의 지속적 상실, 인가 범위 일탈을 사유로 삼으며 처벌이 아니라 조건의 종료이다. 인가가 검증의 정보 요건을 정하고, 검증이 감사의 대상을 만들며, 감사가 인가 전제의 존속을 확인하고, 퇴출이 셋 중 하나의 붕괴에 발동되므로 네 단계는 함께 설계되어야 한다.
11.3반론: 도입 지연과 대형 벤더 독점
가장 강한 반론은 네 단계가 민첩성을 떨어뜨리고 도입 비용을 가중하여 접근성을 악화시키며, 엄격한 인가가 소수 대형 벤더만 살아남게 해 종속을 키운다는 것이다. 신속성과 벤더의 생존 가능성을 희생시킬 수 있다는 지적은 타당하며, 시범 운영이나 한정 인가 같은 경유 경로의 필요성도 인정한다. 그러나 이 설계는 성능 하락이 아니라 인가 조건의 파괴를 퇴출 근거로 삼으므로 조건부 접근이 가능하며, 시범 인가를 인가 절차 내 선택지로 흡수할 수 있다. 무인가·무감사 상태의 도입이 장기적으로 사법 신뢰를 더 크게 훼손할 가능성이 높다는 점에서, 접근성 우려는 설계의 실패라기보다 사회적 합의 수준의 문제이다. 「유럽평의회 AI 프레임워크 협약」의 국내 구속력 여부는 확인되지 않은 사실로 두고 설계 원리의 참고점으로만 참조한다. 국내 현행 인가나 퇴출 제도의 부재를 단정하지 않고 설계되어야 할 항목으로 기술한다.
11.4통제 설계의 완화와 폐기 조건
이 설계안은 내부 추론이 원리적으로 설명 가능하다는 점이 실증되면 인가 요건을 완화할 근거를 갖게 된다. 이에 더해 성능 지표만으로 안전한 자동화가 가능하다는 점과 재판관 책임이 위임 아래에서도 실질적으로 유지된다는 점이 함께 확인되면 폐기된다. 국내 현행 법령이 유사한 인가 절차를 두고 있다고 주장하거나, 특정 설계가 재판 독립을 보장한다고 확정하지 않는다. 내부 추론의 설명 불가능성을 확정하거나 더 높은 정확도를 주장하지도 않으며, 성능 지표를 도입 판단에서 완전히 배제해야 한다는 주장도 하지 않는다. 합성 사례와 미래 조건을 관측과 구별하여 기술하는 규율을 지킨다.