요약
같은 시험 점수의 유지나 상승이 목표 기능의 달성을 자동으로 증명하지는 않으므로, 통과 점수가 보지 못하게 된 실패를 점검해야 한다. 이는 목표 기능이 다른데도 같은 점수를 받는 반례로 지표의 판정 범위를 확인하고, 기존 항목 밖의 실패 경험과 기준 변경 권한 및 전후 비교 책임을 연결할 때 성립한다.
11.1점수 연속성과 목표 기능의 괴리
같은 시험을 오래 유지하면 시점별 비교가 쉬워진다. 그러나 운영의 중요한 기능이 달라졌거나 애초에 측정하지 못한 실패가 드러났다면, 같은 점수의 의미를 다시 물어야 한다. 이 편의 중심 명제는 목표 기능이 다른 운영이 같은 점수를 받는 반례로 지표의 사용 범위를 점검하고, 항목 밖의 이의·변경 권한·전후 비교의 책임을 연결하는 것이다. 오래 사용했다는 사실이 평가 목적에 맞는다는 근거를 대신하지 못하며, 기준을 자주 바꾸는 일도 그 자체로 개선은 아니다. 이 편은 대한민국과 EU의 전환기 가상 환경에서 평가 기준 자체를 검토할 질문을 제안하는 규범적 논증이며, 실제 평가 체계가 낡았다는 관측이 아니다. 측정의 연속성이나 점수 상승이 목표 기능의 유지와 개선을 자동으로 증명하지 못하게 하는 것이 이 편의 목적이다.
11.2같은 점수, 다른 구제 경로
합성 사례의 두 운영은 이의를 접수하고 설명을 제공했다는 같은 기록을 남긴다. 한쪽에서는 이의가 결론을 바꿀 권한자에게 전달되고 다른 쪽에서는 전달이 끊긴다. 접수와 설명의 완료만 세는 평가는 두 운영을 같게 보지만, 목표가 잘못된 판단에 실질적으로 개입할 기회라면 중요한 차이가 남는다. 이는 접수 지표가 쓸모없다는 뜻이 아니다. 그 지표만으로 전체 구제 기능을 판정하는 충분조건이 실패한다는 뜻이며, 그 차이가 실제 운영에서 얼마나 자주 나타나는지는 별도 자료가 필요하다. 평가 하나에 사법의 모든 가치를 담으라고 요구하면 어떤 지표도 충분할 수 없다. 그러므로 그 점수로 무엇을 판정하겠다고 약속했는지 먼저 확인한다. 처음부터 한정한 범위를 넘는 결론이 붙었다면 측정 자체와 그 사용의 문제를 나누어 본다. 아울러 점수가 좋아졌을 때 어떤 기능이 실제로 나아졌는지 묻고, 중요한 기능을 바꾸었을 때 점수도 반응하는지 함께 묻는다. 이 두 물음을 통해 점수만 올리는 변화와 목적에 필요한데도 보이지 않는 변화를 구별한다.
11.3항목 밖 실패와 기준 변경 기록
운영 중 당사자가 겪은 실패가 기존 점수 항목에 없을 수 있다. 항목이 없다는 이유로 버리면 평가 체계는 자신의 빈칸을 발견하기 어렵다. L-REPAIR는 당사자의 경험이 단순 민원 기록을 넘어 평가의 범위와 운영의 수정을 검토하게 하는지를 묻는다. 모든 불만을 평가 결함으로 인정하자는 뜻은 아니며, 확인된 사실과 주장, 목표 기능에 미친 영향과 다른 원인을 나누어 검토한다. 평가 담당자는 계산 오류와 측정 방법을 고칠 수 있지만, 성과가 불리하다는 이유로 항목을 삭제하거나 문턱을 낮출 권한까지 가지지는 않는다. 수정이 점수의 의미와 운영 허용 범위를 바꾸면, 변경의 이유와 담당 권한, 영향을 받을 판단이 기록되어야 한다.
11.4전후 비교 조건과 반례의 한계
새 기준이 중요한 실패를 포착하더라도 과거 점수와 그대로 비교할 수 있다는 뜻은 아니다. 가능한 경우 같은 자료에 두 기준을 적용해 어떤 차이가 기준 변경에서 생겼는지 살핀다. 공통 비교의 근거가 없으면 변경 전후의 점수를 하나의 연속된 성과로 제시하지 않는다. 최강 반론은 모든 미측정 가치를 결함으로 부르면 기준을 끝없이 바꾸어 비교와 운영이 불가능해진다는 것이다. 목적 밖의 한계가 곧 결함은 아니며 연속성에도 가치가 있다는 점은 인정한다. 답은 약속된 판단 범위에 반례를 한정하고 이전 기준과 새 기준의 의미를 함께 보존하는 것이다. 전제 반례 모형은 목표 기능의 차이에도 점수가 같다는 반례로 사용 범위를 검사한다. 다만 반례가 원래 목적 밖의 일을 요구했다면 결함이라는 주장을 철회하고, 기존 평가가 그 실패를 다른 항목에서 반영한다면 빈칸이라는 진단을 고친다. 이 권의 문헌 풀은 이 논의를 확인할 자료일 뿐 현장 성능의 증거가 아니다.