요약
법적 판단의 분류가 같은 기준으로 다시 나와야 한다는 요청이 어디에서 오는지를 묻는다. 자유심증주의의 근거 기록과 정기통계품질진단·자체통계품질진단의 틀을 차례로 확인하고, 두 요청이 만나는 지점을 찾는다. 그 지점에 일치도 측정이 놓이는 자리를 정하며, 카파의 정의와 계산 절차는 뒤 장에 두고 법원이 세운 심리 기준은 그 뒤의 장에 남긴다.
2.1재현성 요청의 출발점
35건의 일치가 허용하는 안심에서 멈추면, 남는 것은 이 분류가 같은 기준으로 다시 나올 수 있는가라는 물음이다. 두 판정자가 50건의 판결을 규칙형과 형량형으로 나눈 뒤 35건에서 같은 답을 고른 사실은 확인되었다. 그러나 이 숫자는 무엇이 같아야 하는지, 그리고 무엇을 두고 같다고 하는지를 스스로 밝히지 않는다. 재현성 요청은 여기서 출발한다.
먼저 가려야 할 것은 이 요청이 겨냥하는 대상이다. 재현성이 요구하는 것은 판정 결과의 숫자가 아니라, 같은 자료를 같은 기준에 따라 다시 분류했을 때 같은 분류가 나오는 상태이다. 따라서 판정자 훈련 여부나 어긋난 15건의 항목 내역과 그 사유는 이 물음에 답하는 데 필요한 사실이다. 그런데 이 항목들은 미정으로 남아 있다. 이 사실들이 채워지기 전에는, 35건의 일치가 기준의 일치에서 나온 것인지 우연히 겹친 것인지를 구별할 수 없다.
이 구별은 왜 필요한가. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 두 말이 겨냥하는 것이 다르다. 앞의 말은 결과의 비율을 기준으로 삼고, 뒤의 말은 그 비율이 어떤 과정에서 나왔는지를 묻는다. 재현성 요청은 후자의 물음에 속한다. 같은 기준이 실제로 적용되었는지, 아니면 우연히 같은 답이 나왔는지를 따지는 것이다.
그렇다면 판단이 같은 기준으로 다시 나와야 한다는 요청은 어디에서 비롯하는가. 민사소송법 제202조는 사실 판단의 자리를 이렇게 정한다. 「법원은 변론 전체의 취지와 증거조사의 결과를 참작하여 자유로운 심증으로 사회정의와 형평의 이념에 입각하여 논리와 경험의 법칙에 따라 사실주장이 진실한지 아닌지를 판단한다.」(민사소송법 제202조) 이 조문은 심증이 자유롭게 서는 자리를 변론 전체의 취지와 증거조사의 결과로 지정한다. 판단이 그 자리에 서 있는 한, 그 판단이 어떤 자료에 어떤 법칙을 적용하여 나왔는지는 드러난 자리에서 확인할 수 있다.
이 사례에서 분류는 판정자가 규칙형과 형량형의 기준에 따라 내린 판단이다. 이 판단이 재현되려면, 같은 판결 50건이 같은 분류 기준에 다시 놓였을 때 같은 분류가 나와야 한다. 그런데 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 모두 미정이다. 이 항목들이 미정인 한, 35건의 일치가 같은 기준의 적용에서 나온 것인지 말할 수 없다.
재현성 요청의 출발점은 이 지점이다. 이 요청은 35건이라는 숫자를 다시 세는 일이 아니다. 이 분류가 어떤 기준에 따라 어떤 자료에 적용되어 나왔는지를 묻는 일이다. 미정으로 남은 사실을 채워 넣지 않고 이 물음을 세우는 것이, 재현성을 논의하는 첫걸음이다.
2.2자유심증주의의 근거 기록
같은 분류가 다시 나와야 한다는 요청이 다루는 대상이 무엇인지를 세운 뒤에, 이제 그 판단이 놓이는 자리를 살펴보아야 한다. 판정자가 규칙형과 형량형을 나누어 고른 데에는 판단의 근거가 있었고, 그 근거가 어디에 두어지는지가 다음 질문이다. 민사소송법 제202조는 법원이 사실주장을 판단할 때 무엇을 참작하는지를 밝히고 있다.
민사소송법 제202조 자유심증주의는 판단의 출처를 다음과 같이 적는다. "법원은 변론 전체의 취지와 증거조사의 결과를 참작하여 자유로운 심증으로 사회정의와 형평의 이념에 입각하여 논리와 경험의 법칙에 따라 사실주장이 진실한지 아닌지를 판단한다." (민사소송법 제202조) 이 문장은 법원의 심증이 둘 자리로 변론 전체의 취지와 증거조사의 결과를 가리키고, 그 심증이 나아갈 방향으로 사회정의와 형평의 이념을, 그리고 판단이 따를 규범으로 논리와 경험의 법칙을 둔다.
그리하여 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 모두 판단이 놓일 자리와 관련한 사실이며, 이는 미정으로 남아 있다. 이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다.
다시 한 번 짚을 것은, 위 조문에 심리 기준이나 요건이 새로 붙는 것이 아니라는 점이다. 판정자 간 일치를 묻는 이 사례에서, 판정의 근거가 무엇이었는지가 기록되는 자리는 변론 전체의 취지와 증거조사의 결과가 놓이는 바로 그 자리이다. 분류가 같은 기준으로 다시 나와야 한다는 요청은, 사실주장이 진실한지 아닌지를 판단할 때 논리와 경험의 법칙에 따라야 한다는 이 문장에서부터 뻗어 나온다.
분류 50건 가운데 35건에서 두 판정자가 같은 분류를 고른 사실, 그리고 책임자와 통계 담당자가 그 35/50을 서로 다르게 읽은 사실이 이 사례에서 확인된다. 이 사례는 재현성의 측정을 다루며, 확정 손해·고의 같은 법적 평가를 다루지 않는다.
이렇게 판단 근거가 기록되는 자리를 확인한 뒤에, 재현성의 요청은 기록의 품질을 다시 확인하는 방향으로 나아간다.
2.3정기통계품질진단의 틀
판단이 같은 기준에서 다시 나와야 한다는 요청이 법관의 심증이 둘 자료에 대한 기록에서 비롯함을 살핀 뒤에, 통계를 만드는 쪽에서는 그 기록의 품질을 어느 자리에서 되돌아보는지가 문제로 남는다. 통계법은 국가데이터처장이 일정한 통계에 대하여 정기적으로 품질을 진단하도록 자리를 마련한다. 이 자리가 무엇을 어느 범위에서 다루는지는 조문이 둔 문구에서 확인하여야 한다.
통계법 제9조 제1항은 정기통계품질진단의 대상과 범위를 이렇게 정한다. "국가데이터처장은 정부의 각종 정책 수립·평가 또는 다른 통계의 작성 등에 널리 활용되는 통계로서 대통령령으로 정하는 주요 통계의 작성 및 보급의 제반과정에 대하여 10년의 범위 안에서 주기적으로 통계품질진단(이하 “정기통계품질진단”이라 한다)을 실시하여야 한다." 이 문구는 진단이 통계의 작성 및 보급에 관한 제반과정을 대상으로 삼는다는 점을 분명히 한다. 다만 어느 통계가 주요 통계에 드는지는 대통령령이 정하도록 위임되어 있으므로, 조문만으로 대상 통계의 목록을 적을 수는 없다. 진단은 10년의 범위 안에서 주기적으로 열리며, 매번 같은 간격을 전제하는 문구는 아니다.
진단은 사전에 계획을 세워 알리는 방식으로 시작된다. 같은 조 제2항은 "국가데이터처장은 다음 각 호의 사항이 포함된 정기통계품질진단계획을 수립하여 정기통계품질진단을 실시하는 해의 2월 말일까지 통계작성기관의 장에게 통보하여야 한다."고 정하고, 그 항목을 "정기통계품질진단의 대상 통계", "정기통계품질진단의 시기 및 방법", "정기통계품질진단 결과의 활용계획", "그 밖에 정기통계품질진단의 실시에 관하여 필요한 사항"으로 든다. 이 넷은 계획에 담길 사항의 뼈대일 뿐, 진단 항목의 목록을 이루지 않는다. 분류 기준서의 문안이 진단 계획의 어느 항목에 놓일지는 미정이다.
진단이 실제로 이루어지는 방식은 조문이 열거한다. 제9조 제3항은 "정기통계품질진단은 제35조에 따른 자료제출요구, 통계작성기관에 대한 방문 확인, 통계응답자에 대한 현지 확인 등의 방법으로 실시한다."고 정한다. 자료제출요구, 방문 확인, 현지 확인의 세 가지가 적혀 있고, 그 뒤에 "등의 방법"이 붙어 있으므로 열거된 셋이 전부라고 보기는 어렵다. 그래도 이 조문은 진단 항목을 규정하지 않으므로, 규칙형과 형량형을 나누는 분류 기준이 여기에서 직접 도출되지는 않는다.
진단이 다루지 않고 지나가는 자리도 정해져 있다. 같은 조 제4항은 "국가데이터처장은 제10조에 따른 수시통계품질진단을 실시 중이거나 대통령령으로 정하는 기간 내에 실시하였던 통계와 제11조에 따른 자체통계품질진단을 한 통계 중 그 품질이 우수하다고 판단되는 통계에 대하여는 정기통계품질진단을 면제할 수 있다."고 정한다. 면제는 가능할 뿐이며, 품질이 우수하다는 판단이 전제로 붙는다. 이 판단의 기준은 이 조문에서 정해져 있지 않다. 제9조 제6항은 "정기통계품질진단계획의 수립, 정기통계품질진단의 주기, 방법 및 절차 등에 관하여 필요한 사항은 대통령령으로 정한다."고 하여, 계획의 수립과 주기, 방법, 절차의 세부를 하위 법령에 맡긴다. 따라서 이 조문으로 확인되는 것은 진단이 계획을 세워 주기적으로 열리고, 그 대상이 작성 및 보급의 제반과정이며, 일부 통계는 면제될 수 있다는 사실이다.
두 판정자가 50건의 판결에서 판단 기준의 형태를 규칙형과 형량형으로 나누어 분류한 뒤 35건에서 같은 분류를 고른 장면은, 이 조문이 마련한 틀에 놓고 보면 어느 통계의 제반과정 가운데 한 부분에 해당하는지 가늠해야 할 문제다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정이다. 그 사실들이 확인되지 않았으므로, 이 관찰이 정기통계품질진단이 다루는 제반과정의 어느 층위에 들지는 단정할 수 없다. 다만 관찰된 35건의 일치가 어떤 기준에서 다시 나올 수 있는지 되묻는 자리는, 조문이 정한 주기적 진단의 틀과 방향을 함께 한다.
2.4자체통계품질진단의 틀
정기 진단의 자리를 확인한 데에서 나아가, 스스로 만든 기록을 스스로 되돌아보는 요청이 어디에 놓이는지를 살핀다. 통계법 제11조는 이 요청의 주체와 시한을 정하고 있다. 통계작성기관의 장이 그 통계를 만든 기관으로서 직접 점검에 나서는 자리가 이 조문이다.
그 요청은 매년을 기준으로 한다. 통계법 제11조 제1항은 "통계작성기관의 장은 소관 통계에 관하여 매년 통계품질진단(이하 “자체통계품질진단”이라 한다)을 실시하여야 한다. 다만, 작성주기가 1년을 초과하는 통계의 경우에는 그 통계를 작성하는 해 또는 그 다음 해에 실시할 수 있다."라고 정한다(통계법 제11조). 매해가 원칙이고, 작성주기가 긴 통계에는 그 작성 해나 다음 해로 미룰 여지를 둔다. 이 사례에서 두 판정자가 해낸 50건 분류는 한 해에 만들어진 기록이다.
정기 진단이나 수시 진단을 이미 받은 해에는 자체 점검을 반복하지 않아도 된다. 통계법 제11조 제2항은 "통계작성기관의 장은 소관 통계에 대하여 정기통계품질진단 또는 수시통계품질진단을 받은 때에는 그 연도의 자체통계품질진단을 실시하지 아니할 수 있다."라고 정한다. 이 사례에 대입하면, 같은 해에 정기 진단이 있었다면 자체 점검을 거듭하지 않는 길이 열린다. 다만 어느 진단이 이 분류 기록에 실제로 적용되는지는 정해지지 않았다.
점검을 마치면 결과를 내놓아야 한다. 통계법 제11조 제3항은 "통계작성기관의 장은 자체통계품질진단을 실시한 해의 12월 31일까지 그 결과를 국가데이터처장에게 제출하여야 한다. <개정 2025. 10. 1.>"라고 정하고(통계법 제11조), 동조 제4항은 "자체통계품질진단의 방법 및 절차 등에 관하여 필요한 사항은 대통령령으로 정한다."라고 정한다(통계법 제11조). 제출의 마감은 그 해의 끝이다. 방법과 절차의 자세한 내용은 이 조문에 담겨 있지 않다.
이 조문은 품질진단을 실시할 주체, 시기, 결과 제출을 정할 뿐이다. 판정 분류의 기준서 문안, 두 판정자의 훈련 여부, 분류 비율, 어긋난 15건의 내역과 그 사유는 아직 정해지지 않았고, 이 조문이 그 항목들을 채워 주지도 않는다. 제11조는 스스로 만든 기록을 그 작성 기관이 돌이켜 보도록 하는 자리를 마련한다. 35건에서 두 판정자의 분류가 같았다는 관찰을 스스로 점검하는 일은 바로 그 자리에 놓인다.
2.5두 요청이 만나는 지점
판단의 근거를 기록에 남기라는 요청과 만든 기록을 스스로 점검하라는 요청은 서로 떨어져 있지 않다. 이 두 요청이 맞닿는 자리에서 분류의 일치도를 재는 일이 시작된다. 다시 나와야 하는 것은 무엇이고, 그 결과를 어디에 남겨 두어야 하는지를 함께 묻지 않으면 일치도 숫자만 남고 근거가 빠진다.
판단이 자유심증에 따라 내려진다고 하여 그 근거가 기록을 떠나 있는 것은 아니다. 민사소송법 제202조는 자유심증주의를 두면서 법원이 무엇을 어떻게 참작하여야 하는지를 밝히고 있다. "법원은 변론 전체의 취지와 증거조사의 결과를 참작하여 자유로운 심증으로 사회정의와 형평의 이념에 입각하여 논리와 경험의 법칙에 따라 사실주장이 진실한지 아닌지를 판단한다." (민사소송법 제202조) 이 조문이 참작의 재료로 적은 변론 전체의 취지와 증거조사의 결과는 판단이 놓이는 바탕이며, 그 판단이 논리와 경험의 법칙에 맞는지 되돌아볼 때도 같은 바탕이 쓰인다. 이 사건에서 두 판정자가 50건의 판단 기준의 형태를 규칙형과 형량형으로 나눈 뒤 35건에서 같은 분류를 고른 것도, 각 판정이 어떤 재료와 법칙 위에서 나왔는지를 되물을 자리를 만든다.
기록을 다시 들여다보는 요청은 통계의 영역에서 보다 분명한 모양을 띤다. 통계법 제11조는 통계작성기관의 장에게 소관 통계에 관한 품질을 스스로 점검할 것을 요구하면서, 그 결과를 담은 것을 정해진 시기에 내놓도록 한다. "통계작성기관의 장은 소관 통계에 관하여 매년 통계품질진단(이하 "자체통계품질진단"이라 한다)을 실시하여야 한다. 다만, 작성주기가 1년을 초과하는 통계의 경우에는 그 통계를 작성하는 해 또는 그 다음 해에 실시할 수 있다." (통계법 제11조) 이와 같은 요구는 만든 것을 한 번 들여다보는 데서 그치지 않고, 그 결과를 남기는 의무로 이어진다. 같은 조문은 "통계작성기관의 장은 자체통계품질진단을 실시한 해의 12월 31일까지 그 결과를 국가데이터처장에게 제출하여야 한다." (통계법 제11조) 이 사건에서 분류 기록이 다시 들여다볼 수 있는 모양으로 남아 있는지가 일치도 측정의 전제로 놓인다.
이 점검이 일정한 절차와 계획 위에서 이루어지는 것도 함께 보아야 한다. 통계법 제9조는 정기통계품질진단의 대상과 시기, 방법, 활용계획을 담은 계획을 먼저 통보하고, 그 결과를 관계 통계작성기관의 장에게 되돌려 보내도록 두고 있다. "국가데이터처장은 정기통계품질진단을 완료한 때에는 그 결과를 지체 없이 관계 통계작성기관의 장에게 통보하여야 한다." (통계법 제9조) 이 통보가 있어야 점검을 한 쪽과 점검을 받은 쪽이 같은 기록을 기준으로 삼을 수 있다. 이 사건에서 책임자가 35건의 일치를 충분하다고 본 근거와, 통계 담당자가 우연히 같았을 몫을 지적한 근거가 같은 기록에 대해 서로 맞닿는지도 같은 물음 안에 들어온다.
두 요청이 만나는 지점에서 확인할 것은, 분류의 일치를 재는 일이 판단의 자유를 제한하는 자리가 아니라 판단이 기록 위에서 다시 이루어질 수 있게 하는 자리에 놓여 있다는 사실이다. 이 사건에서 확인된 35건의 일치와 15건의 불일치는 재현성 측정의 출발점으로만 놓이며, 그 자체로 확정 손해나 고의 같은 법적 평가를 뜻하지 않는다. 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 미정으로 남는다.
2.6일치도 측정이 놓이는 자리
두 요청이 만나는 지점에서 분류의 일치도를 재는 일이 요청 위에 놓임이 확인된 바, 이제 남은 것은 이 측정이 재현성 요청 안에서 어디에 놓이는지를 밝히는 일이다. 앞서 본 바와 같이 두 판정자가 판결 50건의 '판단 기준의 형태'를 규칙형과 형량형으로 나누어 분류하고 35건에서 같은 분류를 고른 사실이 확인되었다. 이 사실이 어떤 뜻을 갖는지 읽기 전에, 재현성이 요구하는 자리를 법의 언어에서 다시 확인해 둘 필요가 있다.
사실 인정의 틀을 규정한 민사소송법 제202조는 자유심증주의에서 "법원은 변론 전체의 취지와 증거조사의 결과를 참작하여 자유로운 심증으로 사회정의와 형평의 이념에 입각하여 논리와 경험의 법칙에 따라 사실주장이 진실한지 아닌지를 판단한다."고 선언한다. 이 조문은 판단의 준거를 논리와 경험의 법칙에 두면서도, 판단의 결과를 자유로운 심증에 맡긴다. 자유심증 아래에서 재현성의 요청은 같은 판단이 반드시 반복되어야 한다는 뜻이 아니라, 판단이 논리와 경험의 법칙에 비추어 설명될 수 있어야 한다는 방향으로 놓인다. 두 판정자의 분류가 같은지를 재는 일은 이 방향에서 판단의 준거가 실제로 두 사람에게 같은 모양으로 작동했는지를 들여다보는 작업이다.
절차의 측면에서는 통계법 제9조가 정기통계품질진단에서 "정기통계품질진단은 제35조에 따른 자료제출요구, 통계작성기관에 대한 방문 확인, 통계응답자에 대한 현지 확인 등의 방법으로 실시한다."고 정한다. 이 조항은 품질진단이 서류만의 대조가 아니라 자료의 제출과 방문 확인, 현지 확인을 거치는 절차임을 보여 준다. 같은 취지에서 일치도 측정도 두 판정자의 기록만이 아니라 분류 기준서의 문안과 개정 이력, 훈련 여부, 판정자별 분류 비율 같은 근거를 함께 확인하는 절차 위에 서야 한다. 다만 이 사건에서 분류 기준서의 문안과 개정 이력, 두 판정자의 훈련 여부, 판정자별 분류 비율, 어긋난 15건의 항목 내역과 그 사유는 …은 미정이다.
측정의 자리는 이처럼 두 갈래로 갈린다. 한편으로 자유심증주의 아래 판단의 준거가 설명 가능해야 한다는 요청이 있고, 다른 한편으로 품질진단이 확인 절차를 요구한다는 요청이 있다. 일치도 측정은 두 요청이 만나는 지점에 놓여, 35/50이라는 관찰이 판단의 준거가 실제로 어떻게 작동했는지를 보여 주는 재료가 된다. 책임자는 35/50이면 충분하다고 보았고, 통계 담당자는 아무 관계 없이 골라도 일정 몫은 우연히 같았을 것이라고 답하였다. 이 둘 사이의 격차가 무엇을 뜻하는지는 이 관찰만으로는 정해지지 않는다.
이 관찰된 사실들은 재현성 측정의 출발점일 뿐이며, 확정 손해·고의 같은 법적 평가가 아니다. 따라서 35/50이 충분하다는 결론이나 심리 기준을 세우는 판단은 이 자리에서 내려지지 않는다. 일치도 측정은 자유심증 아래의 판단이 설명 가능한지를 묻는 자리에 놓이고, 그 측정이 낸 수치는 판단의 준거를 검토하기 위한 재료로서만 기능한다. 그 수치가 무엇을 나타내는지를 읽는 일은 남는 과제로 남는다.