요약
대조 결과를 어떻게 나누어 세어야 하는지를 묻는다. 일치·불일치·미확인의 세 갈래 판정을 정의하고, 일치 판정의 대조 기준과 불일치로 세는 경우를 나눈다. 미확인을 오류로 세지 않는 까닭을 자료의 단서로 설명하며, 미확인 항목을 사람이 다른 경로로 확인하는 절차의 운영 원칙을 정리한다.
12.1세 갈래 판정의 나눔
재확인 주체와 시기를 남은 물음으로 넘긴 자리에서, 이제 대조 결과를 어떻게 셀지가 문제로 남는다. 원고에서 확인된 것과 확인되지 않은 것을 나란히 두고 하나의 값으로만 표시하면, 확인되지 않은 항목이 확인된 항목에 묻힌다. 그러므로 판정은 세 갈래로 나누어 읽는다.
먼저, 확인의 출발은 권위 있는 원문에 대한 직접 대조에 둔다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 그 이유를 이렇게 밝힌다. "Judges must always read the underlying documents." 이 문장은 인용의 겉모양만으로 그 출처를 인정할 수 없음을 뜻한다.
같은 지침은 대조 대상의 성질을 한정한다. "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date." 인용이 보이는 자리와 원문이 실제 내용을 가진 자리는 구분되어야 한다.
이 사례에서 편집자는 표본 50개를 골라 모두 맞음을 확인하고 책을 냈다. 그러나 독자가 알려 온 인용 하나는 그 표본에 들지 않았다. 따라서 그 항목이 어디에 놓이는지는 표본의 확인 사실만으로 정해지지 않는다.
대조의 결과는 세 갈래로 나눈다. 원문이 인용과 같다는 것이 확인되면 일치로 판정한다. 원문이 인용과 다르다는 것이 확인되면 불일치로 판정한다. 원문이 아직 대조되지 않았거나 대조되었으나 가리키는 자료가 확인되지 않았다면 미확인으로 판정한다.
세 갈래의 판정 대상은 각각 다르다. 일치 판정은 권위 있는 법률 원문과 인용문이 사실상 같은 내용인지에 관해 내린다. 불일치 판정은 그 차이가 원문상의 차이인지에 관해 내린다. 미확인 판정은 확인이 끝나지 않았다는 상태만을 가리키며, 인용의 진위를 말하지 않는다.
확인되지 않은 항목을 일치나 불일치로 올리면, 원문에서 확인된 사실과 아직 확인되지 않은 사실이 한 자리에 섞인다. 대법원 법원행정처, 「사법정보공개포털 '허위 사건번호 확인' 서비스 제공 알림」, 2026-02-19, 2쪽, 4. 서비스 내용 (PDF 2쪽)은 확인의 절차를 이렇게 나누어 둔다. "사용자는 사건번호를 입력하여 해당 사건번호가 실제로 존재하는지 확 인할 수 있도록 하고, 사건번호가 존재하는 경우 해당 판결의 내용을 구체적으로 확인하도록 안내함에 따라, 허위 사건 인용을 어느 정도 예 방할 수 있을 것으로 기대함" 사건이 실제로 존재하는지 확인하는 단계와, 그 사건의 판결 내용을 확인하는 단계는 분리되어 있다.
이 사례에서 독자가 지적한 인용은 선고일이 하루 틀렸다는 점이다. 그 인용이 어떤 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낼 것인지는 미정이다. 미확인 갈래에는 이렇게 확인이 끝나지 않은 항목이 놓인다. 선고일의 차이가 원문상의 차이인지, 필기의 결과인지는 이 자리에서 정해지지 않는다.
12.2일치 판정의 대조 기준
세 갈래로 갈랐다면 이제 각 갈래의 문턱을 세워야 한다. 일치는 아무 인용에나 주는 이름이 아니다. 무엇을 대조하여 무엇을 확인했을 때 인용을 일치로 넘길 것인지가 우선 문제이다.
대조의 기준을 말하는 자료로 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)을 들 수 있다. 그 지침은 인용이 권위 있는 원문에서 확인되었을 때만 의존할 수 있다고 말한다. 같은 지침 III절은 확인이 사용에 선행함을 다음과 같이 밝힌다. "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon." 이 문장은 확인이 사용에 앞서야 한다는 점을 분명히 한다. 대조를 뒤로 미룬 채 인용을 실은 것은 일치로 셀 수 없다.
같은 지침 V절은 누가 그 책임을 지는지도 밝힌다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 책임의 소재를 이렇게 적는다. "Judicial office holders are personally responsible for material which is produced in their name." 이 책임이 자료의 인용을 다루는 사람에게도 함께 놓인다. 확인을 대신해 줄 중간 기계가 있다는 뜻은 아니다.
원문을 직접 읽어야 한다는 점은 더욱 분명하다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 직접 읽는 요구를 아래와 같이 둔다. "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 이에 따르면 대조란 서지 항목이 비슷하게 생겼는지를 살피는 일이 아니다. 아래 원문을 펼쳐 그 자리에서 읽고 문장이 같은지를 묻는 일이다.
어디와 맞출지도 지침이 가리킨다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 대조 상대를 이렇게 특정한다. "final material should always be checked against maintained authoritative legal sources." 이 문장은 대조 상대로서 유지되는 권위 있는 법률 원전을 요구한다. 인용 자체를 옮겨 적은 메모나 요약본은 그 상대가 되지 못한다.
여기까지를 이 사례에 적용하면, 표본 50개를 맞음으로 확인한 것은 그 50개가 원문에서 읽혔다는 뜻이다. 표본 밖의 선고일 인용은 그 자리에서 읽힌 적이 없다. 그 인용이 가리키는 자료가 무엇이며 원문 기록에서 무엇이 확인되는지는 미정이다. 모양이 그럴 듯하다는 까닭만으로 일치에 넣는 것은 이 문턱을 넘지 못한 채 판정을 내리는 일이 된다. 확인되지 않은 항목은 미확인의 자리에 남는다.
12.3불일치로 세는 경우
권위 있는 원문과 대조한 결과가 확인된 항목을 일치로 옮겼다면, 이제 남는 쪽은 대조 결과가 어긋난 항목이다. 이 경우에 무엇을 불일치로 셀지가 문제이다. 사법부 지침은 인용의 형태를 취한 것이라도 가짜일 수 있음을 먼저 경고한다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 환각의 한 유형을 "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist"로 적는다. 인용 대상으로 적힌 사건, 조문, 문헌이 존재하지 않으면 그 인용은 권위 있는 원문과 맞힐 대상조차 없는 것이다. 이 경우에 대조를 시도할 필요 없이 불일치로 판정한다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 환각의 다른 유형을 "provide incorrect or misleading information regarding the law or how it might apply, and"로 들고, 이어서 "make factual errors."로 적는다. 존재하는 원문을 가리키면서도 그 내용을 잘못 옮기거나 적용을 어긋나게 서술한 경우도 불일치에 든다. 원문을 고쳐 읽은 결과가 법리를 잘못된 것으로 만들거나 사실 관계를 틀리게 적었으면, 인용의 형식이 제대로 갖추어져 있어도 어긋난 것으로 본다.
이 판정 기준은 합성 사례에 그대로 적용된다. 표본 50개 바깥에 있는 인용 하나에서 선고일이 하루 틀렸다는 것이 확인되었고, 판례 선고일은 원문과 비교하여 확인할 수 있는 사실 관계이다. 지침 III절의 "make factual errors."에 해당하는 오류이므로 그 인용은 불일치로 센다. 다만 그 인용이 어떤 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낼 것인지는 미정으로 남는다.
한편 지침은 인용을 직접 대조하지 않은 채 환각으로 단정하지 말 것도 함께 말한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon."라고 적는다. 확인은 사용이나 신뢰에 앞서 거쳐야 할 절차이지, 확인하지 않은 항목을 추정으로 오류에 합산하라는 뜻은 아니다. 원문을 들이대지 않은 채 인용의 모양이 이상하다는 이유만으로 불일치에 넣으면, 확인을 요구한 지침의 취지를 거꾸로 적용하는 결과가 된다.
따라서 불일치로 세는 경우는 원문과 대조한 결과 허구의 사건·인용·법령이거나, 법률을 오해한 서술이거나, 사실을 잘못 적은 것이 드러난 경우로 한정한다. 대조가 이루어지지 않은 항목은 이 범위에 넣지 않고 미확인으로 남긴다. 이 판정은 확인된 오류의 집계에 관한 것이며, 확정 손해나 고의 같은 법적 평가를 전제하지 않는다.
12.4미확인을 오류로 세지 않음
앞 절에서 불일치로 세는 조건을 정한 데 이어, 이번에는 확인에 이르지 못한 항목을 어디에 둘지가 문제이다. 대조에 든 자료가 어느 한쪽의 문장을 확인해 주지 못하는 경우를 오류 수에 섞어 넣으면, 검증 결과가 사실과 어긋난 채로 굳어진다.
먼저 사건번호의 존재 여부만으로 인용의 옳고 그름을 가릴 수는 없다는 점을 적시할 필요가 있다. 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 2쪽, 4. 서비스 내용 (PDF 2쪽)의 안내는 사건번호 확인의 한계를 다음과 같이 밝힌다. "사용자는 사건번호를 입력하여 해당 사건번호가 실제로 존재하는지 확 인할 수 있도록 하고, 사건번호가 존재하는 경우 해당 판결의 내용을 구체적으로 확인하도록 안내함에 따라, 허위 사건 인용을 어느 정도 예 방할 수 있을 것으로 기대함". 이에 따르면 사건번호가 존재한다고 확인되는 순간에 할 일은 끝나는 것이 아니라, 그 판결의 내용을 따로 들여다보는 것으로 이어진다. 따라서 사건번호의 존재만으로 인용 문장이 옮고 쟁점과 결론이 맞는 것으로 간주할 수 없으며, 그 판단에는 판결 내용에 관한 확인이 별도로 요구된다.
확인에 이르지 못한 경우를 오류로 단정하지 않는 까닭은 오류의 낱말이 가리키는 범위와도 맞닿아 있다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 지침이 AI 도구가 빚어낼 수 있는 허위를 아래와 같이 적시한다. AI 도구가 "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist"라고 하였다. 여기서 주목할 점은 허위의 판단에 원문 확인이 끼어 있다는 것이다. 인용이 지어낸 것인지 아닌지는 자료의 내용을 들여다보아야 드러난다. 대조가 끝까지 이르지 못한 항목은 원문이 무엇을 말하는지가 아직 열리지 않은 상태에 남는다. 그 상태를 오류라는 이름으로 미리 옮겨 놓으면, 확인되지 않은 사실을 확인된 사실과 나란히 두는 결과가 된다.
확인이 끝나지 않았다는 사정은 한편으로 확인 가능성이 남아 있다는 뜻이기도 하다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 지침은 검토 방법으로 아래와 같이 말한다. "Legal research: AI tools are a poor way of conducting research to find new information you cannot verify independently". 독립적으로 확인할 수 없는 정보를 다루는 상황에서, 확인이 끝나지 않은 항목은 확인 가능성이 닫힌 항목과 구별된다. 판정표에서 미확인을 따로 두는 것은 이 구별을 그대로 남기는 조치이다. 확인에 이르지 못한 항목은 오류 수에 넣지 않고 별도의 자리에 둠으로써, 뒤에 확인이 진행될 때 판정을 다시 바꿀 여지를 남긴다.
한편 확인과 무관한 허위의 가능성은 지나치게 넓게 잡히지 않아야 한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 지침은 AI 도구가 빚어낼 수 있는 결과를 아래와 같이 나눈다. AI 도구가 "provide incorrect or misleading information regarding the law or how it might apply"라고 하였다. 이 구절이 가리키는 오류의 양상은 법률에 관한 것이거나 법률의 적용에 관한 것이다. 앞서 본 사건번호의 존재 여부와는 다른 차원의 확인을 요구한다. 사건번호가 실재한다고 해서 법률 인식이 옳은지, 사실 인정이 맞는지까지 함께 확인되는 것은 아니다.
따라서 미확인 항목은 오류에 섞지 않고 별도로 둔다. 오류의 수는 대조로 드러난 것만을 세며, 확인에 이르지 못한 항목은 그 자체로 오류의 증거가 되지 않는다. 이 구분을 지키는 한, 대조 결과의 표는 확인된 불일치와 아직 열리지 않은 항목을 나란히 놓지 않고 각자의 자리에 둔다. 이로써 판정은 일치·불일치·미확인의 세 갈래로 정리된다.
12.5사람이 확인하는 절차
확인에 이르지 못한 항목을 미확인으로 남겨 두었으므로, 이제 그 항목을 사람이 직접 확인할 때 어떤 절차를 따르는지를 살핀다. 기계 대조로 끝난 것으로 보이는 범위까지 확인한 것으로 세지 않기 위해, 사람이 원문을 읽는 방식과 확인의 한계를 함께 적는다.
사람이 확인할 때의 기준은 영국 법원·심판소 사법부의 안내에서 온다. 그 안내는 AI 도구가 준 정보를 쓰기 전에 정확성을 확인해야 한다고 하면서, 확인할 책임이 누구에게 있는지도 분명히 한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, V절은 "Judicial office holders are personally responsible for material which is produced in their name."라고 선언한 뒤, "Judges must always read the underlying documents."라고 못 박는다. 인용을 다룬 글이라도 그 인용이 옮겨 나온 원문을 사람이 읽는 일에서 벗어나지 않는다는 뜻이다.
같은 안내는 어떤 글이든 그대로 믿을 수 없다는 점을 이유와 함께 둔다. 같은 자료 III절의 "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date."라는 대목은 인용 하나가 틀리는 방식이 날짜 한 치, 판시 한 줄일 수 있음을 가리킨다. 허위 사건번호를 막겠다는 사법정보공개포털의 서비스도 같은 문제 의식에서 나온다. 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 2쪽, 4. 서비스 내용(PDF 2쪽)은 "● 사용자는 사건번호를 입력하여 해당 사건번호가 실제로 존재하는지 확 인할 수 있도록 하고, 사건번호가 존재하는 경우 해당 판결의 내용을 구체적으로 확인하도록 안내함에 따라, 허위 사건 인용을 어느 정도 예 방할 수 있을 것으로 기대함"이라고 밝힌다. 사건번호가 살아 있는지 보는 일과 그 판결의 내용이 인용과 맞는지 보는 일은 나뉘며, 사람의 확인은 후자에서 끝나지 않는다.
따라서 미확인 항목을 사람이 확인하는 절차는 인용된 문장이 실린 원문을 직접 펼쳐 읽는 데서 시작한다. 앞에서 본 사건번호 확인은 입구일 뿐이고, 원문에서 선고일과 사건번호, 조문과 판시가 인용과 같은지 한 자씩 대조한 뒤에야 그 항목을 확인으로 옮길 수 있다. 대조 자료가 요구한 것은 요약이나 색인이 아니라 원문이며, 자동화가 맞춘 것으로 나타난 글자 대조 결과는 사람이 다시 읽어 보지 않은 한 확인의 근거가 되지 않는다.
이 절차를 이 사례에 적용하면, 표본 50개를 맞춘 뒤 나타난 선고일 하루 차이는 사람이 원문을 다시 읽어 볼 대상이다. 인용이 어떤 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낸지는 아직 정해지지 않았다. 사람의 확인은 그 자료를 찾아 읽는 일을 가리키며, 확인의 결과로 무엇을 고칠지까지 정해 놓은 규칙이 아니다. 확정된 손해나 고의를 따지는 판단은 여기에 섞이지 않는다.
다룬 공식 문서
- 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 2쪽, 4. 서비스 내용 (PDF 2쪽)