Summary
표본 50개가 모두 맞았는데도 오류가 남는 까닭을 묻는다. 표본 검사가 오류의 비율을 어림하는 도구이지 개별 오류를 찾아 주는 도구가 아님을 자료의 기록으로 설명하고, 표본이 확인한 것과 남긴 것을 나눈다. 이어서 인용이 가리키는 원문 기록, 선고일 하루의 차이, 원자료로 돌아가는 일, 출처 표시가 남긴 자취, 오류와 연구부정행위의 경계를 차례로 살핀다.
1.1표본이 확인한 것과 남긴 것
표본 50개가 모두 맞다고 판정된 뒤에도 남은 질문은 그것이 무엇을 기록으로 확정했는지이다. 이 물음은 표본 검사의 결과를 자료의 뜻과 혼동하지 않기 위해 먼저 가려야 한다. 표본에 오른 인용 50개는 각각 원문과 대조되었고, 대조 결과는 틀림없음으로 기록되었다. 표본에 오르지 않은 인용 1,164개에 대해서는 이 대조가 수행된 일이 없다.
자료가 밝히는 연구자의 의무는 출처 표시를 요구한다. 연구자는 "자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"하여야 한다. 이 사례에서 인용 1,214개는 각각 출처를 밝힌 자취이고, 편집자가 표본 50개에서 확인한 것은 그 자취가 원문과 들어맞는다는 사실이다. 출처를 밝혔다는 사실과 출처가 옳다는 사실은 구별된다.
나머지 인용에 대한 검토 여부는 기록에 남아 있지 않다. 자료는 연구결과물의 정확성을 판정하는 절차를 두지 않았고, 표본 검사가 오류 비율을 얼마로 추정했는지도 밝히지 않았다. 따라서 표본 밖의 나머지 인용이 모두 맞는지 틀리는지는 확인되지 않은 채 남아 있다. 이 확인되지 않은 자리는 오류의 존재를 뜻하지 않는다.
출간 뒤 독자가 알린 틀림 하나는 그 자리가 비어 있었음을 드러낸다. 틀린 인용은 표본 밖에 있었고, 표본 검사는 그것을 걸러내지 못했다. 연구부정행위의 판단 기준 가운데 "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"하도록 한 규정은 이 자리와 겹쳐 보인다. 다만 이 사례는 자료의 대조 결과를 기록한 것일 뿐, 고의나 확정 손해 같은 법적 평가에 이른 것이 아니다.
따라서 표본 검사가 확인한 것은 표본에 오른 50개의 정합이고, 남긴 것은 표본 밖 인용의 정합 여부이다. 틀린 인용 하나는 뒤늦게 드러났으나, 나머지 인용의 상태와 이 틀림이 어디서 비롯했는지는 판정되지 않았다. 이 판정되지 않은 자리는 그대로 미정으로 남는다.
1.2인용이 가리키는 원문 기록
표본 밖의 오류가 남긴 과제는 그 인용이 무엇을 가리키는지 확인하는 일에서 시작한다. 지금 보유한 것은 원고의 인용 표기 하나와, 독자가 보고한 선고일의 하루 차이라는 사실뿐이다. 이 인용이 어떤 판례를 가리키는지, 어떤 원문 기록에서 판시와 선고일을 읽어야 하는지가 먼저 밝혀져야 한다. 오류의 법적 성격을 논하기 이전에, 대조 대상인 원문 기록의 위치를 특정하는 일이 선행되어야 한다.
문제의 인용이 어떤 원문 기록을 가리키는지는 아직 확정되지 않았다. 인용에 담긴 판결명, 선고일, 사건번호 가운데 어느 항목이 어떤 기록을 지시하는지 확인되지 않았고, 그 인용이 어떤 자료를 참조한 것인지도 정해지지 않았다. 판례 인용은 원칙적으로 판결 원문을 가리키는데, 판결 원문에는 판결명과 선고일, 사건번호가 함께 기록되어 있다. 따라서 어떤 인용이 어떤 원문 기록을 가리키는지 가리려면, 인용의 항목을 판결 원문의 대응 항목과 하나씩 대조하여야 한다.
대조의 기준이 되는 것은 확증 가능성에 관한 사법부 지침의 요구이다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon."라고 요구한다. 사용하거나 의존하기 전에 정확성을 확인하여야 한다는 이 요구는, 인용이 어떤 원문 기록을 가리키는지 밝히는 것을 포함한다. 확인은 결국 인용의 각 항목을 판결 원문에서 읽어 대조하는 행위로 귀착된다.
그 지침은 인용된 자료가 지닌 오류의 유형을 함께 적시한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "This includes cited source material which might also be hallucinated."라고 밝히면서, 환각의 예로 "make factual errors."를 들고 있다. 인용된 자료 자체가 지어낸 것일 수 있고, 사실 항목을 잘못 적을 수 있다는 점이 함께 기록되어 있다. 선고일의 하루 차이가 이 가운데 어느 유형에 놓이는지는, 인용이 가리키는 원문 기록을 먼저 찾아야 판가름할 수 있다. 원문 기록이 확인되지 않은 채로 오류의 유형을 확정할 수 없다.
원문 기록을 찾는 일에는 지적한 주의가 따라야 한다. 같은 지침 III절은, 위 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)이 AI 도구의 환각으로 "refer to legislation, articles or legal texts that do not exist"를 든다. 존재하지 않는 법령이나 문헌을 가리키는 인용이라면, 대조 대상인 원문 기록 자체가 없다는 사실이 드러난다. 따라서 이 사례의 인용이 지시하는 기록이 실재하는지, 실재한다면 그 기록의 선고일 표기가 무엇인지가 차례로 확인되어야 한다. 그 확인이 끝나기 전에는 판결명이나 사건번호를 임의로 채워 넣을 수 없다.
사법부 지침이 남기는 최종 기준은 정확성의 확인을 만전으로 요구한 데 있다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 V절은 "Judges must always read the underlying documents."라고 천명한다. 바탕 문서를 직접 읽는 것이 확인의 마지막 단계로 요구되어 있다. 이 사례에서 인용이 가리키는 원문 기록의 위치가 확정되고, 그 기록의 선고일이 무엇인지 바탕 문서에서 직접 읽힌 뒤에, 비로소 인용과 원문의 차이가 무엇인지 말할 수 있다. 그 확인 결과는 미정이다.
1.3선고일 하루의 차이
<tool_call><function=search_serp><parameter=query>영국 법원 심판소 사법부 Artificial Intelligence Guidance for Judicial Office Holders 2025 factual errors hallucinate</parameter></function></tool_call>
1.4원자료로 돌아가기
사실 오류의 범주를 확인한 뒤 남는 문제는, 틀린 항목을 무엇에 견주어 바로잡을 것인가이다. 인용 대조의 순서는 사법부 지침이 요구하는 확인의 방향과 같은 자리에서 설명된다. 지침은 무엇을 먼저 손댈 수 없게 두는지를 분명히 한다.
지침은 먼저 사용하는 정보 자체를 성격별로 나눈다. 인용된 선고일처럼 이미 가공을 거쳐 전해진 내용과, 판결문 원문에 적힌 날짜처럼 가공 이전의 기록은 같은 자리에 놓이지 않는다. 교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호) 제2조는 연구 원자료의 정의를 다음과 같이 둔다. "“연구 원자료”란 연구 목적을 달성하기 위해 연구자가 실험, 관찰, 조사 등을 거쳐 수집한 가공 이전의 자료와 문헌 등을 말한다". 이 구분에 따르면 판결문 원문은 가공 이전의 문헌이고, 오류가 지적된 선고일 표기는 그 원문에서 파생된 항목이다.
이어서 무엇이 무엇에서 나왔는지를 적어 둔다. 같은 조문은 연구자료와 연구결과의 정의를 두는데, 먼저 "“연구자료”란 연구 원자료를 가공한 자료와 이를 활용한 2차 자료 및 문헌을 말한다"고 하였다. 아울러 "“연구결과”란 연구자가 연구 활동을 통해 얻은 연구자료를 활용하여 도출한 체계화된 결론을 말한다"고 하였다. 오류 난 인용은 연구자료의 층에 있고, 그 인용을 받아 적은 표본 검사의 기록은 다시 그 위의 층에 놓인다. 따라서 되짚는 순서는 검사 기록에서 인용 표기로, 인용 표기에서 판결문 원문으로 내려가는 것이다.
바로 이 지점에서 자동화 도구가 처리한 결과를 확인으로 삼지 말아야 한다. 지침은 도구가 준 인용 자체가 지어낸 것일 수 있음을 경고한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽(PDF 6~8쪽)은 "This includes cited source material which might also be hallucinated"라고 하였다. 이 경고가 이 사례에서 뜻하는 것은, 도구가 인용의 출처를 가리켰다는 사실만으로는 선고일이 맞았다고 말할 수 없다는 점이다.
원자료의 확인을 대신할 만한 행위로서 도구를 놓지도 않는다. 같은 지침, 즉 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽(PDF 6~8쪽)은 "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence"라고 하였다. 이 사례의 편집자가 표본 50개를 확인한 것은 자체의 대조 행위이고, 표본 밖의 하나는 그 손을 거치지 않았다. 오류 난 인용의 판결문 원문을 펼쳐 확인하는 일은 도구가 준 요약이나 목록으로 갈음되지 않는다.
다만 이 대조에서 무엇이 확인되는지는 열어 보아야 한다. 오류 난 인용이 어떤 자료를 가리키는지, 원문 기록에서 선고일이 어떻게 적혀 있는지는 미정으로 남는다. 확인되지 않은 항목을 미리 채우지 않은 채 원문으로 내려가는 순서를 지키는 일이, 앞서 구분한 세 층의 사이를 건너뛰지 않는 방법이다.
1.5출처 표시가 남긴 자취
원자료를 되짚는 작업이 끝나면 남는 것은 각 인용마다 붙어 있어야 할 출처 표시이다. 이 표시는 무엇을 가리키는 기록인지, 그리고 이 기록을 남기라는 요구는 어디에서 오는지가 문제로 남는다. 편집자가 표본 50개를 골라 대조한 뒤에도, 표본에 들지 못한 1,164개의 인용에는 각각 출처 표시가 달려 있었다. 독자가 지적한 선고일의 하루 차이는 그 표시 가운데 하나가 원자료와 맞지 않았다고 알려 온 것이다.
출처 표시에 담길 내용은 교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호), 2023-07-17, 제5조에서 연구자의 준수 사항으로 둔다. 그 제6호는 "자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"이다. 이 사례에서 원고의 인용 1,214개는 모두 타인의 저작물 활용에 해당하며, 편집자가 표본에서 확인한 것도 그 출처 표시가 원자료와 맞는지였다. 다만 "적절한 방법"의 구체적인 모습은 위 지침이 정하지 않으므로, 이 사례의 인용이 어떤 표기 형식을 갖추어야 하는지는 위 지침만으로는 미정이다.
출처 표시를 밝히지 않았을 때의 결과는 같은 지침 제11조제1항제3호가 정한다. 그 가목은 "타인의 연구내용 전부 또는 일부를 출처를 표시하지 않고 그대로 활용하는 경우"를, 나목은 "타인의 저작물의 단어·문장구조를 일부 변형하여 사용하면서 출처표시를 하지 않는 경우"를, 다목은 "타인의 독창적인 생각 등을 활용하면서 출처를 표시하지 않은 경우"를, 라목은 "타인의 저작물을 번역하여 활용하면서 출처를 표시하지 않은 경우"를 각각 들고, 그 공통 요건은 "일반적 지식이 아닌 타인의 독창적인 아이디어 또는 창작물을 적절한 출처표시 없이 활용함으로써, 제3자에게 자신의 창작물인 것처럼 인식하게 하는 행위"이다. 이 사례의 인용 1,214개에는 출처 표시가 달려 있었고, 독자가 지적한 것도 표시의 부재가 아니라 표시된 선고일의 날짜 하나였다. 그러므로 위 각 목이 이 사례에 바로 걸리는지는 이 자료만으로는 단정할 수 없다.
출처 표시가 일부라도 원자료와 어긋날 때 이를 어떻게 볼지는 지침 제12조가 판단 기준으로 삼는 사정에 맡긴다. 그 제1항은 "연구자가 속한 학문 분야에서 윤리적 또는 법적으로 비난을 받을 만한 행위인지", "해당 행위 당시의 ‘연구윤리 확보를 위한 지침’ 및 해당 행위가 있었던 시점의 보편적인 기준을 고려", "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"를 들고 있다. 이 사례에서 확인된 것은 독자의 제보 하나이며, 그 인용이 어느 자료를 가리키는지와 원문 기록에 무엇이 남아 있는지는 아직 밝혀지지 않았다. 위 기준 가운데 고의나 얻은 이익에 관한 사정은 이 사례에서 기록된 바 없다.
이 사례에 인용마다 남겨야 할 출처 표시는 원고의 인용 1,214개 각각에 붙어 있는 기록이며, 그 요구의 근거는 위 지침 제5조제6호이다. 편집자의 표본 검사는 그 표시 가운데 50개만 원자료와 대조했고, 표본 밖의 하나에서 하루 차이가 제보된 상태이다. 그 차이가 어느 자료를 가리키는지, 원문 기록에 무엇이 남아 있는지, 정오표를 낼 것인지의 여부는 미정으로 남는다.
1.6오류와 연구부정행위의 경계
출처 표시가 남긴 기록을 따라, 표본 검사의 한계가 드러난 자리에서 대조로 밝혀진 오류가 연구부정행위의 판단과 어떻게 구별되는지를 살펴본다. 편집자가 표본 50개를 골라 모두 맞음을 확인한 뒤 책을 냈는데, 출간 뒤 독자가 표본 밖의 인용 하나에서 선고일이 하루 틀렸다고 알려 왔다. 이 오류가 위조·변조·표절의 어느 범주에 드는지, 아니면 그 밖의 문제인지를 가리기 전에 판단의 기준부터 확인해야 한다.
교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호) 제11조는 연구부정행위의 범위를 열거한다. 그 가운데 표절에 관해 지침은 "다음 각 목과 같이 일반적 지식이 아닌 타인의 독창적인 아이디어 또는 창작물을 적절한 출처표시 없이 활용함으로써, 제3자에게 자신의 창작물인 것처럼 인식하게 하는 행위"라 규정하고, 그 하나로 "타인의 저작물의 단어·문장구조를 일부 변형하여 사용하면서 출처표시를 하지 않는 경우"를 든다. 표본 밖의 인용은 출처 표시를 갖추고 있고 그 표시 안의 선고일만 하루 어긋나 있다. 출처 표시가 빠진 경우와, 출처를 밝혔으나 표시 안의 날짜가 틀린 경우는 그 모습이 다르다.
그 오류를 위조나 변조에 넣을지도 따져야 한다. 지침 제11조제1항제2호는 변조를 "연구 재료·장비·과정 등을 인위적으로 조작하거나 연구 원자료 또는 연구자료를 임의로 변형·삭제함으로써 연구 내용 또는 결과를 왜곡하는 행위"라 한다. 하루 차이의 날짜 오류가 연구 내용이나 결과를 왜곡했는지, 또 그런 변형이 인위적인 조작에서 나왔는지는 여기에서 곧바로 드러나지 않는다. 오류가 있다는 사실만으로 조작이나 왜곡을 단정할 수 없고, 그 사이의 간극은 판단의 몫으로 남는다.
판단의 기준도 아울러 확인된다. 지침 제12조제1항은 연구부정행위를 다음 기준으로 판단한다. "연구자가 속한 학문 분야에서 윤리적 또는 법적으로 비난을 받을 만한 행위인지"를 살피고, "해당 행위 당시의 ‘연구윤리 확보를 위한 지침’ 및 해당 행위가 있었던 시점의 보편적인 기준을 고려"하며, "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"한다. 여기에는 고의가 판단 요소로 함께 놓여 있다. 그런데 출간 뒤 알려진 오류의 경위가 무엇인지, 표본 선정과 대조가 어떻게 이루어졌는지, 편집자가 무엇을 확인했는지는 미정이다. 확인되지 않은 사실 위에서 고의를 확정할 수 없다.
오류를 걸러내는 절차의 성격도 따로 살핀다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon"라 적고, "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date"라 경고한다. 같은 지침은 도구가 만들어낼 수 있는 것으로 "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist"를 들고, 아울러 "make factual errors"를 든다. 날짜가 하루 어긋난 인용은 모델이 만들어낸 잘못 가운데 사실 오류의 모습과 닿아 있고, 대조로 밝힌 것은 바로 그 사실 오류이다.
같은 지침은 오류를 다루는 책임의 자리도 밝힌다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "Judicial office holders are personally responsible for material which is produced in their name"라 하면서, "Judges must always read the underlying documents"라 적는다. 또 같은 지침은 자료를 다시 확인하는 방법으로 "final material should always be checked against maintained authoritative legal sources"를 권한다. 표본 검사가 남긴 것은 그 재확인이 표본 안에서만 이루어졌다는 사실이고, 표본 밖의 인용 하나는 그 바깥에서 확인된 것이다. 오류가 드러났다는 사실, 출처 표시와 실제 사이의 어긋남, 미정인 경위를 한데 놓고 볼 때, 이 사례에서 확인되는 것은 대조로 드러난 오류일 뿐이고 위조·변조·표절의 확정은 아직 판단 이전의 자리에 남는다.
Official documents referred to
- 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)
- 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)