Summary
이 장은 인공지능이 만든 인용 오류가 왜 사람의 오기보다 찾기 어려운지를 묻는다. 사람의 오기와 생성 인용의 차이를 놓고 사건번호 형식의 그럴듯함과 허위 사건번호 확인 서비스를 살핀 뒤, 허구 판례와 인용의 범주를 가르고 원문 직접 읽기와 대조로 이어진다.
1.1사람의 오기와 생성 인용
인용의 오류는 사람이 낸 것인지, 인용을 대신 만들어 낸 시스템이 낸 것인지에 따라 그 모습이 다르다. 사람이 인용을 잘못 적으면 대개 번호의 숫자가 어긋나거나 날짜의 자릿수가 비거나 인용 형식이 흐트러진다. 그러나 생성 인용은 그 꼴이 처음부터 매끈하여 겉으로만 보아서는 티가 없다. 준비서면 초안을 맡은 AI가 사건번호와 선고일까지 갖추어 대법원 판결 한 건을 근거로 적었으나, 국가법령정보센터 검색창에 그 사건번호를 넣은 결과는 0건이었다. 번호의 꼴은 완벽했고 판시 요약도 그럴듯했으나 인용된 대상은 찾을 수 없었다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 사법관에게 제공된 AI 도구 정보를 사용하거나 의존하기 전에 정확성을 확인하라고 요구한다. 그 지침은 그 이유로 "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated."라고 밝힌다. 여기서 주목할 것은 인용된 출처 자료까지도 지어낸 것일 수 있다는 경고이다. 사건번호와 선고일이 함께 붙은 인용은 출처 자료의 겉모습을 갖추었지만, 그 모습만으로 원문에 실제로 있는 자료임이 보장되지는 않는다.
같은 지침인 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 AI 도구가 환각을 일으킬 때를 두고 "AI tools may "hallucinate", which includes the following: · make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist, · provide incorrect or misleading information regarding the law or how it might apply, and · make factual errors."라고 적는다. 지어낸 사건과 지어낸 인용이 나란히 놓여 있다는 점이 중요하다. 초안에서 인용된 다른 판결 하나는 사건번호가 검색 결과에 나타났으나 초안에 적힌 선고일과 달랐고, 또 다른 하나는 판시 요약의 방향이 원문과 달랐다. 존재하는 판결을 붙들고 날짜와 요약을 함께 잘못 적은 경우와, 존재하지 않는 판결을 끝까지 만들어 낸 경우가 한 문서 안에 섞여 있었다.
이를 사람의 오기와 견주어 보면 차이가 분명해진다. 오기는 어긋난 자리가 자주 드러나지만 생성 인용은 어긋난 자리가 없다. 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황 (PDF 1쪽)은 현황을 적으며 "▣ 생성형 AI는 '2023다12345'와 같은 사건번호의 패턴을 학습하여 임의 의 번호를 조합해내며, 일반 사용자는 AI가 제시한 판결내용이 그럴듯해 보일 경우 해당 사건번호가 실제로 존재하는지 의심하지 않고 인용하는 경향이 있음 대법원 법원행정처, 「사법정보공개포털 '허위 사건번호 확인' 서비스 제공 알림」, 2026-02-19, 1쪽, 2."라고 밝힌다. 학습된 패턴으로 조합된 번호는 형식을 그대로 따르므로, 형식만 들여다보는 검토로는 짐작이 어렵다.
사법부 지침은 검토의 주체를 분명히 한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "Judicial office holders are personally responsible for material which is produced in their name. Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence."라고 못 박는다. 이름으로 나온 자료에 대한 책임이 사람에게 남는다는 뜻이다. 이에 따라 같은 지침인 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 법적 조사에서 AI 도구를 "a poor way of conducting research to find new information you cannot verify independently"라고 평가하면서도 "final material should always be checked against maintained authoritative legal sources"라고 적는다. 독립적으로 확인할 수 없는 새 정보를 찾는 일에 AI를 써서는 안 되며, 마무리 자료는 권위 있는 법적 출처와 대조하여야 한다는 기준이 여기에 있다.
초안을 쓴 시스템의 성능이나 작성자의 잘못은 이 관찰만으로 단정할 수 없다. 인용이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정으로 남는다. 다만 확인된 것은 인용의 꼴이 완벽한 채로 남아 있고 그 번호로는 원문을 찾을 수 없다는 사실이다. 오류의 법적 평가도 이 자리에서 정해지지 않았다. 완벽한 꼴의 없는 인용은 그 자체로 검토가 시작되어야 할 지점을 가리킬 뿐이다.
1.2사건번호 형식의 그럴듯함
사람의 오기와 생성 인용을 나눈 뒤에는, 형식이 흠잡을 데 없을 때 무엇이 남는지를 따져야 한다. 사건번호는 문장 안에서 사실의 존재를 약속하는 징표다. 번호의 꼴이 표준을 따르면 독자는 그 번호가 붙은 판결이 있다고 믿게 된다.
법원행정처가 밝힌 현황은 그 믿음이 무엇에 기초하는지를 지적한다. 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황은 이르기를, "▣ 생성형 AI는 '2023다12345'와 같은 사건번호의 패턴을 학습하여 임의 의 번호를 조합해내며, 일반 사용자는 AI가 제시한 판결내용이 그럴듯해 보일 경우 해당 사건번호가 실제로 존재하는지 의심하지 않고 인용하는 경향이 있음 대법원 법원행정처, 「사법정보공개포털 '허위 사건번호 확인' 서비스 제공 알림」, 2026-02-19, 1쪽, 2."라고 한다. 이 현황은 사건번호의 형식을 익힌 기계가 그 형식을 채운 숫자까지 사실로 만들 수 있음을 말한다.
현황에 적힌 ‘2023다12345’는 형식을 보이려 든 예시일 뿐이다. 이 번호를 실제 판결의 인용으로 옮기면, 형식의 예시가 존재의 주장으로 둔갑한다. 여기서는 그 예시가 사건번호의 모양만 가리킬 뿐 어떤 판결을 가리키지 않는다는 점만 적는다.
형식과 존재가 어긋나는 인용이 준비서면에 실리면, 독자는 번호의 꼴만으로 판결을 확인한 셈이 된다. 앞에서 본 매끈한 요약과 결합하여, 이 인용은 반대 근거를 요구하는 자리에 먼저 들어선다. 번호가 있더라도 판결이 없다는 사실은, 번호의 모양으로는 드러나지 않는다. 그러므로 인용의 확인은 형식의 통과와는 별개의 일로 남는다.
1.3허위 사건번호 확인 서비스
형식의 그럴듯함이 실제 존재와 구별된다고 본 뒤, 확인은 누가 어떻게 맡는지가 문제로 남는다. 법원행정처는 2026년 2월 19일 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」 2. 현황에서 그 사업의 발단을 이렇게 적었다. "▣ 생성형 AI는 ‘2023다12345’와 같은 사건번호의 패턴을 학습하여 임의 의 번호를 조합해내며, 일반 사용자는 AI가 제시한 판결내용이 그럴듯해 보일 경우 해당 사건번호가 실제로 존재하는지 의심하지 않고 인용하는 경향이 있음". 공적 안내가 보이는 것은 이 경향이며, 판결이 아니다.
이 경향의 구조는 앞서 본 형식의 그럴듯함과 같은 자리에 놓인다. 패턴을 학습한 모델은 번호의 모양을 낼 줄 알지만, 그 번호가 사건을 담는지는 묻지 않는다. 마찬가지로 읽는 쪽도 내용이 그럴듯하면 번호를 헤아리지 않고 넘긴다. 두 일이 겹쳐 인용이 만들어지는 셈이다.
여기서 확인 대상은 판결문의 진위가 아니라 사건번호의 존재다. 안내가 이야기하는 것은 그와 같고, 요약한 판결 내용과 원문의 일치 여부는 따로이다. 이 안내에 그 여부를 가리는 절차나 기준이 실려 있는 것은 아니다. 그 점은 미정으로 남는다.
이 안내에 담긴 예시 ‘2023다12345’는 경향을 보이기 위한 예시일 뿐이다. 그 번호를 실제 사건의 인용으로 옮기지 않으므로, 준비서면의 근거란 자리에 이 예시를 두는 일은 없다. 앞서 번호의 꼴이 아무리 갖추어져도 존재를 보장하지 않는다고 본 바, 그 결론이 여기서 서비스라는 이름을 얻은 것이다.
따라서 이 안내는 서비스의 정확도를 시험한 보고서도 아니고, 인용을 유죄로 단정한 판단도 아니다. 누가, 어느 단계에서, 어떤 설명과 함께 그 번호를 냈는지에 대해서는 이 안내가 말하는 바가 없다. 다만 허위 인용이 발견될 때 확인할 창구가 생겼다는 사실만이 남는다.
1.4허구 판례와 인용의 범주
사건번호의 꼴이 맞더라도 인용 자체가 존재하는 것은 아니므로, 이제 영국 사법부의 지침이 환각의 범주를 어떻게 나누는지 살펴보아야 한다. 영국 법원·심판소 사법부가 발행한 지침은 환각의 대상을 네 갈래로 적시한다. 그 하나가 허구의 판례다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 AI 도구가 "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist"할 수 있다고 경고한다. 허구의 판례란 판례명이나 사건번호가 갖추어져 있으나 대응하는 재판이 없는 것을 가리키며, 앞의 사례처럼 형식은 완전한데 검색 결과가 0건인 인용이 여기에 겹친다.
지침은 환각의 범주를 법률에 관한 오해로도 넓힌다. 같은 지침은 AI 도구가 "provide incorrect or misleading information regarding the law or how it might apply, and"라는 사례를 함께 적고 있다. 판례가 실재하더라도 판시의 방향을 다르게 요약한 인용은 이 범주에 놓인다. 여기서 지침이 다루는 것은 오해의 방향이지, 오해의 크기나 결과가 아니다.
환각의 마지막 범주는 사실에 관한 오류이다. 같은 지침은 AI 도구가 "make factual errors."할 수 있다고 적는다. 선고일을 틀리게 적은 인용은 이 범주에 가깝다. 판례가 존재하더라도 그 판례의 선고일이 다르므로, 인용의 나머지 부분은 그대로 두고 날짜만 잘못된 셈이다.
지침은 환각의 범주 나열 앞에서 AI가 제공하는 정보가 어떠할 수 있는지부터 밝힌다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 그러한 정보가 "may be inaccurate, incomplete, misleading or out of date."일 수 있음을 알린다. 같은 지침이 "Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated."라고 덧붙이는 이유도 여기 있다. 형식을 갖춘 인용이라도 출처 자체가 만들어진 것일 수 있으므로, 지침은 자료의 꼴과 내용을 나누어 보도록 요구한다.
지침은 나아가 확인의 책임을 맡은 사람에게 그 책임을 돌린다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "Judicial office holders are personally responsible for material which is produced in their name."라고 선언한다. 이는 지침이 짚는 환각의 범주가 곧 그 사람이 확인해야 할 범위라는 뜻이다. 한편 지침이 적시한 환각의 범주와 앞의 사례에서 관찰된 인용의 결함이 어디까지 겹치는지, 그리고 어느 작업 단계에서 그런 인용이 만들어졌는지는 이 지침이 답하는 대상이 아니다. 지침은 이 관찰을 확정된 손해나 고의로 평가하지 않으며, 그 평가는 미정으로 남는다.
1.5원문 직접 읽기와 대조
꼴이 완벽한 인용이 원문을 대신할 수 없는지는, 직접 읽기와 대조가 무엇을 요구하는지를 살핌으로써 가릴 수 있다. 영국 법원·심판소 사법부의 지침은 제5절에서 이 점을 분명히 말한다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)는 담당자에게 원문 읽기를 요구한다. "Judicial office holders are personally responsible for material which is produced in their name. Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 이 문장은 인용의 꼴을 점검하는 일과, 근거가 된 문서를 직접 읽는 일을 구별한다.
같은 자료의 제5절은 법률 검토에서 무엇을 대조해야 하는지까지 말한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)는 "Legal research: AI tools are a poor way of conducting research to find new information you cannot verify independently. They may be useful as a way to be reminded of material you would recognise as correct, although final material should always be checked against maintained authoritative legal sources."라고 밝힌다. 이 구절은 확인 대상이 기억을 되살리는 참고에 그치지 않고, 유지되는 권위 있는 법률 원문과의 대조임을 분명히 한다.
지침 제3절은 확인이 사용보다 앞서야 한다고 못박는다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)는 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon."라고 요구한다. 이 요구는 인용된 사건번호가 검색창에서 발견된다는 사실만으로 충족되지 않는다.
같은 제3절은 인용된 원문 자체가 지어진 것일 수 있음을 경고한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)는 "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated."라고 밝힌다. 사건번호 꼴이 완벽해 보여도 그 번호가 가리키는 판결문이 실제와 같은지는 별개의 문제이다.
같은 절이 환각의 한 유형으로 꼽은 것은 허구의 인용이다. "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist," 검색 결과 0건으로 확인된 사건번호는 이 유형에 대응하는 관찰이다. 다만 그 관찰이 법적 평가까지 내려주는 것은 아니다.
선고일이 다르거나 판시 요약의 방향이 원문과 다르다는 관찰 역시 같은 틀에서 읽힌다. 지침은 "provide incorrect or misleading information regarding the law or how it might apply, and" 및 "make factual errors."를 함께 열거한다. 지침은 대조 절차의 각 단계나 확인 결과를 판정하는 등급을 새로 정하지 않는다. 지침이 요구하는 것은 인용의 꼴이 아니라, 사용 전에 권위 있는 원문과 대조하는 일이다.
1.6확인 가능성과 다음 물음
원문을 펼쳐 확인하는 절차를 밝힌 뒤에도 남는 물음이 있다. 그물 같은 꼴을 갖춘 인용이 실제로는 원문을 대조해 볼 수 없는 것일 때, 무엇이 그 인용을 판별하는 표지가 되는가. 두 자료는 이 물음에 대하여 서로 다른 위치에서 같은 방향을 가리킨다. 사건번호의 겉모습만으로는 그 번호가 실재하는지 알 수 없다는 점이 먼저 밝혀져 있다.
대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황 (PDF 1쪽)은 그 까닭을 다음과 같이 설명한다. "▣ 생성형 AI는 ‘2023다12345’와 같은 사건번호의 패턴을 학습하여 임의 의 번호를 조합해내며, 일반 사용자는 AI가 제시한 판결내용이 그럴듯해 보일 경우 해당 사건번호가 실제로 존재하는지 의심하지 않고 인용하는 경향이 있음" 사건번호는 형식을 갖추는 순간 그 자체로 실재함을 주장하는 것처럼 보이지만, 그 꼴만으로 실재함이 확인되지는 않는다.
이 관찰은 초안에 적힌 인용에 그대로 대입할 수 있다. 사건번호와 선고일이 붙은 인용이 국가법령정보센터 검색창에서 0건으로 나타났다면, 그 인용의 꼴이 완벽하다는 사실은 실재함을 가리는 표지가 되지 못한다. 마찬가지로 사건번호가 검색 결과에 나타났으나 초안의 선고일과 다르거나, 판시 요약의 방향이 원문과 다르다면, 번호의 실재함만으로 인용 전체가 확인된 것은 아니다. 이 관찰은 손해의 확정이나 고의의 인정을 뜻하지 않으며, 인용이 어느 작업 단계에서 만들어졌는지와 같은 작성 경위는 미정으로 남는다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 인용이 환각에 포함될 수 있음을 다음과 같이 적는다. "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist" 이 대목은 사건번호의 꼴이 아니라 인용된 원문이 존재하는지가 확인의 핵심임을 분명히 한다.
같은 지침은 확인의 책임이 누구에게 있는지도 밝힌다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 그 책임을 다음과 같이 적는다. "Judicial office holders are personally responsible for material which is produced in their name." 나아가 같은 지침은 확인의 기준을 다음과 같이 적는다. "They may be useful as a way to be reminded of material you would recognise as correct, although final material should always be checked against maintained authoritative legal sources." 이 두 문장은 확인의 주체와 확인의 기준을 함께 가리킨다. 인용을 실명으로 내세우는 이가 책임을 지고, 그 확인은 유지되는 권위 있는 법률 원문에 대한 대조로 완성된다.
그러므로 인용의 꼴이 완벽할수록 원문 대조의 필요가 줄어드는 것이 아니라 오히려 분명해진다. 꼴의 그럴듯함이 실재함의 표지 노릇을 대신하는 순간, 확인은 겉모습에 맡겨지기 때문이다. 다음 물음은 이 대조가 어떤 성격의 사실을 다루는가이다. 인용이 공개 원문과 대조해 확인할 수 있는 것인지, 그 대조 가능성 자체가 인용을 어떻게 규정하는지가 남았다.
Official documents referred to
- 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황 (PDF 1쪽)