Monograph Series · First series › Part VII Quantitative law and AI verification › Volume 45 · First edition
법률 AI의 환각: 인용 오류의 유형과 측정
법률 문서에서 AI가 만드는 인용 오류를 분류하고 측정합니다.
Volume contents
- Abstract
- Synthetic case
- 01대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황 (PDF 1쪽)
- 02영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
- 03영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 04영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 05영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
- 06조문 인용의 오류: 번호, 수치, 개정 전 문언
- 07한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
- 08한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
- 09한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
- 10영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 11영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
- 12개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025-08, 31쪽 (PDF 33쪽)
- 13대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 1쪽, 1) 제작 배경 (PDF 1쪽)
- 14교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)
Abstract
이 권은 법률 문서에서 인공지능이 만들어 내는 인용 오류를 무엇으로 보고 어떻게 재어 볼 수 있는지를 묻는다. 준비서면 초안을 맡은 인공지능이 대법원 판결 한 건을 사건번호와 선고일까지 붙여 근거로 적었으나 그 사건번호는 검색되지 않았고, 같은 초안의 다른 인용은 선고일이 어긋났으며 또 다른 인용은 판시 요약의 방향이 달랐던 합성 사례를 앞에 놓고 문제의 모습을 보인다. 먼저 완벽한 꼴의 인용이 왜 사람의 오기보다 찾기 어려운지를 살피고, 인용이 공개 원문과 대조해 확인할 수 있는 사실이므로 측정 대상으로 삼을 수 있는 까닭을 밝힌다. 이어 없는 판결, 판시가 왜곡된 판결, 식별 정보가 어긋난 인용, 조문의 번호와 수치와 시점이 틀린 인용을 차례로 나누어 그 모습과 찾는 법을 검토한다. 다음으로 유형을 표로 견주고, 측정 문항과 정답 규칙, 없는 것을 묻는 문항과 보류의 처리, 기준선과 능력의 분리를 다루어 측정의 자리를 정한다. 마지막으로 검색되지 않는 사건번호를 오류로 기록할지 미확인으로 기록할지, 원문 대조와 검색증강의 자리, 출처 명시와 투명성과 책임의 구별을 다루고 남는 물음과 재검토 조건을 정리한다.
Synthetic case
The whole volume follows this invented case. It is not a real matter, and its facts are not legal findings.
준비서면 초안을 맡은 AI가 대법원 판결 한 건을 사건번호와 선고일까지 붙여 근거로 적었다. 그 인용의 번호 꼴은 완벽했고 판시 요약도 그럴듯했으나, 국가법령정보센터 검색창에 그 사건번호를 넣은 결과는 0건이었다. 같은 초안에서 인용된 다른 판결 중 하나는 사건번호가 검색 결과에 나타났으나 초안에 적힌 선고일과 달랐고, 다른 하나는 판시 요약의 방향이 원문과 달랐다. 이 인용들이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다.
Fourteen chapters and their questions
- 01대법원 법원행정처, 「사법정보공개포털 ‘허위 사건번호 확인’ 서비스 제공 알림」, 2026-02-19, 1쪽, 2. 현황 (PDF 1쪽)
AI가 만든 인용 오류는 왜 사람의 오기보다 찾기 어려운가?
10 min - 02영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
법률 문서의 인용을 측정 가능한 대상으로 삼을 수 있는 까닭은 무엇인가?
11 min - 03영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
실제로 존재하지 않는 판결이나 조문이 인용으로 나오는 모습은 어떤 것인가?
11 min - 04영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
존재하는 판결의 판시 내용이 인용에서 왜곡되는 방식은 무엇인가?
13 min - 05영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
사건번호나 선고일이 원문과 어긋날 때 무엇이 무엇과 다른 것인가?
11 min - 06조문 인용의 오류: 번호, 수치, 개정 전 문언
조문을 인용할 때 번호·수치·시점이 어긋나는 일은 어떻게 드러나는가?
9 min - 07한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
유형마다 어떻게 찾고 왜 위험한 정도가 다른가?
10 min - 08한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
오류를 재는 문항과 정답은 어떻게 정해져야 하는가?
12 min - 09한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)
없는 것을 묻는 문항이 있어야 하고 보류를 따로 세어야 하는 까닭은 무엇인가?
9 min - 10영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
측정 결과를 기준선과 견주면 무엇이 보이고 무엇이 다른 능력으로 갈라지는가?
14 min - 11영국 고등법원 왕좌부 합의법정(High Court, King’s Bench Division, Divisional Court), R (Ayinde) v London Borough of Haringey; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin), 2025-06-06, 문단 7~8·81, PDF 3·21쪽(인쇄 쪽수 표기 없음)
번호가 검색되지 않는다는 관찰은 오류와 미확인 가운데 무엇으로 기록되어야 하는가?
8 min - 12개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025-08, 31쪽 (PDF 33쪽)
측정이 보여 준 오류를 문서 작업 절차에서 어디에서 걸러낼 수 있는가?
10 min - 13대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 1쪽, 1) 제작 배경 (PDF 1쪽)
인용 오류가 연구 부정이나 책임 문제와 겹칠 때 무엇을 무엇과 구별해야 하는가?
8 min - 14교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)
지금 무엇이 미결로 남고 어떤 조건이 생기면 이 결론을 다시 봐야 하는가?
9 min