요약
이 장은 앞에서 나눈 유형마다 어떻게 찾고 왜 위험의 정도가 다른지를 묻는다. 모습과 찾는 법과 위험의 세 항으로 유형을 견주는 표를 놓고, 사건번호가 닿지 않는 인용과 선고일이 어긋난 인용과 요약 방향이 다른 인용을 차례로 견주며, 출처의 신뢰성과 충분성이 대조에 미치는 점과 표에 남기는 경계를 밝힌다.
7.1유형을 견주는 세 항의 표
그 분류 기준을 세 항의 모습·찾는 법·위험으로 나누어 견주면, 인용 오류의 자리를 표 안에 놓을 수 있다. 그 표가 무엇을 담고 무엇을 담지 않는지 먼저 밝힌다.
표의 첫 항은 인용의 모습이다. 사건번호·선고일·조문 번호처럼 문자와 숫자로 이루어진 자리에서 무엇이 무엇과 어긋나는지 적는다. 앞에서 정한 번호·수치·시점의 불일치가 그에 해당한다. 두 번째 항은 찾는 법이다. 국가법령정보센터 같은 공개 검색창에 번호를 넣는가, 원문을 직접 열어 대조하는가처럼 확인에 쓰는 경로를 적는다. 세 번째 항은 위험으로, 확인되지 않은 인용이 서면에 남을 때 무엇이 흔들리는지를 적는다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 그 지점을 이렇게 밝혔다. "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated." 판결문에 붙은 출처의 자리 역시 확인을 거치지 않으면 흔들리는 대상에 들어간다.
이 세 항이 같은 행에서 만나야 표가 읽힌다. 앞 장에서 관찰한 일이 그 예이다. 사건번호와 선고일이 갖추어진 인용이 검색 결과에 나타나지 않으면, 모습 항에는 번호와 날짜가 제자리에 있는 것처럼 적히고도 찾는 법 항에서 확인이 무너진다. 같은 사법부 안내문은 확인의 순서를 이렇게 못 박았다. "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon." 원문을 열어 보기 전에 인용을 서면에 옮기는 일이 생기면, 이 두 항 사이의 간격이 곧 위험 항의 값이 된다.
표가 담지 않는 것도 분명히 한다. 어느 유형이 더 자주 나타나는지, 어느 유형이 더 위험한지는 이 표의 자리에 넣지 않는다. 빈도의 수치와 유형 사이의 우열은 대조로 확인된 사실의 밖에 있다. 이와 같이 확정되지 않은 자리는 미정으로 남기며, 관찰과 법적 평가를 뒤섞지 않는다. 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)은 품질 항목의 성질을 이렇게 적었다. "를 인위적인 환경과 조건하에 수집해야 하는 경우, 반드시 실제 환경과 상황 특성을 사실성 반영해야 함 Ÿ 원시데이터는 지역, 사회 및 인종적 편견 등 활용 의도와 무관한 편향적인 특성이 제거되고, 공평성 윤리적으로 공평해야 함" 자료 자체의 성질을 적은 이 항목은 자료에서 만들어 낸 서면의 위험을 평가한 말과 구별되어야 한다.
표는 유형을 나누어 담되, 값을 지어 내지 않는다. 앞에서 관찰한 번호·수치·시점의 불일치와 검색이 닿지 않는 인용이 그에 맞는 자리를 얻을 뿐이다. 각 유형이 어디서 만들어졌는지, 작성자가 원문을 열어 보았는지는 확인된 바가 없으므로 그대로 남는다.
7.2사건번호가 닿지 않는 인용
표의 첫 행에 놓인 인용은 사건번호와 선고일을 함께 적은 대법원 판결이었다. 그런데 국가법령정보센터 검색창에 그 사건번호를 넣었을 때 결과는 0건이었다. 우선 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 지침이 정확성 확인을 요구한 까닭부터 되짚는다. 그 지침은 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon."라고 선을 긋는다. 확인이 사용보다 앞서야 한다는 뜻이며, 이 사례에서 사건번호 검색은 그 확인의 첫 동작이었다.
사건번호를 얻어 적는 일과 그 번호로 원문에 닿는 일은 별개다. 초안은 번호 꼴을 완벽하게 갖추었고 선고일까지 붙였다. 그러한 겉모습이 검색 결과의 부재를 메우지는 못한다. 이와 같은 인용을 두고 위 지침은 "This includes cited source material which might also be hallucinated."라고 말한다. 원문이 확인되지 않았다는 사실을 적어 두는 한, 이 문장은 그 상황을 가리키는 데 쓰인다.
그 지침은 환각의 모습을 열거하면서 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist"를 첫째로 든다. 존재하지 않는 판결을 사건번호와 함께 적는 것은 이 항에 놓인다. 다만 여기에는 확인의 범위가 함께 적혀 있다. "AI tools may assist, but they cannot replace direct judicial engagement with evidence."라는 문장이 그것이다. 원문을 직접 열어 보지 않고 번호만 대조한 것이라면 그 확인은 앞 문장이 요구하는 범위에 미치지 못한다.
반대로 번호가 검색에 나타났다고 해서 확인이 끝난 것은 아니다. 이 사례에서 초안에 함께 실린 다른 판결 하나는 사건번호가 결과에 나타났으나 선고일이 달랐고, 다른 하나는 판시 요약의 방향이 원문과 달랐다. 지침이 경계한 "provide incorrect or misleading information regarding the law or how it might apply"와 "make factual errors."가 이 두 경우에 겹친다. 그러므로 확인은 번호에서 시작하되 거기서 멈추지 않는다.
끝으로 이 관찰이 무엇을 말하고 무엇을 말하지 않는지 가른다. 검색 결과의 부재는 원문이 확인되지 않았다는 사실만 뜻하며, 초안이 허구를 지어 냈다거나 작성자가 고의로 적었다는 평가는 여기에 담기지 않는다. 어떤 작업 단계에서 인용이 만들어졌고 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다. 책임의 자리에 관해 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 지침은 "Judicial office holders are personally responsible for material which is produced in their name."라고만 밝힌다. 이 사례의 작성자가 그 문장이 놓는 자리에 서 있는지는, 확인되지 않은 사실을 채워 넣지 않고 그대로 남겨 둔다.
7.3선고일이 어긋난 인용
번호가 닿지 않는 인용과는 달리, 사건번호는 검색 결과에 나타나면서 선고일만 어긋난 인용도 있다. 이 경우 독자는 번호 확인에 머물지 말고 날짜를 따로 대조하여야 한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III절, 인쇄면 5쪽(PDF 6쪽)은 확인의 기준을 이렇게 적는다. "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon." 확인은 사용이나 의존에 앞서야 하는 일이다.
같은 지침은 확인이 놓치기 쉬운 대상을 따로 짚는다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated."라고 적는다. 인용된 원문도 부정확하거나 오래된 정보의 범위에 들어간다. 사건번호가 검색에 나타난다는 사실만으로 선고일까지 맞았다고 보기는 어려운 까닭이다.
위 문헌은 오류의 한 갈래를 이렇게 적는다. "AI tools may “hallucinate”, which includes the following: (…) • provide incorrect or misleading information regarding the law or how it might apply, and • make factual errors." 선고일은 법률의 적용에 관한 설명보다 사실의 항목에 가깝다. 그러므로 날짜가 어긋난 인용은 사실의 오류로 읽히며, 번호의 꼴이 정연하다고 그 오류가 해소되지는 않는다.
확인의 순서는 이 사례에서 분명하다. 먼저 사건번호로 원문을 찾고, 그다음 선고일을 대조하고, 마지막으로 요약의 방향을 읽는다. 앞 단계의 통과가 뒤 단계의 통과를 뜻하지 않으므로, 확인된 항목과 확인되지 않은 항목을 따로 적어 두어야 한다. 위 문헌 V절, 인쇄면 6쪽(PDF 7쪽)은 "Judicial office holders are personally responsible for material which is produced in their name. Judges must always read the underlying documents."라고 적는다. 책임과 원문 읽기가 함께 놓여 있음을 읽는다.
이 사례에서 선고일이 어긋난 인용은 확인 절차가 거친 자리를 남긴 결과로만 적힌다. 그 인용이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다. 확인된 항목과 확인되지 않은 항목을 가르지 않은 채 작성자의 의도나 빠진 사정을 채워 넣으면, 관찰은 사실의 기록이 아니라 평가로 기울어진다.
선고일의 대조에서 남는 것은 두 가지뿐이다. 번호가 닿았다는 사실과 날짜가 달랐다는 사실이다. 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16(PDF 63쪽)은 자료의 요건을 이렇게 적는다. "신뢰성 Ÿ 데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함" 날짜가 어긋난 인용을 그대로 근거 자리에 두는 것은 이 요건에 맞지 않는다. 대조를 마친 뒤에만 인용은 근거의 자리를 지킨다.
7.4요약 방향이 다른 인용
선고일이 어긋난 경우까지 분류한 데서 나아가, 사건번호와 날짜가 모두 들어맞는데도 판시 요약의 방향이 원문과 다른 인용이 셋째 유형이다. 초안은 이 경우 원문 판결의 요지와 반대되거나 범위가 다른 내용을 그 판결의 말로 적었고, 번호나 날짜의 확인만으로는 드러나지 않았다. 그러므로 이 행의 찾는 법은 원문을 직접 읽고 요약을 문장마다 대조하는 일이다.
직접 읽기를 요구한 근거로 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, V절을 다음과 같이 적는다. "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 이 지침은 요약문을 대신 읽는 방식이 아니라 근거 문서를 직접 읽을 것을 요구한다. 요약 방향의 어긋남은 원문을 읽은 자리에서만 드러나므로, 이 유형의 발견 절차는 결국 직접 읽기에 놓여 있다.
아울러 같은 지침 III절은 AI가 만드는 환각의 양태 중 하나를 이렇게 적는다. "provide incorrect or misleading information regarding the law or how it might apply, and" 이 문장이 요약 방향의 어긋남을 가리킨다. 초안의 판시 요약이 원문이 다루는 방향과 다르게 제시된 경우, 그 요약은 틀린 정보 또는 오도하는 정보에 해당할 수 있다.
같은 지침은 확인의 기준도 함께 밝힌다. "They may be useful as a way to be reminded of material you would recognise as correct, although final material should always be checked against maintained authoritative legal sources." 이 기준을 이 유형에 적용하면, 요약이 이미 아는 내용을 일깨워 준다는 느낌만으로 그 요약을 옳다고 받아들여서는 안 된다. 요약의 방향은 정비된 권위 있는 법률 원천과 대조한 뒤에 확정할 사항이다.
한편 요약 대조에 쓰는 원문과 검색 결과가 어느 출처에서 온 것인지도 함께 살핀다. 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16은 출처의 신뢰성을 이렇게 요구한다. "데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함" 이 기준은 대조의 바탕이 되는 자료가 어딘가에서 왔다는 사실만으로 족하지 않음을 뜻한다. 그러므로 요약이 원문과 어느 쪽으로 어긋났는지의 판단도 신뢰할 수 있는 출처에서 온 원문에 대해서만 내린다.
위 관찰은 요약 방향이 원문과 다른 인용을 찾는 법과 그 위험의 성격을 적은 것이며, 확정 손해나 고의 같은 법적 평가는 하지 않는다. 이 행에서 원문이 다루는 범위를 넘어 새로운 법률 해석이나 사실 인정을 만들지도 않으며, 인용이 어느 작업 단계에서 만들어졌고 작성자가 원문을 열어 보았는지는 미정이다. 그러므로 이 유형의 결론은 원문 대조에서 확인된 차이의 방향까지에 그친다.
7.5출처 신뢰성과 충분성
요약 방향이 다른 인용을 끝으로 대조의 틀을 갖춘 뒤에는, 대조에 쓰이는 자료 자체가 어디서 왔고 얼마나 있는지를 살피는 일로 나아가야 한다. 학습과 검증에 쓰이는 원시자료의 출처와 수량에 관한 기준이 왜 인용 대조의 전제가 되는지를 두 가지 자료에서 읽는다.
한국지능정보사회진흥원, 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16은 학습 데이터의 품질 항목으로 신뢰성을 들며 다음과 같이 적는다. "신뢰성 Ÿ 데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함". 이 기준은 자료를 모으는 단계에서 출처를 가려야 한다는 뜻이며, 모인 자료에 관한 한 줄 요약이 자동으로 참되리라는 약속은 아니다.
같은 표는 충분성 항목에서 "정보는 학습에 유용한 수량이어야 함" 이라고만 적고, 얼마를 유용한 수량으로 볼지는 정하지 않는다. 수량이 적절한지 아닌지는 그 자료를 놓고 따져야 하는 문제이므로, 수량의 많고 적음이 뒤이어 오는 판단의 무오류를 뜻하지 않는다.
한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)은 충분성에서 분류체계별 인스턴스 수량의 균일성과 적정 비율을 요구하며 다음과 같이 적는다. "Ÿ 분류/탐지/인식/이해/예측 등의 카테고리(분류체계)별 인스턴스(분류체계별 특성을 갖고 있는 균일성 데이터) 수량의 균일성과 적정 비율을 확보해야 함". 자료의 구성이 한쪽으로 쏠리지 않아야 한다는 뜻이며, 비율이 고른 자료에서 나온 문장이라도 인용할 때는 대조가 필요하다.
영국 법원·심판소 사법부, Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III절, 인쇄면 5쪽(PDF 6쪽)은 판단 전 확인의 요구를 이렇게 적는다. "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon." 확인은 자료를 쓰기 전에 거쳐야 하는 절차이므로, 출처가 분명하고 양이 넉넉한 자료를 썼다는 사정만으로 그 절차를 건너뛸 수 없다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 확인이 필요한 범위를 넓혀 다음과 같이 이어 간다. "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated." 인용된 원자료조차 지어낸 것일 수 있다는 이 문장은, 인용 앞에 붙은 사건번호와 선고일이 그럴듯해 보인다는 사정만으로 그 인용을 믿을 수 없음을 뜻한다.
같은 지침 V절은 그 문장의 처리까지 이렇게 적는다. "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 원문을 직접 읽는 일은 보조 수단으로 대신할 수 없는 작업이므로, 요약만으로 원문을 대신하는 방식은 이 기준에 맞지 않는다.
따라서 환각 평가에서 인용을 대조하는 일은, 대조에 쓰는 자료가 믿을 만한 곳에서 왔는지와 그 양이 해당 범위를 다루기에 충분한지부터 살핀 뒤에야 성립한다. 다만 이 기준들은 자료를 모으고 다루는 데 관한 것이며, 모델이 내놓은 문장이나 법률적 결론이 틀림없다고 보장하는 규칙은 아니다. 초안의 인용에 사건번호와 선고일이 붙어 있었다는 관찰, 국가법령정보센터 검색 결과가 0건이었다는 관찰, 다른 판결에서 선고일이 달랐다는 관찰과 요약 방향이 달랐다는 관찰은 그대로 남아 있으며, 그 인용이 어느 단계에서 만들어졌는지와 작성자의 확인 여부는 미정이다.
7.6표에 남기는 경계
출처 신뢰성이 뒷받침된 자료를 갖추었더라도, 인용을 다룬 유형을 나눈 표 자체가 측정치를 내놓지는 않는다. 표의 세 항이 무엇에 걸리고 무엇을 비켜 가는지를 정리한 뒤, 측정 문항으로 넘어가야 할 경계를 확인한다.
표에서 나눈 세 항은 인용의 번호, 날짜, 내용이 원문과 맞아떨어지는지를 각각 묻는 자리다. 영국 법원·심판소 사법부는 이 자료가 가진 오류의 성격을 이렇게 밝힌다. “AI tools may “hallucinate”, which includes the following: (…) • make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist, (…) • provide incorrect or misleading information regarding the law or how it might apply, and (…) • make factual errors.” 사건번호를 지어내거나 선고일을 다르게 적거나 판시 요약을 원문과 반대로 적은 모습은 모두 이 나열 안에 걸린다. 다만 항마다 어느 대목을 대조했는지가 다를 뿐이다.
같은 지침은 대조가 나아갈 방향까지 일러 둔다. 인용의 진위를 가리려면 무엇보다 원문을 직접 보아야 한다는 뜻이다. “Judicial office holders are personally responsible for material which is produced in their name. Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence.” 사건번호가 검색 결과에 나타났는지, 초안에 적힌 선고일이 원문과 같은지, 판시 요약이 원문의 방향을 따르는지는 모두 원문을 연 뒤에야 사실로 남는다. 검색창의 결과만으로 어느 단계에서 인용이 만들어졌는지를 알아내기는 어렵다.
표 아래에 적은 항목들은 이 나머지를 남겨 둔다. 작성자가 원문을 열어 보았는지, 어떤 작업 단계에서 인용이 생겼는지, 의뢰인에게 어떤 설명이 있었는지는 미정의 상태로 남는다. 영국 사법부의 지침은 이 나열을 요구하는 범위에서 인용 대조의 필요를 뒷받침할 뿐, 한국 법원의 규칙이나 특정 모델의 현재 성능 수준을 확정하지 않는다. 영국 지침이 언급한 기준은 영국과 웨일스의 법을 전제한 지시이고, 이 사례에서 관찰한 것은 초안에 적힌 인용과 검색 결과의 차이다.
한국지능정보사회진흥원의 가이드가 학습 데이터에 요구한 항목도 같은 자리에 둔다. “신뢰성 Ÿ 데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함” 자료의 출처를 확인하는 일은 이 사례에서 인용 대조의 출발점이 된다. 그러나 그 출처가 만들어 낸 문장이 언제나 맞는다는 뜻은 아니다. 출처 신뢰성은 원자료를 모을 때의 기준이고, 판결문의 사건번호와 선고일을 옮기는 일은 그 원자료를 읽어 옮기는 별개의 작업이다.
이로써 표는 측정 도구가 아니라 대조의 틀로 마무리된다. 세 항은 인용의 어느 대목이 원문과 어긋났는지를 대조하기 위한 자리표일 뿐이고, 원문을 보지 않고는 항의 채움이 확정되지 않는다. 표가 가리키는 경계를 넘어서면, 이제 유형을 나눈 항을 하나씩 묻는 문항으로 옮겨야 한다.
다룬 공식 문서
- 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)
- 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)