요약
이 장은 측정 결과를 기준선과 견주었을 때 무엇이 보이고 어떤 능력이 갈라지는지를 묻는다. 기준선이 놓이는 자리와 함께 움직이는 실패들, 평가자 자리와 자료 오염을 차례로 살피고, 판시 방향과 조문 숫자가 다른 능력으로 갈라지는 점과 원문 대조의 확인 절차, 견준 결과의 해석 범위를 밝힌다.
10.1기준선이 놓이는 자리
앞 장에서 남겨둔 보류의 평가 문제는 능력과 기준의 문제로 곧 이어진다. 측정 결과를 견주려면 우선 능력 없이 얻는 자리가 어디인지 알아야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-2.11-001은 산출물 속 편향과 증오성 같은 항목을 수치로 옮길 때 쓰는 도구를 지정한다. "Apply use-case appropriate benchmarks (e.g., Bias Benchmark Questions, Real Hateful or Harmful Prompts, Winogender Schemas15) to quantify systemic bias, stereotyping, denigration, and hateful content in GAI system outputs; Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 이 문장은 평가 도구를 쓸 때 그 도구의 전제와 한계까지 함께 적도록 요구한다. 측정 결과는 언제나 그 도구의 한계를 안고 제시된다는 뜻이다.
같은 자료 MS-1.3-002는 평가에 참여하는 사람을 정한다. "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 이어 MS-1.3-003은 평가자가 개발 업무에서 떨어져 있어야 함을 밝힌다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 평가자는 문제의 맥락을 아는 사람이어야 하고, 같은 모델을 만든 사람은 평가에서 물러나야 한다는 뜻이다.
숫자로 옮길 수 없는 항목도 평가 대상에서 빠지지 않는다. MS-1.1-009는 측정할 수 없는 위험을 적도록 요구한다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 측정하지 못한 위험은 사라지지 않고 한계 위험에 더해진다. 측정 결과가 담지 못하는 자리는 기록으로 남는다.
이 자리에서 합성 사례로 돌아가 보자. 준비서면 초안에 적힌 판결 인용 하나는 국가법령정보센터 검색 결과 0건이었다. 다른 인용은 선고일이 달랐고, 또 다른 인용은 판시 요약의 방향이 원문과 달랐다. 이 관찰은 앞의 평가 항목이 겨냥하는 것과 같은 종류의 측정 대상인가. 자료의 평가 항목은 산출물의 편향과 증오성을 정한 것이고, 인용의 존재 여부나 날짜의 정확함을 곧바로 수치로 옮기는 지표를 따로 두지 않았다. 판결 인용의 오류가 어느 항목에 들어가는지, 그리고 능력 없이 한 가지로만 답하는 대조값이 이 오류를 어디서 드러내는지는 자료가 정하지 않았다. 미정으로 남는다.
문서화와 추적은 이 자리를 지탱한다. 같은 자료 MG-4.2-001은 정기 점검과 보고를 요구한다. "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 아울러 MG-4.3-002는 오류를 남겨두도록 한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 같은 문서는 보고와 공유의 효과도 말한다. "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source."
이렇게 읽히는 평가 항목은 아무 능력 없이 한 가지로만 답해도 얻는 자리를 조용히 전제한다. 성능은 단독으로 서지 않고, 측정하지 못한 자리와 적어 둔 오류를 곁에 두고 서기 때문이다. 합성 사례에서 관찰된 인용의 번호 꼴과 날짜 차이가 어느 평가 항목에 놓일지는 이 자리에서 정해지지 않았다. 기준선이 측정 결과를 견주기 위한 무엇인지는 이 자료가 밝히지 않았고, 이 글도 그 자리를 비워 둔다.
10.2함께 움직이는 실패들
기준선을 무엇에 견주어 읽을 것인가를 살폈다면, 이제 그 견줌의 대상이 함께 흔들릴 수 있는지를 물어야 한다. 초안에 인용된 판결 하나는 국가법령정보센터 검색창에 사건번호를 넣었을 때 0건으로 나타났고, 같은 초안의 다른 판결들은 사건번호는 검색 결과에 나타났으나 선고일이 다르거나 판시 요약의 방향이 원문과 달랐다. 이러한 인용 오류는 아무 능력 없이 한 가지로만 답해도 얻는 기준선에 견주어 읽힌다. 여기서 묻는 바는 그 결과가 왜 한 건씩 따로 흔들리는 것이 아니라 함께 흔들리는지이다.
같은 모델에 의존하는 자리를 가리키는 말로, 미국 상무부 국립표준기술연구소는 “Algorithmic monocultures”라는 표현을 둔다. 그 정의는 다음과 같다: "3 “Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 같은 모델을 여러 자리에서 되풀이해 쓰면 결과가 서로 무관하게 흔들리는 대신 함께 흔들릴 수 있다는 뜻이다. 초안의 인용 오류가 한 건에 그치지 않고 같은 초안 안에서 함께 나타난 것은 이 견줄 자리를 보여 준다.
그 의존의 지도를 남길 항목으로, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절, GV-1.6-003는 GAI 시스템 목록 항목에서 "Underlying foundation models, versions of underlying models, and access modes." 을 함께 적을 것을 권고한다. 기반 모델과 그 버전, 접근 방식을 적어 두면 결과가 어느 좌표에서 만들어졌는지가 남는다. 같은 목록 항목은 "Data provenance information (e.g., source, signatures, versioning, watermarks);" 을 함께 요구한다. 데이터 내력이 함께 기록되어야 같은 모델이라 하더라도 어떤 흔들림이 같은 좌표에서 나온 것인지 가릴 수 있다.
같이 움직이는 흔들림을 수로 못 박을 수 없는 자리도 함께 다룬다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 측정할 수 없는 위험을 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 는 항목에 따라 왜 측정할 수 없는지를 설명과 함께 추적하고 문서화한다. 측정할 수 없는 위험은 여전히 주변 위험에 넣어 함께 둔다. 기준선이 수로만 오르내리는 것이 아니라, 수로 잡히지 않는 흔들림과 나란히 놓이는 자리가 여기에 있다.
오류와 준사고, 부정적 영향의 기록도 같은 좌표를 남긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 그 기록의 자리로 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 는 항목을 둔다. 이 기록이 남기는 것을, 같은 문서의 부록 A는 "Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents." 로 설명한다. 버전 이력과 메타데이터가 함께 남아야 응답하는 자리가 같은 좌표를 공유할 수 있다.
따라서 초안의 인용 오류는 같은 모델에 의존한 결과가 함께 흔들릴 수 있는 자리에서 읽힌다. 그 자리는 기반 모델과 버전, 데이터 내력, 접근 방식, 오류 기록이 함께 남는 목록에 좌표를 얻는다. 이 인용들이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다. 위 관찰은 확정 손해나 고의 같은 법적 평가가 아니다.
10.3평가자 자리와 자료 오염
기록과 추적으로 잡아야 할 대상이 함께 흔들리는 실패들에 이어, 측정 결과를 흔들 수 있는 조건으로 시험자의 자리와 시험 자료의 상태를 들여다보아야 한다. NIST AI 600-1은 구조화된 인간 피드백 절차에 어떤 사람이 참여해야 하는지를 먼저 정한다. 미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MS-1.3-002는 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 말한다. 평가는 쓰임의 맥락을 아는 사람과 그 맥락의 대상에 해당하는 사람을 함께 고려하여 짜는 일이다. 같은 문건 MS-1.3-003은 평가자 자격에 한 가지 조건을 더 붙인다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."이라고 적혀 있다. 같은 모델의 개발 과제에 직접 관여한 사람은 그 모델을 평가하는 자리에 서지 않도록 확인하라는 뜻이다.
이 조건을 앞 사례에 비추면 평가자의 자리는 바로 이 자리에 놓인다. 준비서면 초안을 만든 인용을 검토하는 사람과 그 초안을 내도록 한 시스템의 개발에 직접 관여한 사람이 같다면, 그 검토는 MS-1.3-003이 요구하는 확인을 통과하지 못한다. 자료가 요구하는 바는 검토 메모를 주고받는 방식이 아니다. 평가자의 독립은 공유의 빈도나 문서화의 정성으로 대신 확보되는 것이 아니다. 누가 개발에 직접 관여했는지가 먼저 확인되어야 한다. 이 밖에 어떤 절차를 거쳤는지는 미정이다.
측정의 대상이 되는 시험 자료 자체가 오염될 수도 있다. 같은 문건 MS-2.11-001은 벤치마크 적용에 관한 항목에서 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 요구한다. 벤치마크의 가정과 한계를 문서화하되, 실제 또는 가능한 훈련 자료와 시험 자료의 상호 오염을 함께 적으라는 것이다. 오염은 벤치마크가 무효하다는 선언이 아니다. 측정치를 읽을 때 참작할 조건을 남겨 두라는 요구다. 훈련과 시험이 겹친 자료 위에서 얻은 점수는 그 겹침을 함께 읽지 않으면 기준선 대비 결과로 읽히지 않는다.
초안의 인용 세 건이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다. 평가자가 어느 자리에 서 있었는지도 마찬가지다. 다만 측정 결과를 함께 움직이게 하는 조건이 시험자와 시험 자료 양쪽에 놓인다는 점만은 분명하다. 오염된 자리에서 나온 점수는 그 오염을 함께 기록할 때에만 기준선 대비 읽기가 가능하다.
측정 자체가 불가능한 위험은 따로 남겨 둔다. 같은 문건 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 적는다. 정량으로 재지 못하는 위험도 추적하고 설명을 남기며, 재지 못하는 위험을 한계 위험에 넣으라는 것이다. 평가자 자리와 자료 오염의 효과가 숫자로 환산되지 않는다고 해서 목록에서 빠지는 것은 아니다.
10.4판시 방향과 조문 숫자
오염을 막는 조건이 평가자의 자리를 다루는 문제였다면, 이제 측정된 내용이 무엇을 향하고 있는지라는 별개의 문제가 남는다. 초안에 적힌 인용 세 건 가운데 한 건은 사건번호 검색에서 0건으로 나왔고, 다른 한 건은 선고일이 달랐으며, 또 다른 한 건은 판시 요약의 방향이 원문과 어긋났다. 여기서는 그 세 가지 어긋남의 결이 서로 다르다는 사실만을 놓고, 판시의 방향을 읽는 능력과 조문의 숫자를 맞추는 능력이 갈라지는 지점을 살핀다.
조문의 숫자가 무엇을 뜻하는지부터 가늠하기 위하여 환각의 범위를 적어 둔 자료를 먼저 옮긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 그 범위를 다음과 같이 잡는다. "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.”" 같은 자료는 그 문장 바로 앞에서 "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 라고 하여, 같은 모델에 의존한 반복 사용이 계열화된 오류에 대한 취약성을 높인다고 본다. 같은 모델이 반복하여 쓰이는 자리에서 만들어지는 숫자와 문자열이 한쪽으로만 치우칠 수 있다는 뜻이므로, 사건번호와 선고일의 형식이 그럴듯하다는 사실만으로는 그 값이 원문과 같은지가 드러나지 않는다.
판시의 방향은 그와 다른 종류의 것이다. 형식은 맞더라도 요약된 내용이 원문이 나아가는 바퀴를 거꾸로 돌려 놓을 수 있기 때문이다. 환각의 범위를 적은 자료는 이 방향까지 포괄한다. 그 자료는 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. For instance, LLMs sometimes provide logical steps for how they arrived at an answer even when the answer itself is incorrect." 라고 적는다. 근거를 대는 자리에 지어낸 논리와 인용이 함께 나오면, 독자는 그 논리와 인용을 보고 답을 신뢰하게 된다. 따라서 초안의 인용 세 건 가운데 요약 방향이 원문과 달랐던 한 건은 숫자의 문제와 섞이지 않은 채로 그 방향의 문제로만 읽어야 한다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III절은 확인이 필요한 대상을 이렇게 적는다. "Information provided by AI tools may be inaccurate, incomplete, misleading or out of date. Even if it purports to represent the law of Engl and and Wales, it may not do so. This includes cited source material which might also be hallucinated." 같은 절은 환각의 모습을 세 가지로 나열한다. "• make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist," 가 그 첫째이고, "• provide incorrect or misleading information regarding the law or how it might apply, and" 가 그 둘째이며, "• make factual errors." 가 그 셋째이다. 이 나열에서 사건번호와 선고일은 첫째와 셋째에 걸리고, 판시 요약의 방향은 둘째에 걸린다. 같은 목록에 함께 적혀 있어도 항목의 결이 다르므로, 하나의 점검으로 한꺼번에 처리되지 않는다.
확인의 무게가 어디에 실리는지도 이 구분에 따라 달라진다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 V절은 "Judicial office holders are personally responsible for material which is produced in their name. Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 라고 적는다. 원문을 직접 읽는 일이 자리를 대신하지 못하는 근거로는, 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)의 법률 검색 항목이 "• Legal research: AI tools are a poor way of conducting research to find new information you cannot verify independently. They may be useful as a way to be reminded of material you would recognise as correct, although final material should always be checked against maintained authoritative legal sources." 라고 덧붙인다. 스스로 확인할 수 없는 새 정보를 찾는 수단으로는 약하고, 옳은 줄 알아볼 재료를 떠올리게 하는 자리로는 쓸 수 있다는 뜻이다. 사건번호를 검색창에 넣어 0건으로 확인하는 일과, 판시 요약의 방향을 원문과 견주어 읽는 일은 이 기준에 비추어 볼 때 서로 다른 짓이다.
오류가 만들어지는 쪽의 모양도 함께 적어 둘 필요가 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 이렇게 요구한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 같은 자료의 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 라고 적고, 부록 A는 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source. Greater awareness and standardization of GAI incident reporting could promote this transparency and improve GAI risk management across the AI ecosystem." 라고 이어 간다. 기록을 남겨 두어야 추적이 가능해진다는 이 요구는, 판시의 방향과 조문의 숫자가 각각 어떻게 어긋났는지를 나누어 적어 두었을 때에만 제대로 작동한다.
그래서 이 자리에서의 결론은 하나이다. 인용 세 건의 어긋남은 한 가지 능력의 결함이 아니라, 형식과 값을 맞추는 일과 내용의 방향을 읽는 일이라는 두 능력이 각각 놓친 자리이다. 이 판단은 손해나 고의에 대한 평가가 아니다. 그 세 건이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정으로 남는다. 미정인 채로 남겨 둔 이 사실 자체가, 숫자의 확인과 방향의 확인을 한 가지 일로 묶지 말아야 할 이유이다.
10.5원문 대조의 확인 절차
판시 방향과 조문 숫자를 각각 평가할 때 그 기준으로 삼은 원문이 무엇인지 밝히지 않고서는 견눈 결과를 놓고 할 수 있는 말이 얼마 되지 않는다. 인용을 확인하는 일은 요약이 그럴듯한지 보는 것과 다른 작업이다. 요약이 매끄러워 보여도 근거 문장이 없다면 확인된 것이 아니다. 이 점에서는 영국 사법부가 법관에게 권한 자료에 대해 밝힌 지침이 확인의 최소 조건을 밝힌다.
영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 확인의 시점을 먼저 못 박는다. 그 지침은 "The accuracy of any information you have been provided by an AI tool must be checked before it is used or relied upon" 라고 적는다. 확인은 인용을 본문에 넣기 전에 끝나야 하며, 뒤로 미룰 성질의 일이 아니다.
같은 지침 III절은 확인 대상이 요약에만 머물지 않음을 분명히 한다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 인용된 원문 자체도 지어낸 것일 수 있다는 점을 "This includes cited source material which might also be hallucinated" 라고 덧붙인다. 사건번호와 선고일이 갖추어져 있어도 그 자체로 원문이 존재하는 것은 아니며, 인용을 붙인 자리까지 함께 확인해야 한다.
원문을 읽는 일에 관한 요구는 V절에서 더 구체화된다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence" 라고 적는다. 요약문을 읽는 것으로 원문을 읽은 셈이 되지 않으며, 도구는 그 자리를 대신하지 않는다.
확인할 원문의 출처에 관해 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 V절의 법률 조사 항목에서 "final material should always be checked against maintained authoritative legal sources" 라고 요구한다. 유지되어 온 권위 있는 법률 원문과 대조한 뒤에만 최종본이 된다. 이는 국가법령정보센터 검색창에 사건번호를 넣어 0건을 확인한 상황과 그 방향이 맞닿는다. 사건번호가 잡히지 않는 인용은 그 자체로 원문을 찾은 것이 아니다.
다만 이 요구를 한국 법원의 규칙으로 옮길 수는 없다. 앞의 인용은 영국의 법관에게 주어진 지침이지 한국의 소송에서 적용되는 절차 규정이 아니다. 같은 이유로 이 지침이 어떤 모델의 현재 성능을 말하는 것도 아니다. 지침은 인용을 확인하는 절차가 무엇을 요구하는지 밝힐 뿐이며, 초안의 인용 세 건 가운데 어느 작업 단계에서 글자가 만들어졌는지와 작성자가 원문을 열어 보았는지는 미정이다. 확인 절차의 요건을 밝힌 것으로 그 미정까지 해소되지는 않는다.
10.6견준 결과의 해석 범위
원문 대조가 확인 절차를 요구하는 것은 인정하되, 이제는 그 확인의 결과를 어디까지 읽어 내야 하는지가 문제이다. 미국 상무부 국립표준기술연구소(NIST)의 인공지능 위험관리 프레임워크 생성형 인공지능 프로필(NIST AI 600-1)은 환각의 범위를 이렇게 넓힌다: "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.”" 견눈 결과가 지어낸 사건번호에 그치지 않고, 같은 문서 안에서 서로 충돌하는 진술도 같은 현상에 들어간다. 이 범위는 이 사례에서 세 가지 관찰을 한 묶음으로 다루어야 함을 뜻한다.
같은 문서는 근거로 제시된 인용 자체도 그럴듯한 허구에 들어갈 수 있다고 본다. 인용의 형식이 정교해 보여도 그 존재가 보증되는 것은 아니라는 점을 분명히 하려고 인용한다: "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 사건번호와 선고일이 완벽한 꼴로 붙어 있어도 그 표기만으로 판결이 실재한다고 보아서는 안 된다. 아울러 견눈 결과는 출력의 범위를 넘어서므로, 계량할 수 없는 위험도 함께 기록할 것을 요구한다: "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 검색 결과 0건이나 선고일 불일치 같은 관찰이 이 사례에서 어떤 비중을 갖는지 확정하기 전이라도, 그 관찰 자체는 남겨 두어야 한다.
확인의 책임 소재를 가리키는 근거로는 영국 법원·심판소 사법부의 2025년 지침을 둔다. 그 지침은 환각의 양상을 이렇게 적는다: "• make up fictitious cases, citations or quotes, or refer to legislation, articles or legal texts that do not exist," 이 사례에서 사건번호가 검색되지 않는 현상은 이 첫째 유형이 지목하는 범위 안에 놓인다. 지침은 인용된 원자료까지 그럴듯한 허구일 수 있음을 함께 경계한다: "This includes cited source material which might also be hallucinated." 따라서 인용문의 꼴이 그럴듯하다는 사실만으로 기준선이 마련되었다고 볼 수 없다.
영국 지침이 직접 읽기를 요구하는 조항은 이 사례에서 담당자의 행동 기준을 가리킨다. 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)은 이렇게 말한다: "Judges must always read the underlying documents. AI tools may assist, but they cannot replace direct judicial engagement with evidence." 원문을 열어 보았는지 여부는 이 사례에서 미정으로 남아 있으므로, 그 지침의 기준을 이 사례에 충족되었다고 단정할 수 없다. 지침이 연구 방법에 대해 밝힌 한계도 함께 둔다: "They may be useful as a way to be reminded of material you would recognise as correct, although final material should always be checked against maintained authoritative legal sources." 이미 아는 판결을 떠올리는 데 도움이 되는 출력과 처음 보는 판결을 새로 찾아 내는 출력은 그 신뢰의 자리가 다르다.
견준 결과가 확정하는 것은 여기까지이다. 검색 결과 0건인 사건번호가 끝내 오류인지, 또 선고일이 다른 표기와 판시 요약이 원문과 다른 방향을 가진 기술이 각각 어떤 성질의 불일치인지 판단하는 일은 남는다. 아울러 보고와 기록의 채비에 대해서는 이렇게 요구한다: "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 이 기록의 기준은 견눈 결과를 판정하기 전이라도 마련할 수 있다. 이 관찰이 확정된 손해나 고의에 관한 법적 평가와 같은 것이 아님은 앞서 밝힌 바 있다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 영국 법원·심판소 사법부(Courts and Tribunals Judiciary), Artificial Intelligence (AI), Guidance for Judicial Office Holders, 2025-10-31, III·V절 및 4절, 인쇄면 5~7쪽 (PDF 6~8쪽)