Summary
이 장은 측정이 보여 준 오류를 문서 작업 절차의 어디에서 걸러낼 수 있는지를 묻는다. 문서 절차 속 대조 지점을 찾고 기억으로 쓰는 방식과 원문 대조의 차이를 살핀 뒤, 검색증강이 환각을 줄이는 자리와 남기는 위험, 기록과 평가의 절차 요건을 차례로 검토한다.
12.1문서 절차 속 대조 지점
앞에서 기록의 기준을 세웠으므로, 이제 준비서면을 만드는 절차 가운데 어디에서 인용을 원문과 맞춰 볼지를 묻는다. 준비서면의 인용이 측정에서 오류로 드러났다면, 그런 대조가 이루어지지 않은 자리는 절차의 어느 마디인지를 가려야 한다. 이 글은 오류의 빈도나 책임의 소재를 새로 정하지 않는다.
먼저 대조가 필요한 대상의 넓이를 살펴본다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절은 출력에 섞이는 근거의 모양을 다음과 같이 말한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. For instance, LLMs sometimes provide logical steps for how they arrived at an answer even when the answer itself is incorrect." 이 구절은 인용이 논리의 자리에 함께 놓인다는 점을 보여 준다. 그러므로 대조할 자리는 판결문의 번호에만 있지 않다.
같은 문서 2.2절은 환각이라 불리는 현상을 한층 넓게 잡는다. ""Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context." 사건번호가 검색되지 않는 경우와 선고일이 어긋난 경우는 같은 테두리 안에 놓인다. 초안에 적힌 판시 요약의 방향이 원문과 다른 경우도 여기에 함께 들어간다.
그렇다면 인용이 들어가는 문서를 언제 열람해서 살펴볼 것인지를 정해야 한다. GV-1.6-003은 시스템 목록 항목에 담을 내용 가운데 "Data provenance information (e.g., source, signatures, versioning, watermarks)"를 꼽는다. 출처와 버전이 적힌다면 원문 대조의 자리를 만들기가 수월하다. 다만 이 항목은 시스템 목록을 위한 것이지 준비서면 한 건의 검토 시점을 지정하지는 않는다.
대조가 양을 따지는 일에 머물지 않는다면, 양으로 잡히지 않는 부분도 함께 기록되어야 한다. MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 검색 결과가 0건이라 잡힌 오류와 같이 수로 드러난 항목만 기록한다면, 원문을 열어 보았는지 같은 물음은 남는다.
마지막으로 대조를 맡을 사람을 어느 자리에 둘지를 정한다. MS-1.3-002는 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 권하고, MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라는 단서를 덧붙인다. 두 항목을 놓고 보면, 대조의 자리는 절차의 한 마디에 국한되지 않고 그 마디를 맡을 사람이 누구인지를 함께 봐야 한다. 이 사례에서 대조가 이루어진 지점과 그 사람이 누구인지는 미정으로 남는다.
12.2기억으로 쓰기와 원문 대조
측정으로 드러난 인용 오류를 어느 절차에서 걸러낼지 묻던 자리에서, 오류가 만들어지는 방식까지 함께 살펴보아야 인용의 정확성을 지키는 대조가 어느 작업 단계에 놓여야 하는지가 분명해진다. 이 절에서는 인용을 원문에 맞춰 옮기는 것과 기억에 남은 대로 적어 내는 것을 가르고, 대조가 필요한 지점을 찾아본다. 작업 단계나 작성자의 열람 여부가 미정인 사례의 경위는 지어내지 않고 둔다.
생성형 인용 오류의 성격을 규정한 것은 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3이다. 그 규정은 ““Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.””라고 되어 있다. 오류 내용이 권위 있는 문장 형식으로 함께 나오는 것도 환각의 한 모습으로 함께 묶여 있다.
같은 자료는 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)에서 인용을 꾸며 내는 양상을 따로 짚어서 “GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. For instance, LLMs sometimes provide logical steps for how they arrived at an answer even when the answer itself is incorrect. Similarly, an LLM could falsely assert that it is human or has human traits, potentially deceiving humans into believing they are speaking with another human.”라고 적고 있다. 오류가 결과와 그 근거의 자리에 함께 놓일 수 있다는 이 설명은, 사건번호가 붙은 판례 인용처럼 보이는 글이 오류의 자리에 놓일 수 있다는 점을 가리키는 것으로 읽힌다.
대조가 필요한 지점은 인용이 만들어지는 방식과 관련된다. 자료가 정의한 대로 환각은 프롬프트에 대해 오류 내용을 자신 있게 내놓는 현상이며, 그 출력에는 프롬프트에서 벗어나거나 같은 맥락에서 앞선 진술과 모순되는 것도 포함된다. 사건번호와 선고일이 함께 붙은 판례 인용 역시 그 형식만으로는 정확성이 보이지 않는다. 국가법령정보센터 검색창에 사건번호를 넣어 0건이 확인된 인용, 초안의 선고일과 검색 결과가 다른 인용, 판시 요약의 방향이 원문과 달랐던 인용은 각각 그 대조가 어느 자리에서 이루어져야 하는지 문제로 삼는다.
대조의 자리를 정하는 데는 자료의 권고가 도움이 된다. GV-1.6-003은 생성형 인물 정보 항목으로 “Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes.”를 함께 적도록 권한다. 출처와 버전, 사람의 감독 역할이 항목에 함께 들어간다는 점은, 인용을 옮길 때 원문과 대조하는 자리를 둘 것을 뒷받침한다.
원문 대조의 범위는 자료가 적은 다른 항목과도 맞닿는다. MG-4.3-002는 “Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts.”라고 권하고 있고, MG-4.2-001은 “Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made.”라고 권한다. 사건번호 0건이나 날짜 불일치, 요약의 방향 차이가 어느 작업 단계에서 만들어졌고 작성자가 원문을 열어 보았는지, 의뢰인에게 어떤 설명이 있었는지는 미정이다. 확인된 검색 결과만으로 손해나 고의 같은 법적 평가를 내리는 것은 이 자리에서 삼가야 한다.
12.3검색증강과 환각 완화
원문을 대조하지 않은 채 기억으로 옮겨 쓴 인용이 왜 조작되기 쉬운지 살핀 뒤에는, 인용의 정확성을 높이는 수단으로 자주 거론되는 검색증강의 자리부터 가릴 필요가 있다. 준비서면 초안처럼 근거를 찾아 붙이는 작업에서, 모델이 외부의 지식 베이스를 함께 들여다보며 문장을 만드는 방식은 그 인용을 전적으로 기억에만 맡기는 방식과는 성격이 다르다. 개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025-08, 31쪽(PDF 33쪽)은 이 방식의 출발점을 다음과 같이 밝힌다. "최근에는 생성형 AI의 성능 향상을 위해 외 부 지 식 베 이 스 를 검색 하고 이를 입력값에 결합하는 검색증강생성(RAG, Retrieval-Augmented Generation) 기법이 널리 활용되고 있습니다. " 이 서술은 검색한 외부 지식을 생성의 입력에 함께 넣는다는 점을, 이 기법의 출발점으로 분명히 한다.
안내서는 그러한 검색이 모델이 기억에만 의존할 때 생기는 결함을 어떻게 다루는지도 함께 적는다. 환각을 낮추는 효과를 확인하기 위하여 다음과 같이 이어진다. "이를 통해 AI 모델이 과거 지식에만 한정해서 응답을 생성하는 한계를 보완하고 환각(Hallucination)을 줄이면서 출 력 결 과 의 정 확 성, 최 신 성, 신 뢰 성 을 향상시킬 수 있습니다. " 이 문장이 확인하는 바는 한정적이다. 환각의 감소를 '줄일 수 있다'는 가능성으로 서술할 뿐이고, 그 서술에는 "과거 지식에만 한정해서 응답을 생성하는 한계를 보완"하는 조건이 함께 놓인다. 사건번호가 붙은 판결 인용을 쓰는 준비서면의 작업에서, 모델이 원문의 유무를 확인하지 않고 기억으로 번호와 선고일을 지어낸 상황과, 외부의 지식 베이스를 검색에 끌어들여 그 인용을 함께 만드는 상황은 그 지점에서 갈린다. 다만 자료가 제공하지 않은 것은, 이 기법이 사건번호나 선고일 같은 세부 항목의 정확성까지 담보한다는 확인이다. 안내서는 "출 력 결 과 의 정 확 성"을 향상시킬 수 있다고 서술하되, 어느 항목이 그 정확성에 드는지, 인용 표기의 어떤 요소가 보장되는지는 밝히지 않는다. 그러므로 국가법령정보센터 검색 결과가 0건이었던 초안의 인용에 관하여, 검색증강을 적용했으면 그 사건번호가 달라졌으리라고 단정할 수 없다.
안내서는 이어서 AI 에이전트의 발전 방향을 같은 연장선에서 적는다. 위 서술에 바로 이어지는 문장이 그 방향을 다음과 같이 말한다. "AI 에이전트(agent) 또한 그 연속선상에서 자율적이고 목표 지향적인 탐색을 통해 여러 환경 에서의 지식베이스를 지속적으로 탐색·검색하고 생성하는 방향 으로 발전 중입니다. " 이 서술은 외부 지식을 끌어들이는 범위가 하나의 기법에 머무르지 않고 계속 넓어지는 중임을 확인할 뿐이다.
안이 한정적임은 안내서가 함께 강조하는 반대 쪽의 확인에서도 드러난다. 검색이 생성에 관여하는 방식이 새로운 결함을 함께 낳는다는 점을, 다음과 같이 적는다. "다만, RAG나 AI 에이전트는 외부 지식베이스에 있는 문장을 검색 하고 이를 프롬프트에 결합하여 생성하는 과정에서 해당 문장에 포함된 개 인 정 보 를 그대로 유 · 노 출 하는 리스크가 상대적으로 커질 수 있습니다. " 이 경고는 검색한 외부 문장이 그대로 생성에 쓰인다는 점을 지적하되, 그 문장에 실린 개인정보의 처리에 관한 판단은 별도로 남긴다. 안내서는 그 처리의 적법성을 결론짓지 않고, 다음과 같은 방향만을 권고한다. "이에, 앞서 논의한 데이터 전처리, 필터링 등 안전조치 적용이 이들의 구현 과정에서 고려될 것이 권장됩니다. "
따라서 검색증강의 자리는 이와 같이 정해진다. 모델이 과거 지식에만 갇히지 않고 외부의 지식을 생성에 함께 끌어들임으로써 환각을 낮출 수 있다는 가능성은 자료가 확인하는 바이다. 그러나 사건번호와 선고일이 일치하는지, 판시 요약의 방향이 원문과 맞는지를 가르는 일은 그 가능성에 덧붙여야 하는 별개의 작업이다. 검색에 끌어들인 외부 문장이 인용의 형식까지 정확하게 완성해 주리라고 보아서는 안 되며, 인용 뒤에 붙은 근거를 실제로 열어 대조하는 단계가 여전히 필요하다. 아울러 검색으로 얻은 문장이 그대로 출력에 함께 남는다는 점은, 인용의 정확성과는 다른 차원의 우려를 낳는다. 그 우려가 무엇을 뜻하는지는 다음 절의 논의가 다룰 차례이다.
12.4검색증강이 남기는 위험
환각 완화의 가능성을 확인한 만큼, 이제 그 방법이 함께 남기는 위험을 따져야 한다. 개인정보보호위원회의 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」는 검색증강의 효과와 그 이면을 한 자리에서 설명한다. 안내서는 검색증강이 무엇인지 먼저 밝힌다. "[…] 최근에는 생성형 AI의 성능 향상을 위해 외 부 지 식 베 이 스 를 검색 하고 이를 입력값에 결합하는 검색증강생성(RAG, Retrieval-Augmented Generation) 기법이 널리 활용되고 있습니다"고 기록했다. 검색증강은 외부 지식을 응답의 근거로 끌어들이는 방법이다.
안내서는 이 방법이 노리는 효과를 분명히 한다. 다음 인용이 그 내용이다. "이를 통해 AI 모델이 과거 지식에만 한정해서 응답을 생성하는 한계를 보완하고 환각(Hallucination)을 줄이면서 출 력 결 과 의 정 확 성, 최 신 성, 신 뢰 성 을 향상시킬 수 있습니다"고 적었다. 여기서 강조할 대목은 환각의 감소가 "줄이면서"로 표현된다는 사실이다. 감소는 보장을 뜻하지 않는다. 따라서 검색증강을 거친 인용이라도 사건번호와 선고일을 원문과 맞추는 확인은 여전히 남는다.
안내서는 그 한계를 지나, 검색증강이 새로 만들 위험을 든다. 위험을 뭐로 보는지 밝힐 필요가 있다. "다만, RAG나 AI 에이전트는 외부 지식베이스에 있는 문장을 검색 하고 이를 프롬프트에 결합하여 생성하는 과정에서 해당 문장에 포함된 개 인 정 보 를 그대로 유 · 노 출 하는 리스크가 상대적으로 커질 수 있습니다"고 경고했다. 문장 단위로 나뉜 자료를 그대로 끌어오면, 거기에 섞인 개인정보까지 응답에 실릴 수 있다는 뜻이다. 환각을 줄이는 조처가 오히려 유·노출의 통로가 되는 셈이다.
안내서는 이 둘을 따로 놓지 않고 함께 다룬다. 한쪽만을 위한 처방은 없는 셈이다. "이에, 앞서 논의한 데이터 전처리, 필터링 등 안전조치 적용을 이들의 구현 과정에서 고려할 것이 권장됩니다"고 말했다. 권장은 의무의 표현이 아니다. 자료가 강제하는 처리 기준이나 특정 제품 도입의 시점은 정하지 않는다. 개인정보 처리의 적법성 여부도 이 자료가 결론 내린 범위 밖에 남는다. 이 장은 다만 그 경계를 표시한다. 검색증강이 인용의 오류를 줄이는 동시에 개인정보 유·노출의 가능성을 함께 남긴다는 점, 그 사실을 확인하는 선에서 멈춘다.
12.5기록과 평가의 절차 요건
검색증강이 환각을 줄이면서도 새로운 위험을 남긴다고 확인한 데서 나아가, 이제 이 사례의 인용 오류를 드러내고 평가하는 절차가 무엇을 요구하는지 살필 차례이다. 앞 절의 관찰대로, 초안에 적힌 대법원 판결 하나는 국가법령정보센터 검색 결과가 0건이었고, 다른 하나는 선고일이 달랐으며, 또 다른 하나는 판시 요약의 방향이 원문과 달랐다. 이 셋 가운데 어느 것이 환각인지, 오류가 어느 작업 단계에서 생겼는지, 작성자가 원문을 열어 보았는지는 미정이다. 다만 오류를 걸러내고 개선을 보고하는 절차의 요건은 미정과 무관하게 정해 둘 수 있다.
먼저 무엇을 기록으로 남길지이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003는 기반 모델의 내력을 항목으로 남기라고 정한다. 이 항목이 왜 필요한지를 밝히면서 “Underlying foundation models, versions of underlying models, and access modes”를 옮긴다. 이 사례에서 초안을 만든 기반 모델과 그 버전이 기록에 남아 있었다면, 어느 모델이 어떤 방식으로 근거를 지어 냈는지를 뒤늦게라도 추적할 수 있다. 같은 맥락에서 이 항목은 데이터 출처와 서명, 버전 표시, 워터마크 같은 “Data provenance information (e.g., source, signatures, versioning, watermarks)”를 요구한다. 검색으로 끌어온 원문의 출처와 버전이 함께 남아야 선고일이 어긋난 인용이 검색 결과와 어떻게 갈렸는지를 대조할 수 있다.
그다음은 측정으로 잡히지 않는 위험을 어떻게 남길지이다. 같은 문건의 MS-1.1-009는 “Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks”라고 적는다. 인용이 실제로 열려 본 것인지는 이 사례에서 확인되지 않았고, 그러한 확인 자체가 수치로 재어지지 않는다. 그렇더라도 왜 수치로 못 재는지 설명을 남기고 측정되지 않은 위험을 잔여 위험에 넣으라는 요구는, 확인되지 않은 상태를 확인된 것으로 둔갑시키지 않도록 붙드는 장치이다.
평가는 그 위에 얹는다. MS-1.3-002는 “Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use”라고 정한다. 이 사례에서라면, 판례 원문에 익숙한 사람이 초안의 사건번호와 선고일, 판시 요약을 대조하는 평가에 참여해야 한다. 다만 평가자의 자격만으로 평가가 공정해지는 것은 아니다. MS-1.3-003는 “Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model”이라 못 박는다. 이 사례의 검토 메모가 있었다 하더라도, 그 메모를 초안 작업자와 평가자 사이에 공유했다는 사실이 평가의 독립성을 보장한다는 근거가 되지 못하는 까닭이 여기에 있다. 개발에 직접 관여한 사람이 같은 모델의 평가를 맡는지를 확인하지 않으면, 검토 메모의 공유는 오히려 평가자를 작업자의 판단에 묶어 둘 수 있다.
시험자료의 오염과 실제 개선의 보고도 같은 결에서 요구된다. MS-2.11-001는 벤치마크의 한계를 적으면서 “Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment”라고 한다. 평가에 쓴 사건번호 목록이 학습에 섞여 있었다면, 검색 결과 0건이든 선고일 불일치든 그 오류의 원인을 가리기가 어려워진다. 끝으로 MG-4.2-001은 “Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made”라 하고, MG-4.3-002는 “Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts”라 정한다. 걸러낸 오류를 기록으로 남기고 개선을 보고에 올리는 두 요건이 함께 있어야, 이 사례의 세 인용 가운데 어느 것이 지워지고 무엇이 고쳐졌는지가 남는다. 관찰된 인용 오류는 확정 손해나 고의라는 법적 평가가 아니며, 위 절차가 채워졌는지도 이 사례에서 미정으로 남는다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025-08, 31쪽 (PDF 33쪽)