요약
판단이 필요한 검토의 범위가 어디까지인지를 묻고, 판단이 갈라지는 자리를 검토한다. 문제 인식과 접근의 배치, 논리 흐름의 검토, 빠진 논점 찾기, 한계와 시사점의 기술을 차례로 살피고 검토 판단의 경계를 정리한다. 자동 대조로 확인되는 사실의 목록은 되풀이하지 않는다.
9.1판단이 갈라지는 자리
규칙 절차가 형식의 오류를 잡고 나면, 남는 일은 초안의 구성과 논리를 읽는 것이다. 그렇다면 편집 검토와 자동 대조는 그 판단의 어느 선에서 갈라지는가.
대조 절차는 사실 목록을 만든다. 앞 절에서 확인한 대로 절차는 인용의 존재와 표시, 조항의 번호와 구절, 보관과 무결성을 대조한다. 이 절차는 무엇이 적혀 있는지 밝히는 데서 끝난다. 초안의 논리가 앞뒤로 맞는지, 다룰 논점 가운데 무엇이 빠졌는지, 한계를 어디까지 적어야 하는지는 절차가 답할 자리가 아니다. 자동 대조에서 확인된 조항 번호 불일치도 이 경우에 그 사실로만 남는다. 이 오류가 최종 결과에 어떤 영향을 주었는지, 두 모델이 같은 판단을 내린 까닭이 무엇인지는 정하여지지 않았다.
편집 검토가 맡을 판단을 가리킬 때, 법원행정처는 활용례의 구성에서 문제인식을 맨 앞에 둔다. 대법원 법원행정처, 2026년 2월 24자 「「법관을 위한 AI 가이드북」 발간(보도자료)」 첨부 3쪽은 활용례의 구성을 밝히면서 "● 각 활용례를 셀프 학습을 할 수 있도록 아래와 같은 내용으로 구성함으로써 가이드북 이용자가 스스로 AI 활용의 확장성을 체득할 수 있도록 기획함"이라고 서두를 연다. 같은 자료는 이어서 "- ① 문제상황 인식(☞ ⓐ 시간·노력의 감축 필요성, ⓑ 정확도 체크의 요구, ⓒ 반복 작 업) → ② 문제해결의 접근 방식(☞ 프롬프트 엔지니어링 주요 방법론 중 적합한 기법 적용 시뮬레이션 & 기술적·법적·윤리적 유의사항 고려) → ③ 인공지능을 활용한 문제 해결 → ④ 성과 분석 → ⑤ 한계 및 시사점 정리"라고 배열을 적는다. 구성과 논점, 한계의 판단은 이 배열에서 ②와 ⑤의 자리를 차지하며, 대조 절차가 놓고 간 사실을 읽어 그 자리를 채우는 일이다.
한편 미국 상무부 국립표준기술연구소(NIST)는 사람이 맡을 피드백의 자리를 구체화한다. 그 자료의 MS-1.3-003 항목은 구조화된 사람 피드백의 수행자를 가리켜 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 규정한다. 이 규정은 같은 모델을 만든 일에 직접 관여한 사람이 그 모델의 피드백을 맡지 않도록 한다. 이 경우 편집자와 모델 B는 같은 회사 계열에 있고, 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 다만 검토 메모가 초안 작성과 다음 검토에 남긴 영향이 어느 것인지는 정하여지지 않았다.
이 사례에서 판단이 갈라지는 자리는 이렇다. 대조 절차는 조항 번호가 다르다는 사실을 적어 넘긴다. 편집 검토는 그 사실이 초안의 논리에 무엇을 뜻하는지, 어느 논점이 비었는지, 한계로 적을 것이 무엇인지를 가린다. 둘은 같은 자료를 보되, 답하는 물음이 다르다. 교차 검증의 성능을 입증한 자료는 주어지지 않았으므로, 어느 쪽이 더 정확하다는 판단은 이 자리에서 유보한다.
9.2문제 인식과 접근의 배치
자동 대조가 잡아낸 사실 목록과 판단이 갈라진 자리를 나눈 뒤에는, 그 판단이 활용례의 어느 자리에서 시작되었는지 살피는 일로 넘어간다. 활용례를 셀프 학습의 단위로 삼는 구성에서 문제 인식과 접근 방식이 차지하는 자리를 두 모델이 실제로 어떻게 받아들였는지를 읽기 전에는, 같은 지점에서 같은 판단이 나온 까닭을 따질 수 없다.
먼저 구성의 순서 자체를 확인한다. 대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 3쪽, 실무 활용례 구성 (PDF 3쪽)은 활용례가 "① 문제상황 인식(☞ ⓐ 시간·노력의 감축 필요성, ⓑ 정확도 체크의 요구, ⓒ 반복 작 업) → ② 문제해결의 접근 방식(☞ 프롬프트 엔지니어링 주요 방법론 중 적합한 기법 적용 시뮬레이션 & 기술적·법적·윤리적 유의사항 고려) → ③ 인공지능을 활용한 문제 해결 → ④ 성과 분석 → ⑤ 한계 및 시사점 정리"의 순서로 구성되었다고 밝힌다. 이 배치에서 문제 상황 인식은 접근 방식보다 앞에 놓이고, 접근 방식은 문제 해결보다 앞에 놓인다. 편집자가 초안을 맡긴 자리에서 모델이 해야 할 일은 장을 쓰는 것이었으나, 그 앞에 두 모델이 놓인 순서는 이 배치를 따른 것으로 보인다.
문제 상황 인식을 이루는 세 요소가 이 사례에 어떻게 놓이는지도 분리해 적어야 한다. 위 인용이 든 시간·노력의 감축 필요성, 정확도 체크의 요구, 반복 작 업 가운데 어느 것이 편집자의 검토 요구를 움직였는지는 미정이다. 다만 B에게 넘겨진 일이 "문제없음"이라는 메모와 통과 도장을 남기는 검토였다면, 그 검토는 ②의 접근 방식을 새로 정하는 일이 아니라 ③의 문제 해결이 이미 끝난 결과를 확인하는 자리에 놓인다. 접근 방식이 검토 절차에서 다시 선택되었는지, 아니면 초안 작성 단계에서 한 번만 정해졌는지 역시 미정이다.
접근 방식의 자리에 들어가는 기법 적용과 유의사항은, 대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 3쪽, 실무 활용례 구성 (PDF 3쪽)이 적은 대로 옮기면 "프롬프트 엔지니어링 주요 방법론 중 적합한 기법 적용 시뮬레이션 & 기술적·법적·윤리적 유의사항 고려"이다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려져 있다는 사실은, 접근 방식의 선택이 같은 방향으로 흘렀을 가능성을 시사할 뿐이다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지, 그 판단이 접근 방식의 선택에서 나온 것인지 판단의 공유에서 나온 것인지는 미정으로 남는다. 그러한 확정은 이 관찰된 사실들만으로 이루어지지 않는다.
마지막으로 문제 인식과 접근의 배치가 결과에 남긴 흔적을 구분해 둔다. 자동 대조에서 확인된 원문 인용의 조항 번호 불일치는 ③의 문제 해결 단계에서 생긴 사실이고, ⑤의 한계 및 시사점 정리에 이를 적을 자리는 뒤에 있다. 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 확정 손해나 고의 같은 법적 평가가 이 관찰만으로 내려지지 않는 것과 마찬가지로, 구성의 배치만으로 그 영향의 크기를 적기도 어렵다.
이처럼 문제 인식과 접근의 배치는 활용례의 앞부분에서 판단의 방향을 미리 정하는 자리이고, 이 사례에서 그 방향이 어떻게 정해졌는지는 밝혀진 사실만으로는 미정으로 남는다.
9.3논리 흐름의 검토
구성의 순서를 정한 데서 나아가, 이제 성과 분석으로 이어지는 추론의 연결이 끊긴 자리를 찾는 일이 남는다. 이 확인은 환각과 오류의 추적 항목을 근거로 삼되, 거기서 벗어나 오류의 유형을 새로 나누거나 정량 기준을 세우지 않는 범위에서 이루어진다.
추론이 어디서 끊겼는지를 보려면 우선 그 오류가 무엇을 가리키는지 알아야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 ““Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.””라고 정의한다. 초안 모델 A가 남긴 장에서 원문 인용의 조항 번호가 자료의 실제 조항과 다른 자리는, 바로 그 정의가 두는 둘째 기준 곧 이전 진술과의 모순과 맞닿는다.
같은 자료는 논리의 외형이 그 내용을 담보하지 않는다고도 말한다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지가 확정되지 않은 현 단계에서, 추론 과정의 서술 자체를 결론의 근거로 삼을 수 없는 까닭이 여기 있다. 미국 상무부 국립표준기술연구소(NIST), 인쇄면 2쪽은 “GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output.”라고 경고한다. B가 남긴 “문제없음”이라는 메모와 통과 도장이 초안 작성과 다음 검토에 어떤 영향을 주었는지에 관하여는 아직 미정이며, 그 영향이 미정인 한 메모만으로 추론의 연결이 온전하다고 보기는 어렵다.
끝으로 오류를 추적하는 절차가 무엇을 요구하는지를 확인한다. 미국 상무부 국립표준기술연구소(NIST), MG-4.3-002는 “Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts.”라고 규정한다. 자동 대조 절차가 밝혀낸 조항 번호의 불일치는 이 기록 대상에 해당하며, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 기록을 따라가야 확인될 일이다.
한편 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은, 두 검토가 서로 독립적인 확인이었는지를 가르는 데 참고가 된다. 미국 상무부 국립표준기술연구소(NIST), MS-1.3-003은 “Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model.”라고 요구한다. 이 요구가 이 사례의 상위 모델 B에게까지 미치는지는 자료가 정하지 않았고, 확정 손해나 고의 같은 법적 평가도 이 관찰된 사실만으로는 성립하지 않는다.
따라서 논리 흐름의 검토는 추론의 각 이음매를 따라가며 기록 대상인 오류를 찾아 적어 두리는 일로 한정된다. 무엇이 어떤 오류 유형에 드는지, 어느 정도의 불일치가 흐름을 끊는 것으로 보이는지를 가름하는 기준은 새로 세우지 아니하고 미정으로 남는다.
9.4빠진 논점 찾기
앞 절에서 추론의 연결이 끊긴 자리를 확인한 뒤에는, 초안에 애초에 적시되지 않은 논점이 남아 있는지를 묻는다. 빠진 논점은 본문 어디에서도 다루어지지 않은 채 한계 및 시사점 항목에만 모습을 드러내는 경우가 있다. 그 자리를 찾는 일이 무엇을 요하는지 검토의 절차에 따라 살핀다.
활용례의 구성에는 다섯 단계가 놓인다. 대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 3쪽, 실무 활용례 구성 (PDF 3쪽)은 실무 활용례를 각 활용례를 셀프 학습을 할 수 있도록 아래와 같은 내용으로 구성한다고 밝힌다. 그 내용은 "① 문제상황 인식(☞ ⓐ 시간·노력의 감축 필요성, ⓑ 정확도 체크의 요구, ⓒ 반복 작 업) → ② 문제해결의 접근 방식(☞ 프롬프트 엔지니어링 주요 방법론 중 적합한 기법 적용 시뮬레이션 & 기술적·법적·윤리적 유의사항 고려) → ③ 인공지능을 활용한 문제 해결 → ④ 성과 분석 → ⑤ 한계 및 시사점 정리"이다. 한계 및 시사점 정리는 앞의 네 단계를 모두 지난 뒤에 놓이는 자리이다. 그러므로 그 항목에만 나타난 논점은 앞 단계에서 다루어졌어야 할 사정이 건너뛰어졌을 가능성을 시사한다. 다만 이 사례에서 편집자가 넘긴 장의 초안에 어떤 논점이 실제로 빠져 있는지, 그 누락이 어느 단계에서 비롯되었는지는 미정이다.
빠진 논점을 확인하려면 무엇을 다루어야 했는지의 기준이 있어야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26의 GV-1.6-003은 GAI 시스템 목록 항목에 "Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes."를 고려할 것을 요구한다. 이 다섯 항목은 목록에 담을 정보의 범위를 가리킬 뿐이다. 이 사례의 초안에서 그 각 항목 가운데 어느 것이 다루어졌고 어느 것이 빠졌는지는 확인된 바가 없다. 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실이 "Underlying foundation models" 항목과 겹치는 방향을 가리키기는 하나, 그것이 목록의 나머지 항목까지 다루어졌음을 뜻하지는 않는다.
논점의 누락이 측정의 어려움에서 비롯된 경우에는 그 사정을 따로 적어 두어야 한다. 같은 자료의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 규정한다. 정량으로 잴 수 없는 위험도 추적하고 그 이유를 적도록 요구하는 내용이다. 이 사례에서 두 모델이 같은 지점에서 같은 판단을 낸 까닭은 미정이고, 그 까닭이 측정 가능한 것으로 확인된 바도 없다. 확인되지 않은 사정은 확인되지 않은 채로 남겨 두는 편이 이 규정의 태도에 들어맞는다.
한편 빠진 논점을 찾는 판단은 작성과 분리된 자리에서 이루어질 때 그 정당성이 드러난다. 같은 자료의 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 요구한다. 같은 모델의 개발에 직접 관여한 이가 그 모델의 피드백 수행을 검증하지 않도록 한 취지이다. 이 사례에서 B는 A가 쓴 장을 검토한 뒤 "문제없음"이라는 메모와 통과 도장을 남겼고, 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 이 관찰된 사실들만으로 두 모델 사이의 관계가 이 규정이 말하는 개발 관여에 해당한다고 단정할 수는 없으며, 그 평가는 미정으로 남는다.
논점의 누락 자체가 곧 법적 평가를 성립시키는 것은 아니다. 같은 자료는 2절 각주 3에서 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."라고 경고한다. 인용의 조항 번호가 실제와 다르다는 사실이 자동 대조 절차에서 확인된 것은, 이 경고가 가리키는 위험의 한 갈래가 관찰되었을 뿐이다. 그 인용 오류가 최종 결과에 어떤 영향을 주었는지, 초안에 어떤 논점이 빠졌는지, 누락이 성과 분석의 결론을 바꾸었는지는 미정이다. 확정 손해나 고의 같은 법적 평가는 이 관찰만으로 이루어지지 아니하며, 확인된 사실의 범위를 넘겨 기술하지 않는 것이 검토자의 몫이다.
9.5한계와 시사점의 기술
누락된 녈점을 확인한 다음에는 그것을 한계와 시사점에 어떻게 옮겨 적는가가 관건이다. 편집자가 넘긴 장에는 비식별처리 지침이 지켜진 것으로 보이며, 모델 B의 메모에도 처리 흔적은 드러나지 않는다. 그러나 앞서 본 대로 구성 항목 중 한계 및 시사점 정리는 그 처리와 분리되어 다루어져야 한다. 활용례를 구성할 때 그 단계를 따로 두도록 한 취지가 여기에 있다. 대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 3쪽, 실무 활용례 구성 (PDF 3쪽)은 활용례를 셀프 학습에 쓰이도록 다섯 항목으로 구성하고, 그 내용을 "① 문제상황 인식(☞ ⓐ 시간·노력의 감축 필요성, ⓑ 정확도 체크의 요구, ⓒ 반복 작 업) → ② 문제해결의 접근 방식(☞ 프롬프트 엔지니어링 주요 방법론 중 적합한 기법 적용 시뮬레이션 & 기술적·법적·윤리적 유의사항 고려) → ③ 인공지능을 활용한 문제 해결 → ④ 성과 분석 → ⑤ 한계 및 시사점 정리"로 적었다. 같은 문서는 그 아래에서 "각 활용례마다 소송기록을 직접 입력하지 않고 가명처리·비식별처리 등을 하여 개인정 보 침해 등이 되지 않도록 유의하여야 함을 강조함"이라고 덧붙인다. 두 사항은 나란히 놓이되 섞이지 않으므로, 한계는 입력 처리의 준수 여부를 다시 쓰는 자리가 아니다.
한계는 측정하지 못한 것과 측정한 것을 함께 남기는 방식으로 적는다. 조항 번호가 어긋난 것을 자동 대조가 잡아낸 사실은 기록할 수 있으나, 그것이 전체의 정확도를 대변한다는 식으로 확장할 수는 없다. 무엇을 왜 못 쟀는지 밝히도록 한 항목이 이 경우에 쓰인다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 요구한다. 이 사례에서 두 모델이 같은 지점에서 같은 판단을 낸 까닭은 미정이며, 그 이유가 적히지 않는 한 한계란 항목은 빈 채로 남는다.
시사점은 관찰한 경과가 다음 작업에 남기는 함의를 적되, 개선을 성과로 돌리지 않는 선에서 쓴다. 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지 역시 미정이다. 같은 문서의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 두어, 오류와 아차 사고, 부정적 영향을 함께 기록할 것을 말한다. 그 기록이 곧 개선의 이룬 바를 뜻하지는 않으므로, 시사점에는 남길 항목과 남긴 이유만 적는 것이 마땅하다.
보고의 항목을 빌릴 때도 기록과 성과를 가려야 한다. 정기 보고가 다루는 범위는 그 문서가 정한 바에 따르되, 여기서는 보고가 이루어졌다고 전제할 수 없다. 같은 문서의 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 규정한다. 이 사례에서 성과에 해당할 만한 사정이나 피드백의 수록 내용, 이룬 개선은 확인되지 않으므로 적지 않는다. 확인된 것은 조항 번호의 불일치가 드러났다는 사실과, 두 모델이 같은 학습 자료로 배운 것으로 알려졌다는 점뿐이다.
영향 추적의 항목도 같은 구분에서 빌린다. 사고를 남기는 절차는 영향을 그 출처까지 거슬러 올라가는 데에 도움이 되므로, 시사점에는 무엇이 어디에서 비롯했는지를 따져 본 흔적을 남긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source."라고 말한다. 이 사례에서 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이며, 그 연결이 밝혀지지 않은 채 개선 효과가 성과로 적히는 일은 없다.
결국 한계와 시사점은 처리 준수의 기록과 분리되어, 측정되지 않은 것을 그대로 남기고 관찰된 것만을 옮기는 자리이다. 여기에 앞서 확인한 누락된 논점이 함께 놓일 때 비로소 검토는 자기의 범위를 드러낸다. 관찰된 사실들만으로 확정 손해나 고의 같은 법적 평가가 성립하는 것은 아니며, 이 자리에서 성립한다고 적는 것 역시 피한다.
9.6검토 판단의 경계
한계와 시사점을 서술하는 형식이 검토에서 담당하는 역할을 밝힌 데서 그쳐, 판단 검토 자체가 미치는 범위는 아직 열려 있다. 검토자와 작성자가 같은 모델이고 같은 학습 자료에서 나왔다면, 검토 메모가 두 판단을 얼마나 떼어놓는지 의문으로 남는다.
관찰된 지형을 먼저 적으면, 초안 모델 A가 쓴 장은 같은 회사 계열의 상위 모델 B에게 넘겨졌고, B는 "문제없음"이라는 메모와 통과 도장을 남겼다. 그 뒤 자동 대조 절차가 초안의 원문 인용 한 곳에서 조항 번호가 자료의 실제 조항과 다르다는 사실을 드러냈으며, 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다.
이 상황에서 상관된 실패가 무엇인지 가늠하려면, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3이 정의한 바를 그대로 옮길 수 있다. 그 각주는 "3 “Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."라고 적는다. 같은 모델을 되풀이해 쓰는 일이 실패를 함께 겪을 가능성을 키운다는 뜻이며, 초안과 검토가 같은 계열의 모델에서 나온 이 사례는 그 가능성을 의심할 만한 정황을 보인다.
같은 자료에서 배운 두 모델이 같은 지점에서 같은 판단을 내렸다는 사실만으로, 그러한 의심이 확인된 것은 아니다. 앞서 인용한 정의는 "multiple actors relying on the same algorithm"을 전제로 삼으나, 이 사례에서 두 모델이 어떤 판단 경로를 거쳤는지, 그 경로가 학습 자료의 어느 부분에 묶였는지는 미정이다. 확인된 것은 학습 자료가 같다는 소식과, 조항 번호가 자료와 어긋난 인용이 한 곳 있었다는 사실뿐이다.
검토 메모가 독립성을 담보한다는 근거도 자료에서 찾을 수 없다. 오히려 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003은 평가자의 자격을 이렇게 요구한다. "MS-1.3-003 Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 적힌 이 조항은 같은 모델의 개발에 직접 관여한 이가 구조화된 인간 피드백을 맡지 않도록 확인하라는 것이다. 같은 모델이 초안과 검토를 함께 맡은 이 사례는 이 확인 요구가 지키기 어려운 지점을 보이며, "문제없음"이라는 메모는 그 확인 절차를 대신하지 못한다.
인용 오류에 대한 대응도 관찰된 범위 안에 묶어둔다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 "MG-4.3-002 Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 규정한다. 오류와 아차 사고를 기록하고 추적할 절차를 두라는 요구이지, 그 오류가 초안에 머물렀는지 최종 결과까지 흘러갔는지 가려내는 기준을 세우지는 않는다. 자동 대조 절차가 조항 번호의 어긋남을 찾아낸 사실은 이 기록 대상에 들 수 있으나, 그 오류가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 확정 손해나 고의가 있었는지는 미정으로 남는다.
다룬 공식 문서
- 대법원 법원행정처, 「「법관을 위한 AI 가이드북」 발간(보도자료)」, 2026-02-24, 첨부 3쪽, 실무 활용례 구성 (PDF 3쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)