Summary
이 장은 없는 것을 묻는 문항이 왜 있어야 하고 보류를 왜 오류와 따로 세어야 하는지를 묻는다. 없는 것을 묻는 문항과 원시자료의 사실성 확인을 살피고, 보류와 오류의 구분을 시험자료 오염의 위험과 평가자 관여의 문제와 이어 검토한 뒤, 남겨 둔 보류의 평가를 미결로 남긴다.
9.1없는 것을 묻는 문항
측정이 남긴 한계를 확인한 뒤에는 없는 것을 묻는 문항으로 나아가야 한다. 환각과 오류를 추적하려면 정답이 정해져 있는 문항만으로는 부족하고, 존재하지 않는 것을 존재하는지 묻는 문항이 필요하기 때문이다.
먼저 없는 것을 묻는 문항이 무엇을 겨냥하는지 정의를 확인한다. 미국 상무부 국립표준기술연구소(NIST)의 『Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)』 2024년 7월 26일자 2절에서는 다음과 같이 말한다. "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.”" 없는 것을 묻는 문항은 이 정의가 말하는 거짓 내용이 실제로 나타나는지를 가리는 도구이다.
없는 것을 묻는 문항이 겨냥하는 대상은 내용뿐 아니라 근거까지 이른다. 같은 문서 2절은 근거를 함께 적시한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 사건번호와 선고일을 붙인 판결 인용이 정답 여부를 가리는 대상이 되는 까닭이 여기에 있다.
그러나 없는 것을 묻는 문항만으로는 오류를 추적할 수 없다. 오류를 기록하고 추적할 절차가 함께 있어야 한다. 같은 문서 MG-4.3-002는 기록을 요구한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 없는 것을 묻는 문항에서 나온 오류도 이 기록에 남겨야 비로소 추적의 대상이 된다.
정답 여부를 가리려면 근거가 되는 원시자료 자체를 확인해야 한다. 한국지능정보사회진흥원(NIA)의 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」 2025년 5월 23일자 63쪽 표 II-16은 사실성 항목에서 다음과 같이 정한다. "원시데이터를 인위적인 환경과 조건하에 수집해야 하는 경우, 반드시 실제 환경과 상황 특성을 사실성 반영해야 함" 없는 것을 묻는 문항의 정답 여부는 이 사실성에 달려 있다.
없는 것을 묻는 문항은 환각을 추적하려는 요구와 원시자료의 사실성이 만나는 지점에 놓인다. 문항에 담긴 근거가 정확히 무엇이었는지, 출처가 신뢰할 만한지, 자료가 충분한지, 분포가 적정한지는 아직 미정이다. 이 측정 결과가 확정 손해나 고의 같은 법적 평가를 뜻하지 않는다는 점도 함께 적는다.
9.2원시자료의 사실성 확인
없는 것을 묻는 문항을 정답과 오류로 가르는 일은, 우선 그 문항이 딛고 있는 원시자료가 무엇인지 밝히는 데서 시작한다. 준비서면 초안에서 대법원 판결로 제시된 근거 가운데 하나는 국가법령정보센터 검색창에 사건번호를 넣은 결과가 0건이었고, 다른 하나는 선고일이 초안과 달랐으며, 또 다른 하나는 판시 요약의 방향이 원문과 달랐다. 이 셋은 모두 검색 결과와 초안의 대조에서 드러났다. 그러므로 원시자료의 출처와 내용이 실제로 존재하는지, 그리고 원문과 같은지를 확인하는 절차가 측정의 전제가 된다.
먼저 출처의 신뢰성을 묻는다. 학습 데이터의 출처에 관해 한국지능정보사회진흥원, 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16은 이렇게 정한다. "신뢰성 Ÿ 데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함". 이 기준은 수집 단계에서 출처를 가리는 요구이다. 합성 사례에서 0건으로 확인된 사건번호는 그 출처가 무엇이었는지 미정이며, 판결이 원문에서 확인되지 않은 채 인용된 것과 출처가 확인되지 않은 자료를 같은 것으로 다루지는 않는다.
다음으로 자료의 양과 분포를 묻는다. 같은 표는 충분성과 균일성을 함께 두고, "충분성 정보는 학습에 유용한 수량이어야 함" 이라고 하며, 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)은 "Ÿ 분류/탐지/인식/이해/예측 등의 카테고리(분류체계)별 인스턴스(분류체계별 특성을 갖고 있는 균일성 데이터) 수량의 균일성과 적정 비율을 확보해야 함" 이라고 덧붙인다. 이는 수량과 비율이 학습에 유용한지를 가리는 기준이다. 그런데 초안의 인용 가운데 선고일이 어긋난 사례는 수량의 문제가 아니라 확인 절차의 문제로 남는다.
마지막으로 사실성을 묻는다. 같은 표는 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)에서 이렇게 정한다. "류체계)별 인스턴스(분류체계별 특성을 갖고 있는 균일성 데이터) 수량의 균일성과 적정 비율을 확보해야 함 Ÿ 원시데이터를 인위적인 환경과 조건하에 수집해야 하는 경우, 반드시 실제 환경과 상황 특성을 사실성 반영해야 함". 이 기준은 수집 환경이 실제와 달라질 때 실제의 특성을 반영하도록 요구한다. 판시 요약의 방향이 원문과 달랐던 사례는, 요약이 실제 원문의 특성을 반영했는지를 가리는 문제에 놓인다.
여기까지 인용한 기준은 모두 학습 데이터의 품질을 다룬다. 따라서 이 기준들이 모델의 출력이나 법률 결론이 틀리지 않음을 뜻하지는 않는다. 합성 사례의 관찰 결과는 확정 손해나 고의 같은 법적 평가가 아니며, 어느 작업 단계에서 인용이 만들어졌는지와 작성자가 원문을 열어 보았는지도 미정이다. 원시자료의 사실성 확인이 마무리되어도 그 자료에서 무엇을 결론지을지는 별도로 남는다.
9.3보류와 오류의 구분
원시자료의 사실성 확인이 논의를 마친 자리에서 남는 물음은, 응답을 내지 않고 보류한 경우를 오류와 어떻게 나누어 세어야 하는가이다. 없음을 확인할 근거를 찾지 못해 답을 내지 않은 응답과, 근거가 있는데도 잘못된 응답을 낸 경우는 그 성격이 다르다. 둘을 한 자리로 합쳐 세면 응답의 정확성만으로는 알 수 없는 사실이 함께 뭉개진다.
이 구분의 근거로 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)는 오류를 기록하고 추적할 체계를 요구하면서 다음과 같이 정한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 이 문장은 기록 대상을 오류에만 두지 않고 근접오류와 부정적 영향까지 함께 두며, 따라서 셋을 서로 갈라놓을 것을 전제한다. 보류를 오류의 자리에 함께 놓으면 이 구획을 지키기 어렵다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 아울러 보고·공유의 의미를 다음과 같이 설명한다. "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source." 사례에서 목격된 인용 사고의 경로를 따라가려면 오류가 된 응답과 달리 끝난 보류가 어디에서 온 것인지를 따로 알아야 한다. 두 가지를 한 항목으로 묶으면 영향의 출처가 가려진다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 위험 중 정량적으로 측정할 수 없는 것을 다음과 같이 다룬다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 사례에서 어느 인용이 어느 작업 단계에서 만들어졌는지 미정인 사정도 측정되지 않은 것으로 남겨 두고, 그러한 사정을 함께 기록하라는 뜻을 읽는다.
사례에서 인용된 판례 하나는 사건번호가 검색 결과에 나타나지 않았고, 다른 하나는 선고일이, 또 다른 하나는 판시 요약의 방향이 원문과 달랐다. 이 가운데 원문이 없는 것을 지어낸 항목과 원문은 있으나 표기를 잘못한 항목은 오류라 하더라도, 답을 내지 않고 남겨 둔 항목과는 기록에서 갈라 놓아야 한다. 이 글은 보류를 정답으로 처리하라는 규칙을 정하지 않으며, 미정인 사정도 미정으로 남긴다.
9.4시험자료 오염의 위험
보류를 오류와 나누어 센 집계라도, 그 집계를 만든 시험자료 자체가 오염되었다면 결과는 달라진다. 미국 상무부 국립표준기술연구소는 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 요구한다. 벤치마크의 한계를 적을 때 훈련자료와 시험자료의 오염 가능성을 함께 밝혀야 한다는 뜻이며, 이 사례에서 판결 인용이 시험 과제에 있었다면 그 인용의 진위가 집계의 전제가 된다.
같은 자료는 GAI 시스템 목록 항목에 "Data provenance information (e.g., source, signatures, versioning, watermarks)"를 두도록 한다. 출처와 버전 기록은 오염이 어느 단계에서 들어왔는지를 추적하는 틀이 된다. 준비서면 초안에 사건번호와 선고일까지 붙은 인용이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지는 미정이다. 출처 기록이 남아 있지 않으면 이 물음에 답할 수 없다.
보류를 센 뒤에도 측정되지 않은 위험은 남는다. 미국 상무부 국립표준기술연구소는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 적는다. 측정하지 못한 위험을 함께 적어 두라는 요구이므로, 시험자료 오염의 가능성을 확인하지 못했다면 그 사실도 집계의 한계로 남겨 둔다.
오류와 부정적 영향은 따로 기록한다. 미국 상무부 국립표준기술연구소는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 정한다. 국가법령정보센터 검색 결과 0건이었던 인용, 선고일이 달랐던 인용, 판시 요약의 방향이 원문과 달랐던 인용은 각각의 자리에 기록되어야 하며, 어느 하나가 다른 하나를 대신하지 않는다. 위 관찰은 확정 손해나 고의 같은 법적 평가가 아니다.
시험자료에 쓰는 자료의 출처 기준도 별도로 있다. 한국지능정보사회진흥원은 "데이터는 반드시 객관성 확보를 위한 신뢰할 수 있는 출처(사람, 기관, 기업)로부터 수집해야 함"이라 적는다. 신뢰할 수 있는 출처에서 모은 자료라야 시험의 기초가 된다는 뜻이며, 판결문 원문 없이 만들어진 인용은 이 기준에 맞지 않는다.
시험자료 오염이 확인되지 않았다는 사실과 오염이 없다는 사실은 다르다. 집계를 낼 때는 오염의 가능성을 함께 적고, 그 가능성이 어느 작업 단계에서 생겼는지는 확인된 뒤에만 적는다. 확인되지 않은 자리는 미정으로 남긴다.
9.5평가자 관여와 독립성
오염의 시점이 확인되지 않았으므로 보류 집계를 해석하는 일은 그보다 앞선 물음, 즉 누가 보류를 표기했는가에 이른다. 평가자의 관여와 독립성이 보류의 기록을 얼마나 믿을 만한 것으로 만드는지를 자료의 기록 항목에서 읽어야 한다.
자료는 먼저 인간 감독의 역할을 항목으로 올리는데, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 시스템 목록 항목에 넣을 것을 권고하며 다음과 같이 말한다. "Human oversight roles and responsibilities". 이 항목은 감독을 맡은 이의 역할과 책임을 함께 적도록 요구하므로, 보류 표기와 집계를 누가 맡았는지 밝히는 근거가 된다.
자료는 구조화된 인간 피드백을 수행하는 이의 자격도 따로 정한다. 같은 자료 MS-1.3-002는 다음과 같이 말한다. "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 이 문장은 평가에 참여하는 이가 맥락에 익숙한 전문성을 갖추거나, 관련 집단을 대표하도록 요구한다.
더 나아가 자료는 평가자의 독립성을 명시적으로 요구한다. 같은 자료 MS-1.3-003은 다음과 같이 말한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 이 검증은 같은 모델의 개발에 참여한 이가 평가를 맡지 않았는지 확인하는 절차다.
이 요구는 보류 집계의 신뢰와 직결된다. 평가자가 개발에 관여한 이라면 보류 표기와 집계의 기준이 이미 그의 판단에 묶여 있으므로, 기록 자체가 독립적인 눈금을 담보하지 않기 때문이다. 검토 메모를 공유했다는 사실만으로는 이런 독립성이 확보되었다는 근거가 될 수 없다. 독립성은 메모의 전달이 아니라 MS-1.3-003의 검증이 확인하는 일이다.
자료는 평가자와 함께 그 평가의 한계까지 기록하도록 요구한다. 같은 자료 MS-2.11-001은 벤치마크의 전제와 한계를 문서화할 것을 권고하며 다음과 같이 말한다. "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 이 기록은 평가의 눈금이 어디까지 믿을 만한지 뒤에 남겨두는 일이며, 보류 표기와 집계의 한계를 밝히는 자리와 맞닿는다.
결국 보류 집계는 그 집계를 맡은 이가 누구인지, 개발에서 얼마나 떨어져 있는지가 함께 기록될 때만 읽을 수 있다. 이 사례의 보류 표기와 집계가 어떤 평가자의 손에서 나왔는지, 그가 개발과 얼마나 떨어져 있었는지는 미정이다. 미정으로 남은 이 항목을 채우지 않은 채로, 보류 집계를 둘러싼 남은 물음은 그대로 다음으로 넘겨야 한다.
9.6남겨둔 보류의 평가
독립성 항목이 남긴 빈자리가 확인된 뒤에야 비로소 보류의 값이 무엇을 뜻하는지에 대한 물음이 남는다. 앞 장에서 다룬 보류는 없는 것을 있다고 답하지 않으려는 표기였다. 그러나 이 표기가 평가에서 좋은 응답인지 아닌지를 가르는 기준은 아직 정해지지 않았다. 이 물음에 대한 답은 원문에 없는 규칙으로 메우지 않고 그대로 남겨 둔다.
없는 것을 묻는 문항에 대해 보류를 선택한 응답을 두고, 평가 기록은 그 응답이 어느 범주에 드는지 적도록 되어 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 측정할 수 없는 위험을 다루는 방식을 다음과 같이 적는다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 이 항목은 측정하지 못한 것을 측정하지 못한 것으로 적어 두고 그 이유를 함께 남기라고 요구한다. 보류의 값이 얼마인지 계산하기 전에, 왜 그 값을 계산할 수 없는지를 기록하는 쪽이 이 항목의 순서에 맞다.
없는 것을 묻는 문항에서 보류가 좋은 응답인지 나쁜 응답인지를 정하는 일은 이 순서를 거스른다. 값이 매겨지지 않은 것을 곧바로 등급 안에 넣으면, 측정하지 못한 이유를 적는 자리는 사라진다. 반대로 이유를 먼저 적어 두면, 등급을 매기는 일이 뒤로 미루어지고 그 미룸 자체가 기록에 남는다. 이 사례에서 관찰된 보류는 어느 쪽에 두어야 할지 정해지지 않았다.
같은 문서의 NIST AI 600-1, 2024-07-26, 2절 각주 3은 보류와 반대되는 현상을 다음과 같이 부른다. ""Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts." 보류는 없는 것을 있다고 답하지 않는 쪽이다. 이 사례에서 인용된 판결의 사건번호가 검색 결과에 나타나지 않았으므로, 그 인용은 확신을 담아 내놓은 틀린 내용에 가깝다. 다만 그것이 위 각주가 말하는 현상에 해당하는지는 이 문헌이 정의한 범위 안에서만 읽힌다.
측정할 수 없는 것을 측정할 수 없는 것으로 두는 태도는 평가자의 자리와도 이어진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003은 평가자의 자격을 다음과 같이 정한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델을 만드는 일에 직접 관여한 사람이 그 모델의 응답을 평가하지 못하도록 막는 이 조항은, 보류의 값을 정하는 일에도 같은 거리를 요구한다. 보류를 좋은 응답으로 셀지 나쁜 응답으로 셀지 정하는 사람은 그 응답을 만들어 낸 작업과 떨어져 있어야 한다.
결국 이 장에서 남겨 둔 보류의 값은 미정이다. 측정하지 못한 이유를 적어 두라는 항목과, 평가자를 만들 일에서 떼어 두라는 항목이 함께 놓여 있을 뿐, 보류를 어느 등급에 넣을지 정하는 규칙은 원문에 적혀 있지 않다. 없는 것을 묻는 문항에 대한 보류를 좋은 응답으로 볼 것인지 여부는 이 물음으로 남는다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 한국지능정보사회진흥원(NIA), 「생성형AI 데이터 품질관리 가이드 v2.0(제3권)」, 2025-05-23, 63쪽, 표 II-16 (PDF 63쪽)