요약
단계 사이의 독립성이 무엇으로 확보되는지를 묻고, 상관된 오류의 구조에서 출발한다. 역할 분리, 원문을 따로 주는 방식, 자동 대조와 전문가 검토의 관계, 검토 메모가 넘지 못하는 것, 이름과 버전이 남기는 기록을 차례로 다룬다. 모델 이름을 바꾸는 일이 무엇을 증명하는지는 다음 장에서 가른다.
5.1상관된 오류의 구조
앞 단위가 모델 이름의 차이가 같은 학습 자료에 따른 같은 판단을 가리지 못한다고 본 결론을 받아, 여기에서는 두 단계가 같은 지점에서 같은 판단을 낸 것을 무엇으로 읽을지가 문제이다. 모델 이름이 달라도 배운 자료가 같다면 두 단계의 판단은 떨어져 있지 않고 함께 움직일 수 있다. 이 점을 상관된 실패의 구조로 살핀다.
상관된 실패를 가리키는 말로 자료는 algorithmic monocultures를 든다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 2절 각주 3은 그 현상을 다음과 같이 정의한다. "Algorithmic monocultures" refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm. 같은 알고리즘을 여럿이 함께 씀으로써 시스템이 상관된 실패에 더 잘 노출된다는 뜻이다. 합성 사례에서 초안과 검토는 같은 학습 자료로 배운 두 단계에 맡겨졌으므로, 이 정의는 두 단계의 판단이 함께 흔들릴 수 있음을 설명한다.
같은 자리에서 같은 판단이 나온 까닭은 두 단계가 하나의 공통 원인을 공유하기 때문이다. 합성 사례에서 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 이 관찰만으로 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지가 확정되지는 않는다. 학습 경위나 의도는 자료가 확인해 주지 않으므로 그대로 미정으로 남는다.
같은 오류는 인용에서도 드러난다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 같은 자리에서 현상 하나를 더 적고 있다. "Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. 합성 사례의 초안에는 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르게 적혀 있었다. 자동 대조 절차가 그 차이를 확인한 시점에서 그 오류가 최종 결과에 어떤 영향을 주었는지는 미정이다.
더욱이 자료는 거짓 인용이 사람을 잘못 이끌 수 있음을 지적한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 2절은 다음과 같이 말한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 검토자는 "문제없음"이라는 메모와 함께 통과 도장을 남겼다. 그 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지는 자료가 확인해 주지 않는다. 다만 검토가 통과된 뒤에 오류가 드러났다는 사실만으로 확정 손해나 고의 같은 법적 평가가 선행되어서는 안 된다.
이러한 상관된 실패를 기록으로 남길 것을 자료는 권고한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 라고 정하고 있다. 같은 문서는 이어 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source." 라고 밝힌다. 검토 메모와 자동 대조 결과를 함께 기록하면 그 인용 오류가 어디서 나왔는지와 그 오류가 어느 단계를 거쳐 남았는지를 따라갈 수 있다. 확인된 관찰 사실을 그대로 남기고 미정인 항목은 미정으로 두는 것이 상관된 오류의 구조를 읽는 첫걸음이 된다.
5.2독립을 만드는 역할 분리
관여자의 수가 아니라 관여 방식이 단계 독립성에 무엇을 더하는지가 이어서 살펴볼 문제이다. 관여 주체가 여러 명이라도 오류가 겹치는 자리를 함께 본다면 독립성은 생기지 않는다. 품질관리 가이드는 세 갈래의 관여를 함께 둠으로써 이 겹침을 끊도록 조직을 짠다.
한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 44쪽, 품질 이슈 해결방안은 관여 조직의 구성을 다음과 같이 밝힌다. "품질관리 수행조직(구축공정별 실무 담당자, AI모델 설계자, 외부 품질전문가 등)을 구성하여 품질점검 진행". 구축공정 담당자와 모델 설계자, 그리고 외부 품질전문가가 함께 품질점검을 맡도록 한 것이다. 세 주체가 각자 다른 자리에서 같은 자료를 보게 하면, 어느 한 사람이 놓친 자리에 다른 눈이 들어온다.
같은 가이드는 객관성 확보의 방식을 한 가지 더 둔다. "객관성 확보를 위해 외부품질기관에 병행 처리하여 품질점검 진행". 사내 조직의 점검에 외부기관의 점검을 병행함으로써 회사 안에서 보지 못한 기울기를 밖에서 잡도록 한 것이다. 확인 책임도 분산된다. "품질검사 관련 총괄책임자, 실무책임자 주도하에 품질점검 수시 확인 및 검사". 점검을 한 사람이 점검을 확인하지 않고, 총괄책임자와 실무책임자가 수시로 확인한다.
이어지는 문장은 결과가 돌아오는 경로를 정한다. "활용(AI-Hub를 통해 개방)을 수행하는 인공지능 학습용 데이터의 품질을 담당하는 조직을 통한 최종 결과 보고 및 반영 등". 개방 단계에서 품질을 맡은 조직이 최종 결과를 보고하고 반영한다. 작성한 사람이 스스로 자기 결과를 확정하지 않는 구조인 셈이다.
이러한 배치를 출판사의 검토 상황에 옮겨 보면, 초안을 쓴 모델과 검토를 맡은 모델이 다른 역할을 맡았다는 점은 점검이 겹치지 않도록 하려는 취지에 부합한다. 그러나 두 모델이 같은 학습 자료로 배운 것으로 알려져 있으므로, 역할을 나눈 것만으로 두 판단이 독립되었다고 단정할 수 없다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지, 그리고 검토 메모가 다음 검토에 어떤 영향을 주었는지는 미정이다. 확인된 것은 관여 방식뿐이며, 이 관찰만으로 확정 손해나 고의 같은 법적 평가가 이루어지는 것은 아니다.
5.3원문을 따로 주는 방식
독립 태깅 뒤의 재검토 절차는 앞 절에서 살핀 역할 분리와 무엇을 다르게 만드는지부터 살펴보아야 한다. 「AI 데이터 구축 가이드」는 의미 정확성의 오류를 문서 유형이나 내용의 의미를 잘못 알아차려 태그를 잘못 붙이는 문제로 적고, 그 방지책 가운데 하나로 교차 검수를 들었다. 가이드가 교차 검수의 방법을 설명하는 문장은 다음과 같다. "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토" 이 문장은 두 사람이 각자 붙인 태그가 어긋날 때 재검토를 연다는 뜻이며, 재검토의 조건이 되는 것은 두 결과 사이의 불일치다.
그렇다면 원문을 따로 주는 방식이란 무엇인가. 두 사람에게 같은 데이터를 주되, 한 사람이 먼저 붙인 태그를 다른 사람이 들여다보지 못하게 한 채 각자의 작업을 끝내게 하는 방식을 이른다. 앞 절에서 분리한 역할이 담당자의 종류를 나누었다면, 여기서는 한 사람이 다른 사람의 판단에 흔들리지 않게 작업의 순서와 노출 범위를 나눈다. 가이드는 이와 같은 독립 작업을 전제로 두 결과를 대조한다고 적었으므로, 대조는 판단이 끝난 뒤에 시작한다.
두 태깅 결과가 같은 쪽으로 모인 경우를 생각해보자. 사례에서 초안을 맡은 모델 A와 검토를 맡은 모델 B가 같은 학습 자료로 배운 것으로 알려져 있다는 사실은, 두 사람이 같은 지점에서 같은 판단을 내린 까닭이 무엇인지 가리지 않는다. 자동 대조가 찾아낸 것은 조항 번호의 불일치였고, 그 불일치가 두 사람의 어떤 관계에서 나왔는지는 미정이다. 이 관찰된 사실만으로 두 결과가 상관되어 있다는 법적 평가에 이르지는 않는다.
검토 메모의 영향도 같은 선에서 읽어야 한다. 사례에서 B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼고, 그 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지는 미정이다. 가이드는 불일치가 생기면 재검토를 거치도록 정하고 있지만, 불일치가 드러나지 않은 채 넘어간 자리에 남은 메모가 다음 단계의 판단을 어떻게 움직였는지는 가이드가 다루지 않는다. 따라서 이 사례의 검토 메모에 확정된 손해나 고의를 끼워 넣는 것은 자료가 말한 범위를 넘는다.
그렇다고 해서 이 절차가 모든 상황에 그대로 적용된다고 보아서는 안 된다. 가이드가 교차 검수를 개선점으로 적으면서 함께 밝힌 다른 조치도 살펴보아야 한다. "가공 작업자가 태깅한 데이터를 즉시 검증할 수 있도록 1차 필터링 시스템 적용" 이는 태깅과 검증이 동시에 이루어지게 하라는 내용이고, 같은 개선점 안에서 가이드는 "특정 키워드나 패턴을 기반으로 오태깅 가능성이 높은 문서에 대해 사전 경고 표시" 를 들었다. 재검토가 결과를 대조해 잡아낸 뒤의 절차라면, 사전 경고는 그 앞에서 잘못될 가능성을 미리 표시하는 장치다.
원문을 따로 주는 방식이 줄이는 오류의 범위도 한정되어 있다. 가이드는 오태깅의 방지책으로 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임" 을 함께 적었고, 작업자의 혼동을 줄이는 수단으로 "문서 유형별 명확한 기준을 수립하고, 태깅 예제 및 샘플데이터를 제공" 하라고 덧붙였다. 이는 독립 태깅만으로는 의미 오인식을 모두 막을 수 없다는 뜻이다.
결국 원문을 따로 주는 방식은 두 결과가 어긋날 때 재검토를 열 수 있게 만드는 장치이며, 사례에서 자동 대조가 잡아낸 조항 번호의 불일치는 그 장치가 지켜보던 자리에서 드러난 것이다. 그러나 두 모델이 같은 판단에 이른 까닭이나 검토 메모가 남긴 영향, 그 인용 오류가 최종 결과에 미친 효과는 미정으로 남는다. 확정된 손해나 고의 같은 법적 평가는 이 관찰만으로 성립하지 않는다.
5.4자동 대조와 전문가 검토
자동 필터를 거쳐 남은 지점을 전문가가 어떻게 다루는지 살필 때, 그 둘이 각각 어디까지를 맡는지가 다음 쟁점이 된다.
자동 대조가 잡아낸 오류의 범위를 읽기 위하여 자동 필터의 작동을 먼저 살핀다. 「AI 데이터 구축 가이드 v3.5(제2권)」 의미 정확성 점검 오류 분석은 1차 필터링 시스템의 적용을 아래와 같이 정한다. "가공 작업자가 태깅한 데이터를 즉시 검증할 수 있도록 1차 필터링 시스템 적용 - 특정 키워드나 패턴을 기반으로 오태깅 가능성이 높은 문서에 대해 사전 경고 표시". 이 서술은 필터가 키워드나 패턴에 겹치는 문서를 미리 표시하는 일을 맡는다고 적는다. 사례에서 자동 대조가 초안의 원문 인용 한 곳에서 조항 번호가 자료의 실제 조항과 다르다는 사실을 확인한 일은, 인쇄된 숫자를 자료의 해당 숫자와 맞춰 보는 대조의 성격에 놓인다. 대조가 잡은 것은 조항 번호가 서로 다르다는 표시이지, 그 오류가 왜 생겼는지나 그 오류가 결과에 무엇을 남겼는지가 아니다.
전문가 검토의 자리는 같은 문헌이 교차 검수 절차에서 함께 다룬다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)은 그 절차에서 전문가의 자리를 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임" 이라고 적는다. 병행이란 자동 장치가 표시한 자리를 사람이 다시 보는 결합을 뜻하며, 한쪽이 다른 쪽을 대신한다고는 하지 않는다. 사례에서 통과 도장을 남긴 검토는 바로 그 사람이 맡은 자리에 해당한다. 다만 검토자가 남긴 "문제없음" 메모가 자동 대조의 표시를 보고 난 뒤의 것인지, 그 표시 없이 먼저 내려진 것인지는 미정이다.
두 절차의 자리를 이처럼 나누어 놓으면, 자동 대조가 잡아낸 조항 번호 불일치가 어느 범위의 오류인지도 그 자리를 따라 읽힌다. 문헌이 자동 필터에 두는 일은 "오태깅 가능성이 높은 문서에 대해 사전 경고 표시" 에 그치므로, 필터의 표시는 경고에 머무른다. 경고로 확인된 조항 번호 차이는 대조에 드러난 표시의 불일치로만 확정된다. 그 오류가 인용된 원문의 의미를 바꾸는지, 초안의 결론을 옮기는지, 아니면 표기만의 문제인지는 이 확인만으로 정해지지 않는다.
이 사례에서 자동 대조와 전문가 검토가 함께 놓였다는 사실만으로, 어느 한쪽이 충분하다는 결론은 만들어지지 않는다. 문헌은 두 절차를 나란히 두고 의미 정확도를 높이는 방식으로 제시하며, 한쪽의 결론을 다른 쪽이 보증한다고는 하지 않는다. 따라서 자동 대조가 잡지 못한 오류가 없다는 판단이나 검토자의 판단이 불필요하다는 판단은 이 사례의 관찰에서 나오지 않는다. 무엇이 왜 두 모델에게 같은 판단을 낳았는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정으로 남는다. 관찰된 사실이 이러하므로, 확정 손해나 고의 같은 법적 평가도 이 자리에서는 아직 서지 않는다.
5.5검토 메모가 넘지 못하는 것
자동 대조가 조항 번호 불일치를 가려낸 뒤에도 남는 물음은 그것이다. 같은 자리에 놓인 검토 메모는 다음 검토의 독립성을 무엇으로 보증하는가. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)은 태깅 데이터를 교차 검수할 때 "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토"한다고 밝힌다. 이 문장이 이 사례에서 뜻하는 것은 독립 검수의 조건이 검수자의 수가 아니라 각자 따로 놓은 판단이 실제로 비교된다는 점이다. 계열 상위 모델 B가 A의 장을 받아 검토했으므로, B의 메모는 독립적으로 세운 두 판단 중 하나로 자리하지 못한다.
같은 보고서는 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)에서 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임"을 개선책으로 함께 적는다. 이 사례에서 자동 대조와 전문가 검토는 병행되었으나, 그 전문가 검토가 초안 작성과 겹치지 않았는지는 미정이다. 따라서 자동 절차가 오류를 잡아낸 사실만으로 전문가 검토의 자리까지 대신 확보되었다고 볼 수 없다.
검토 메모가 다음 검토에 남기는 그림자는 자료가 같은 판단을 반복하는 방향을 가리킨다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 "repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm"을 가리켜 "Algorithmic monocultures"라 부른다. B의 "문제없음" 메모가 다음 검토에 그대로 흘러들면, 같은 모델이 같은 지점에서 같은 판단을 되풀이한 것이 기록에 남는다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실과 그 메모가 어떻게 이어졌는지 사이의 관계는 미정이다.
독립성을 지키려는 요구는 검토자의 자리에서 선언된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 검토를 맡긴 사람들이 실제로 누구인지 확인하도록 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model"라고 적는다. 이 사례에서 B는 같은 계열에서 A의 초안 검토를 맡았으므로, 그 요구와 거리가 있는 자리에 선다. 다만 B가 초안 작성에 실제로 관여했는지, 메모가 구체적으로 무엇을 가리켰는지는 미정이다.
메모의 영향이 손해나 고의로 굳는 것은 이 자료가 적어두지 않은 자리다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 오류를 기록하도록 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts"라고만 쓴다. 이 사례에서 확인된 것은 검토 메모와 통과 도장, 그리고 자동 대조가 잡아낸 조항 번호 불일치뿐이다. 메모가 오류를 함께 키웠는지, 아니면 그 자리를 지나쳤는지, 오류가 최종 결과에 어떤 흔적을 남겼는지는 아직 읽히지 않은 채 남는다.
5.6이름과 버전이 남기는 기록
검토 메모가 공유되는 경로를 좁히는 방식으로는 두 판단의 중복을 막지 못하므로, 남는 질문은 기록 자체가 무엇을 밝히는지이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3에서는 반복 사용이 어떤 위험을 낳는지 다음과 같이 규정한다. "3 “Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 같은 기반 모델이 여러 판단에 쓰이면 오류가 함께 움직이는 범위가 넓어진다는 뜻이다. 편집자가 초안과 검토를 서로 다른 이름의 모델에 맡겼더라도, 그 둘이 같은 뿌리를 두었다면 위 문안이 말한 중복은 그대로 남는다.
그러나 기반이 같다는 사실은 기록이 없으면 드러나지 않는다. 같은 자료의 GV-1.6-003은 시스템 목록 항목에 무엇을 담을지 열거한다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 기반 모델과 그 버전이 항목으로 남으면 두 절차가 어느 모델에서 갈라졌는지 추적할 수 있다. 이 사례에서 두 모델은 같은 학습 자료로 배운 것으로 알려졌으나, 목록에 어떤 항목이 기록되었는지는 미정이다.
버전 기록은 또 다른 층위의 사실을 남긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 기록과 공유의 효과를 다음과 같이 설명한다. "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents." 변경 관리 기록과 버전 이력이 있으면 사고에 대응하는 사람이 어느 시점의 어떤 산출물을 다루었는지 가릴 수 있다. 편집 검토에서 자동 대조 절차가 발견한 인용 조항 번호의 차이도 어느 쪽 초안에서 생겼는지 버전 이력으로만 가려진다.
그렇다고 이름을 바꾸는 일이 독립성을 만드는 것은 아니다. 앞서 인용한 GV-1.6-003이 목록에 요구하는 것은 명칭이 아니라 "Underlying foundation models, versions of underlying models, and access modes"이다. 명칭 표기가 달라도 항목의 내용이 같으면 기록이 가리키는 대상은 하나이다. 이 사례에서 두 모델이 같은 지점에서 같은 판단을 낸 까닭과 이름 차이가 그 중복을 막았는지 여부는 미정이며, 관찰된 사실만으로 확정되지 않는다.
외부 독립 검증은 별도의 성립 요건을 갖는다. 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 44쪽, 품질 이슈 해결방안은 해결 절차를 다음과 같이 제시한다. "- 품질관리 수행조직(구축공정별 실무 담당자, AI모델 설계자, 외부 품질전문가 등)을 구성하여 품질점검 진행 - 객관성 확보를 위해 외부품질기관에 병행 처리하여 품질점검 진행 - 품질검사 관련 총괄책임자, 실무책임자 주도하에 품질점검 수시 확인 및 검사 - 활용(AI-Hub를 통해 개방)을 수행하는 인공지능 학습용 데이터의 품질을 담당하는 조직을 통한 최종 결과 보고 및 반영 등" 객관성은 외부 기관이 병행 절차에 참여함으로써 확보되는 것으로 제시된다. 같은 자료의 MS-1.3-003은 그 참여자가 선행 개발에서 벗어나 있어야 함을 덧붙인다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델의 개발에 직접 관여하지 않았는지 확인하는 것이 그 문안의 요구이다. 편집자가 B에게 넘긴 검토가 이 요건을 충족했는지는 미정이다.
따라서 이름과 버전의 기록은 추적을 가능하게 하는 수단이며, 그 기록이 가리키는 공통의 기반이 중복 오류의 범위를 가늠하는 근거가 된다. 이름이 다르다는 사실은 그 자체로 어느 쪽 근거에도 놓이지 않는다. 이 사례의 인용 오류가 최종 결과에 어떤 영향을 주었는지, 두 모델의 공통 학습이 그 오류에 관여했는지는 미정으로 남는다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 한국지능정보사회진흥원(NIA), 「AI 데이터 품질관리 가이드 v3.5(제1권)」, 2025-05-23, 44쪽, 품질 이슈 해결방안 (PDF 46쪽)
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)