Summary
검토자에게 앞선 검토 메모를 보여 주지 않는 것이 무엇을 막는지를 묻고, 독립 태깅 뒤 불일치를 재검토하는 순서에서 앞선 판단이 끼치는 영향을 다룬다. 메모가 재검토에 스며드는 길과 감춤이 막는 판단의 전파를 살피고, 독립을 남기는 기록 절차, 자동 필터와 전문가 검토의 분업을 정리한다. 모델의 사실 확인 오류 자체는 다루지 않는다.
7.1독립 태깅과 재검토의 순서
독립 태깅을 거친 뒤에는 재검토가 뒤따른다. 앞선 메모가 이미 남은 자리에서, 재검토가 언제 열리고 무엇을 계기로 열리는지를 절차 안에서 가려 읽어야 한다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석은 의미 정확성의 태깅 오류를 다루며 교차 검수 절차를 함께 적고 있다. 그 절차를 그대로 옮기면 다음과 같다. "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토"한다.
이 문장에서 재검토의 계기는 "불일치"이다. 두 사람이 남긴 태그가 서로 어긋난 사실이 드러나야 절차가 다음 단계로 넘어간다. 합성 사례에서 편집자는 초안 모델 A가 쓴 장을 상위 모델 B에게 넘겨 검토를 맡겼고, B는 메모와 도장을 남겼다. 이 배치가 위 문장의 "2명 이상의 작업자가 독립적으로 태깅"에 해당하는지는 자료가 말한 바 없다. A가 쓴 것은 장의 초안이며, B가 한 것은 그 초안에 대한 검토이기 때문이다.
독립 태깅과 재검토는 순서상 나란히 놓이지 않는다. 자료는 먼저 두 사람 이상이 같은 대상에 각자 태깅을 하고, 그 결과를 견준 뒤, 어긋남이 있을 때에만 재검토를 연다. 앞선 판단이 드러난 뒤에야 다음 판단이 시작되는 구조이다. 여기서 재검토는 독립 태깅을 대신하지도 않고, 독립 태깅에 섞이지도 않는다. 앞선 판단의 결과는 견주어 볼 재료로만 남고, 재검토는 그 재료 사이의 불일치를 계기로 열린다.
자료는 같은 절차를 한 줄 아래에서 더 밝힌다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)은 같은 항목에서 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임"이라고 적었다. 병행은 순서의 문제가 아니다. 자동 태깅과 전문가 리뷰가 함께 놓일 때 의미 정확도가 높아진다는 취지로 읽힌다. 합성 사례의 자동 대조 절차는 이 문장이 말한 두 주체 가운데 어느 쪽에 놓이는지, 자료는 밝히지 않는다.
절차의 출발점도 함께 적혀 있다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)은 개선조치로 "가공 작업자가 태깅한 데이터를 즉시 검증할 수 있도록 1차 필터링 시스템 적용"을 들고, 그 수단으로 "특정 키워드나 패턴을 기반으로 오태깅 가능성이 높은 문서에 대해 사전 경고 표시"를 제시한다. 사전 경고는 태깅이 끝난 뒤에 나오는 불일치와 성질이 다르다. 경고는 앞서 남은 메모를 지우지 않으며, 경고가 있었다는 사실만으로 재검토가 열리는 것도 아니다.
결국 재검토는 독립 태깅의 결과를 확인한 뒤에야 자리를 얻는다. 앞선 판단이 어느 자리에 놓이는지는 절차의 순서로 가려진다. 합성 사례에서 두 모델이 같은 지점에서 같은 판단을 낸 까닭, 검토 메모가 이후 작업에 남긴 영향, 자동 대조가 찾아낸 조항 번호의 오류가 최종 결과에 미친 무게는 모두 미정이다. 관찰된 사실만으로 확정 손해나 고의 같은 법적 평가에 이르지도 않는다.
7.2메모가 재검토에 스며드는 길
앞 단위의 절차 구분에 따라 재검토 자리에 무엇이 함께 들어오는지를 우선 살핀다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽은 태깅 데이터의 교차 검수 절차를 다음 문장으로 적는다. "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토". 이 절차에 따르면 재검토의 발단은 두 태깅 사이의 불일치이며, 앞선 태깅은 재검토가 다룰 대상으로서 절차 안에 남는다.
같은 안내서는 의미 정확성의 태깅 오류를 방지하기 위한 1차 필터링으로 "특정 키워드나 패턴을 기반으로 오태깅 가능성이 높은 문서에 대해 사전 경고 표시"를 들며, 검증 조치로 "가공 작업자가 태깅한 데이터를 즉시 검증할 수 있도록 1차 필터링 시스템 적용"을 함께 적는다. 이에 따라 경고와 즉시 검증은 태깅 뒤에 놓이는 절차상의 장치이며, 앞선 판단의 흔적이 다음 점검의 자리에 남을 여지가 절차 안에 열려 있음이 드러난다. 다만 사례의 두 모델이 실제로 메모를 주고받았는지는 미정이다.
앞선 판단이 다음 검토에 보일 때 무엇이 함께 전달되는지는 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003의 기재 항목이 가늠하게 한다. 해당 항목은 GAI 시스템 인벤토리 항목에 "Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor)"를 함께 적으라고 적는다. 이에 따라 메모와 함께 알려진 문제의 기록이 다음 검토자의 손에 남을 수 있다. 아울러 같은 항목은 "Underlying foundation models, versions of underlying models, and access modes"도 함께 적으라고 요구한다.
그러나 메모 공유가 곧 검토의 독립성을 보장한다는 근거는 이 안에서 찾을 수 없다. NIST AI 600-1은 관여자의 자격을 다루며 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 적는다. 이 조항은 구조화된 인간 피드백이 시스템 개발 업무에서 갈라져야 함을 조건으로 두며, 사례에서 편집자가 같은 계열의 상위 모델에게 검토를 맡긴 배치가 이 조건에 부합하는지 판단하지 않은 채 미정으로 남는다.
인용 한 곳의 조항 번호가 다르다는 사실을 확인한 자동 대조 절차와 견주어, 평가 자료의 오염은 기록의 대상으로 적혀 있다. NIST AI 600-1, MS-2.11-001은 벤치마크의 한계 기록에 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 적는다. 이 조항은 학습·시험 자료 사이의 오염을 실제나 가능 여부를 가리지 않고 함께 적도록 요구한다.
마지막으로 확인된 인용 오류가 남긴 자취를 기록하는 길이 열려 있다. NIST AI 600-1, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 적으며, 같은 문서는 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors."라고 이어 붙인다. 따라서 조항 번호 오류는 기록 항목으로 남기되, 그것이 최종 결과에 어떤 영향을 미쳤는지는 미정이다.
7.3상관된 실패와 기록 항목
같은 지점에서 같은 판단이 나왔다는 관찰을 두고, 원인을 단정하기 전에 먼저 확인할 항목을 고르는 일에서 이 절을 시작한다. 두 모델이 같은 학습 자료로 배웠다는 사실만으로 오류가 증명되는 것은 아니며, 오류가 확인된 인용 한 곳이 어떤 경로로 두 판단에 함께 나타났는지도 정해진 바가 없다.
먼저 상관된 실패라는 개념이 무엇을 가리키는지 살펴야 한다. NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 그 개념을 다음과 같이 정의한다. "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 이 정의는 다수가 같은 알고리즘에 의존할 때 시스템이 상관된 실패에 더 쉽게 노출되는 현상을 말하며, 그 현상의 전제는 반복 사용에 있다. 같은 자료로 학습했다는 사실만으로는 이 정의가 요구하는 요건이 모두 갖추어졌다고 보기에 이르지 못하며, 두 모델이 실제로 어떤 관계에 있었는지는 미정으로 남는다.
같은 학습 자료라는 사실을 확인 항목으로 남기려면, 기록에 무엇을 적어 두어야 하는지가 다음 쟁점이 된다. 같은 자료, NIST AI 600-1, GV-1.6-003은 시스템 목록 항목에 담을 정보를 다음과 같이 적는다. "Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 이 목록은 학습 자료의 내력과 함께 기반 모델 및 그 버전, 접근 방식까지 적도록 요구한다. 두 모델이 같은 기반 모델인지, 같은 버전인지는 지금 확정되어 있지 않으므로, 그 항목들은 확인이 끝날 때까지 공란으로 두어야 한다.
오류가 발견된 뒤에는 그 사실을 기록으로 남기는 절차가 뒤따른다. 같은 자료, NIST AI 600-1, MG-4.3-002은 다음과 같이 요구한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 이 요구는 보고된 오류와 아차 사고, 부정적 영향을 함께 추적하도록 하며, 인용의 조항 번호가 다르다는 사실은 그 기록 대상에 해당한다. 같은 자료는 같은 절의 설명에서 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors."라고 덧붙인다. 이 설명은 기록 관행이 관련 행위자 사이의 정보 공유를 원활하게 만든다는 점을 말할 뿐, 오류의 원인을 이미 밝혔다는 뜻은 아니다.
그 오류가 최종 결과에 어떤 영향을 주었는지를 확인하는 일은 또 다른 항목이다. 같은 자료, NIST AI 600-1, MS-1.1-009은 측정할 수 없는 위험을 다음과 같이 다룬다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 이 항목에 따르면 정량적으로 잴 수 없는 위험은 잴 수 없는 이유와 함께 적어야 한다. 인용 오류가 최종 결과에 미친 영향이 아직 확정되지 않았다면, 그 영향은 측정되지 않은 위험으로 남고, 그 사유를 함께 적어 두어야 한다.
한편 검토를 맡은 이가 실제로 평가에 참여했는지도 확인할 대상이다. 같은 자료, NIST AI 600-1, MS-1.3-003은 그 참여를 다음과 같이 제한한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 이 제한은 같은 모델의 개발 업무에 직접 관여한 이가 구조화된 피드백 절차를 수행하지 않도록 하기 위한 것이다. 사례의 두 모델이 같은 계열에 속한다는 사실만으로 이 제한이 위반되었다고 보지는 않으며, 실제로 어떤 업무가 오갔는지에 대해서는 자료가 제공되지 않았다.
결국 두 모델이 같은 지점에서 같은 판단을 낸 까닭은 이 자료만으로 정해지지 않는다. 확인할 것은 기반 모델과 버전, 학습 자료의 내력, 오류의 기록, 영향의 측정 여부, 검토자의 참여 경위이며, 각 항목은 확정되지 않은 채 절차상 확인 대상으로만 남는다.
7.4감춤이 막는 판단의 전파
기록 항목이 상관된 실패를 확인하는 데 머무는 것과 무관하게, 재검토자가 앞선 메모를 보지 못하게 감추는 절차가 실제로 막는 영향이 무엇인지가 문제이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 판단의 전파가 생기는 조건을 다음과 같이 적는다. "Algorithmic monocultures" refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm. 이 정의는 여러 행위자가 같은 알고리즘에 의존할 때 계열의 판단이 함께 흔들릴 수 있음을 말한다. 같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 낸 관찰은 이 문장이 그리는 조건에 겹쳐 보일 뿐, 감춤이 그 원인까지 막는다는 뜻은 아니다.
편집자가 재검토자에게 앞선 통과 메모를 보이지 않는 것은, 뒤 판단이 앞 판단에 기대어 굳어지는 경로를 끊는 조치이다. 같은 자료는 반복되는 접근이 결과를 일률화하는 조건을 다루므로, 메모를 드러내지 않는 편집은 재검토자에게 앞선 결론을 전제로 삼게 하는 경로를 줄인다. 그러나 이 편집이 두 모델이 사용한 학습 자료의 겹침까지 지우지는 못한다.
그러한 한계는 같은 자료의 다른 항목이 개별 판단의 신뢰를 다루는 모습에서도 확인된다. 같은 자료, 2절 각주 3은 다음과 같이 적는다. GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. 초안에 적힌 인용의 조항 번호가 자료의 실제 조항과 다르다는 확인은 이 문장이 그리는 근거의 오류에 해당한다. 자동 대조가 잡아낸 이 오류는 앞선 메모를 보이지 않게 한 편집과 별개로 확인된 사실이며, 감춤이 잡아낸 것은 아니다.
한편 감춤을 구성하는 절차는 같은 자료가 요구하는 수행자의 분리와도 맞닿는다. 같은 자료, MS-1.3-003은 다음과 같이 적는다. Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model. 이 항목은 같은 모델의 개발에 직접 관여한 이가 그 모델의 구조적 피드백 수행자가 되지 않도록 확인을 요구한다. 편집자가 같은 회사 계열의 상위 모델 B에게 검토를 맡긴 이 사례에서 이 확인이 어떻게 되었는지는 미정이다.
오류를 기록으로 남기는 항목도 감춤과 나란히 놓인다. 같은 자료, MG-4.3-002는 다음과 같이 적는다. Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts. 조항 번호가 다른 인용은 이 항목이 적는 오류 가운데 기록 대상에 든다. 감춤이 재검토자의 판단을 앞 판단으로부터 떼어 놓는 동안, 오류 기록은 확인된 사실 자체를 남겨 두는 역할을 맡는다.
따라서 앞선 메모를 감추는 절차가 막는 것은, 재검토자가 그 메모를 읽고 그 결론을 받아들이는 경로이다. 그 절차가 학습 자료에서 비롯된 상관된 실패까지 막는다고 보기는 어렵다. 무엇을 막았고 무엇을 막지 못했는지의 구분은 이 사례의 관찰을 절차상 항목으로 읽는 데 필요한 선이다.
7.5독립을 남기는 기록 절차
감춤 절차가 앞선 메모의 전파를 막았다면, 그 절차가 실제로 독립했는지는 무엇을 남겨야 판단할 수 있는지가 남은 물음이다. L03은 위험 관리 대장에 적을 항목을 열거한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003는 시스템 목록 항목으로 다루어야 할 사정을 다음과 같이 둔다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 이 목록은 기반 모델과 그 버전, 접근 방식을 함께 적도록 요구한다. 편집자가 모델 A의 초안을 모델 B에게 넘긴 절차에서 두 모델이 같은 학습 자료를 쓴 사실은 바로 이 항목의 기록 대상이 된다.
같은 문건의 MS-1.3-003은 구조화된 인간 피드백 작업의 수행자를 분리한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 이 문장은 검토자가 같은 모델의 개발 과업에 직접 관여하지 않았는지 확인하도록 요구한다. 두 모델이 같은 학습 자료로 배운 사정만으로 이 확인 항목이 충족되었다거나 어긋났다고 단정할 수는 없다. 두 모델의 관계가 개발 관계에 해당하는지 여부는 미정이다.
MS-1.3-002는 평가 수행자의 자격을 함께 정한다. "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 이에 따라 재검토를 맡은 이가 그 사용 맥락에 익숙한지, 해당 집단을 대표하는지를 기록으로 남길 수 있다. 모델 B가 "문제없음"이라는 메모와 함께 통과 도장을 남긴 점은 검토의 결과이지 그 자격의 증거는 아니다.
오류를 남겨 두는 절차도 함께 요구된다. 같은 문건의 MG-4.3-002는 다음과 같이 정한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 자동 대조가 확인한 조항 번호 불일치는 이 항목에 적어 둘 사실이다. MG-4.2-001은 보고를 요구한다. "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 개선 보고는 성과와 받은 피드백, 이룬 개선을 함께 다룬다. 검토 메모가 다음 검토에 어떤 영향을 주었는지가 미정인 채로, 그 메모는 받은 피드백에 해당하는 기록으로 남길 수 있다.
사건 기록을 남기는 방식 자체도 L03이 지적한 이득이다. 같은 문건은 다음과 같이 적는다. "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents." 바꿔 말하면, 이력과 메타데이터가 응답하는 이에게 힘을 준다. 감춘 절차가 남긴 기록 항목이 모델 A와 모델 B의 학습 자료 공통성, 메모와 도장의 전달 경로, 조항 번호 불일치의 확인 시점과 그 처리를 담을 때, 독립이 실질적이었는지는 그 기록으로 뒤따라 살필 수 있다.
다만 이 기록 항목들이 새 의무를 만들어 내지는 않는다. 인용한 각 항목은 무엇을 기록할지 정할 뿐이고, 그 기록만으로 확정 손해나 고의가 성립한다고 하지 않는다. 편집자가 모델 A의 초안을 같은 회사 계열의 모델 B에게 넘긴 절차가 감춘 절차로 작용했다는 사실, 자동 대조가 조항 번호의 불일치를 확인했다는 사실은 관찰된 사실로서 남는다. 두 모델이 같은 지점에서 같은 판단을 낸 이유, 검토 메모가 초안 작성에 실제로 미친 영향, 그 인용 오류가 최종 결과에 끼친 영향은 미정이다. 독립을 남기는 기록은 이 미정을 미정인 채 두고 판단할 근거를 마련하는 절차다.
7.6자동 필터와 전문가 검토의 분업
기록 항목의 남기기에서 마무리한 독립성 판단을 넘어서면, 다음 물음은 그 절차를 맡긴 이가 누구인지이다. 출판사 편집자는 초안 모델 A가 쓴 장을 같은 회사 계열의 상위 모델 B에게 넘겨 검토를 맡겼고, B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼다. 이 검토가 사람이나 기계 가운데 어느 쪽의 손을 거쳤는지에 따라 절차의 성격이 달라지므로, 자동 필터와 전문가 검토의 역할 구분을 먼저 읽어야 한다.
한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)은 기계의 1차 거름과 사람의 검토를 함께 두는 방식을 권한다. 그 개선점은 "AI 자동 태깅 시스템과 전문가 리뷰를 병행하여 의미 정확도를 높임"이라고 적힌다. 여기서 기계와 사람이 나란히 서 있으므로, 어느 한쪽이 다른 쪽을 대신하지 않는다는 뜻이 된다. 이 사례에서 편집자가 B에게 맡긴 일은 그 병행 구조 가운데 사람의 자리에 놓인다.
같은 자료는 기계가 먼저 걸러 내는 절차도 밝힌다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)의 개선조치는 오태깅이 의심되는 문서를 미리 표시하는 1차 필터에 대해 "특정 키워드나 패턴을 기반으로 오태깅 가능성이 높은 문서에 대해 사전 경고 표시"라 하였다. 자동 대조가 초안의 인용에서 조항 번호가 자료의 실제 조항과 다르다는 사실을 확인한 것은 이 사전 경고의 자리를 채운다. 다만 자동 대조가 확인한 것은 번호 불일치뿐이며, 그 이상의 사실이나 법적 평가는 여기에 더하지 않는다.
전문가 검토 쪽에는 겹쳐 살피는 장치가 있다. 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)의 강화 방안은 "동일데이터에 대해 2명 이상의 작업자가 독립적으로 태깅한 후 불일치가 발생하면 재검토"한다고 적힌다. 이 불일치 처리 조건은 사람이 둘인 경우에 붙는 것이므로, A가 쓰고 B가 검토한 이 사례의 한 쌍에 그대로 옮길 수는 없다. 두 모델이 같은 학습 자료로 배운 것으로 알려져 있다는 관찰 역시, 자료가 그 역할 구분에 새로 붙인 조건이 아니라 이 사례의 사실로 남는다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 기계가 만들어 낸 근거를 사람이 넘겨볼 때의 주의를 덧붙인다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."(…) "Similarly, an LLM could falsely assert that it is human or has human traits, potentially deceiving humans into believing they are speaking with another human."(NIST AI 600-1, 2.2절) B가 남긴 "문제없음" 메모가 초안의 인용을 실제로 대조했는지, 아니면 신뢰에 기대었는지는 미정이다.
이 절차의 마지막 자리에 자동 검사가 남는다. NIST AI 600-1의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."(NIST AI 600-1, MG-4.3-002)라 하였다. 같은 자료는 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors."(NIST AI 600-1, 부록 A)라고도 하였다. 감춰 두어도 좋다고 본 메모를 넘기지 않은 자리에, 자동 대조가 남긴 불일치 기록이 다음 검토에 전해지는 흐름이 이 구절에 걸린다.
Official documents referred to
- 한국지능정보사회진흥원(NIA), 「AI 데이터 구축 가이드 v3.5(제2권)」, 2025-05-23, 359쪽, 의미 정확성 점검 오류 분석 (PDF 359쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)