Summary
이 장은 AI 작성과 검토의 이력을 무엇까지 기록할지, 모델 계열과 독립성을 어떻게 구별할지, 검토 메모를 공유한 평가의 한계를 어떻게 표시할지를 묻는다. AI 작성 이력의 기록 항목, 모델 계열과 버전의 구별, 자료 범위와 지식 한계를 살핀 뒤, 개발팀과 구별된 검토, 검토 메모 공유의 한계, 오류 대응과 개선 이력으로 이어진다. AI 산출물의 인용·계산·논리 오류에 대한 별도 검증 방법은 다음 장에서 다룬다.
5.1AI 작성 이력의 기록 항목
재검토 범위를 인용 요건과 출처 명시의 부분으로 한정한 뒤에 남는 문제는, AI 작성 이력을 무엇으로 기록할 것인지이다. 상대측의 지적은 수치와 근거의 확인 가능성에 관한 것이므로, 작성 이력 대장에는 무엇을 남길지가 먼저 가려져야 한다. 기록 항목을 정함에 있어 기준이 되는 문헌을 읽되, 그 문헌에 없는 법적 요건이나 필수 양식을 만들어 넣지 않는다.
먼저 AI 시스템의 한계를 어떻게 남길지 살핀다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2는 한계의 기록을 다음과 같이 요구한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 이는 문서에 지식 한계와 사람의 감독 방식을 적어, 판단과 후속 조치를 돕는 분량이 되어야 한다는 뜻이다. 이 사례에서 작성 당시의 AI 초안이 어떤 한계 아래 만들어졌는지는 그 문서의 기록 항목으로 옮길 사정에 해당한다.
같은 문서는 측정과 시험의 기록 항목을 구체화한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1은 시험 도구의 기록을 다룬다. "Test sets, metrics, and details about the tools used during TEVV are documented." 같은 문서 MEASURE 2.5는 일반화의 한계를 다음과 같이 남기라고 한다. "Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 나아가 같은 문서 MEASURE 1.1은 재지할 수 없는 위험의 처리를 명시한다. "1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이에 따르면 계산 재실행 자료와 같은 시험 도구의 내역과, 조건을 벗어난 일반화의 한계, 그리고 측정되지 않은 사정까지 함께 기록 대상이 된다. 다만 위의 문헌이 제시하는 것은 기록의 대상일 뿐, 특정 양식을 법적 요건으로 정한 것은 아니다.
생성형 AI의 목록 항목은 한층 구체적이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 목록 항목의 예시를 열거한다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 자료 내력과 알려진 문제, 사람의 감독 역할, 지식재산에 관한 사정, 밑바탕 모델과 그 버전 및 접근 방식이 함께 묶여 있다. 출처·인용 검증 대장에 담을 항목과, 작성 모델의 버전을 남길 항목이 같은 목록 안에 놓인다.
측정할 수 없는 것과 평가자의 독립성도 기록의 일부로 취급된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 다음과 같이 말한다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 같은 문서 MS-1.3-003은 평가자의 분리를 요구한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 앞서 인용한 MEASURE 1.1과 결합해 보면, 측정되지 않은 사정은 그 까닭과 함께 남기고, 검토에 참여한 사람이 같은 모델의 개발에 직접 관여하지 않았는지도 확인해 둘 사항이다. 이 항목들을 작성 이력 대장에 어디까지 옮길지는 미정이다.
이 항목들이 이 사례에서 다루는 것은 기록의 대상이다. 내부 검토 메모와 같은 문서가 이미 있다 하여 법적 평가가 따라오는 것은 아니며, 어느 결론이 영향을 받는지와 정정과 철회의 선택은 별개의 판단이다. 문서의 정리 순서와 공개 문안의 함께 고침도 정해지지 않았다. 그러므로 작성 이력 대장은 위 문헌이 열거한 대상 가운데 이 사례에 해당하는 항목을 먼저 적는 것으로 한정하고, 항목을 법정 요건으로 확장하지 않는다.
5.2모델 계열과 버전의 구별
작성 모델의 이름을 기록 항목으로 정한 데서 그치지 않고, 같은 계열의 모델에 의존한 결과가 서로 다른 문서에서 함께 무너질 수 있는지를 따져 보아야 한다. NIST AI 600-1은 단일 모델 의존의 위험을 "Algorithmic monocultures"라는 이름 아래 "the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm"으로 규정한다. 여기서 강조되는 것은 상관된 실패이며, 모델 이름이 겹치는지보다 같은 원인에 함께 노출되었는지가 핵심이다. 이 사례에서 손해 계산서와 서면 근거의 오류가 어디서 비롯되었는지 밝히려면, 각 문서가 어떤 모델로 작성되었는지를 넘어 같은 계열인지가 함께 확인되어야 한다.
계열이 겹치는지는 목록 항목의 형식만으로는 드러나지 않는다. NIST AI 600-1은 GAI 시스템 목록 항목에 "Underlying foundation models, versions of underlying models, and access modes"를 포함할 것을 권한다. 따라서 모델 계열과 버전, 접근 방식이 각각의 항목으로 나뉘어 기록되어야 하고, 어느 문서에 어떤 모델이 쓰였는지가 항목마다 확인 가능해야 한다. 이 사례에서 작성 당시의 AI 초안이 어느 계열의 어느 버전으로 산출되었는지가 기록에 남아 있다면, 상대측이 지적한 수치와 근거의 오류가 계열 공통의 요인에서 나왔는지 가려낼 근거가 생긴다.
같은 계열의 모델을 쓰더라도 검증자가 그 모델의 개발에서 빠져 있었다면 평가는 달라질 수 있다. 미국 상무부 국립표준기술연구소(NIST)의 Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0))은 MEASURE 1.3에서 내부 전문가와 독립 평가자의 참여를 정하면서, 일선 개발자와 독립 평가자의 참여를 원문에 포함한다. 평가 독립성이 성립하려면 검토자가 해당 시스템의 일선 개발자가 아니어야 한다는 조건이 앞에 놓인다. 이 사례에서 내부 검토 메모를 작성한 이가 작성 모델의 개발에 관여했는지, 바깥의 평가자가 있었는지가 확인되지 않은 채로는 검토의 독립성을 말할 수 없다.
같은 모델로 만든 결과를 같은 모델로 검증하는 방식은 이 조건에 걸린다. NIST AI 600-1은 구조화된 인간 피드백 절차에 대해 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model"라고 요구한다. 검증자가 같은 모델의 개발 업무에 직접 관여했는지를 확인하는 일이 선행되어야 한다는 뜻이다. 이 사례에서 출처·인용 검증 대장과 계산 재실행 자료가 어느 모델과 어떤 관계를 맺고 만들어졌는지가 기록되어야, 그 자료가 검증 수단으로 기능했는지 판단할 수 있다.
평가에 쓰인 도구 역시 이 기준의 적용을 받는다. NIST AI RMF 1.0은 MEASURE 2.1에서 "Test sets, metrics, and details about the tools used during TEVV are documented"로 정하고, MEASURE 2.5에서 일반화의 한계를 원문에 포함한다. 검증 도구의 내력과 그 보편성이 어디까지인지가 함께 남아야 한다. 그러므로 모델 계열이 달라 보인다는 사정만으로 평가가 독립적이라고 보기는 어렵다. 이 사례에서 어떤 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 아직 미정이며, 모델 계열과 버전의 구별은 그 판단을 뒷받침하는 기준으로 남는다.
5.3자료 범위와 지식 한계
평가의 독립성을 가르는 기준을 세우고 나면, 다음으로 묻는 것은 그렇게 모은 자료가 닿는 범위가 어디까지인가이다. 상대측은 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적하며 검토 의견을 보내 왔다. 우리 측에는 작성 당시의 AI 초안과 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 이 기록들이 덮는 범위와 덮지 못하는 범위를 가르는 일이 이 자료 정리의 출발점이 된다.
범위를 문서로 남기는 일은 위험을 파악하는 단계에서 이미 요구된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2는 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 규정한다. 시스템이 아는 범위와 그 산출물을 사람이 어떻게 다루고 감독하는지를 함께 적으라는 취지이다. 이 사례에서 손해 계산서의 수치 산정 범위와 서면 인용이 확인된 원문의 범위를 각각 적어 두어야 한다.
측정을 진행하면서도 측정하지 않거나 측정할 수 없는 부분을 남겨 두어야 한다. 같은 자료 MEASURE 1.1은 "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 정한다. 재실행으로 검산된 계산 항목과 검산되지 않은 항목을 구분하여 적으면, 어느 수치가 어떤 방식으로 뒷받침되는지가 드러난다.
시험에 쓴 자료와 도구의 내역도 기록으로 남겨야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 하여, 정량 측정이 되지 않는 사유를 함께 적도록 요구한다. 측정 밖에 머무는 범위는 지식 한계란 이름으로 표시하고 그 사유를 덧붙인다.
그렇게 표시된 범위를 추정으로 메우는 것은 허용되지 않는다. NIST AI 100-1 (AI RMF 1.0) MEASURE 2.5는 "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 하여, 개발 조건을 넘는 일반화의 한계를 적도록 한다. 기록되지 않은 범위를 채우기 위해 만든 추정치는 자료의 범위 밖에 놓인 것이며, 이 사례에서 그 자리는 그대로 비워 둔다.
마지막으로, 자료가 남아 있다는 사실 자체를 정확성의 근거로 삼을 수 없다. NIST AI 100-1 (AI RMF 1.0) MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 규정할 뿐, 기록의 존재가 산출물의 정확성을 뜻하지는 않는다. AI 초안과 검증 대장, 재실행 자료가 남아 있다는 사실은 그 기록들이 어떤 범위를 다루었는지를 확인하는 데 쓰일 뿐이며, 수치와 인용의 확인 여부는 기록된 범위 안에서 따로 판단할 몫으로 남는다.
5.4개발팀과 구별된 검토
범위 표시만으로 남은 물음은, 검토에 참여한 사람이 어느 팀에 속했는지이다. 상대측 지적에 대응하려면 검토가 있었다는 사실보다 검토자의 소속이 더 중요하다. NIST AI 100-1은 MEASURE 1.3에서 평가 주체를 정해 놓고 있다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이 조항은 검토자가 시스템의 최전선 개발자가 아니어야 하거나 독립 평가자여야 한다는 기준을 제시한다. 따라서 내부 검토 메모를 남긴 사람이 어느 쪽에 해당하는지부터 표시해야 한다.
같은 자료의 5.3절은 독립 검토의 효과를 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)에서 다음과 같이 말한다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 이 문장은 독립 검토가 검토의 실효성을 높이고 내부 편향과 이해충돌을 줄일 수 있다고 본다. 우리 측 서류에 검토 기록이 남았다는 사실만으로 독립 평가가 있었다고 쓰면, 이 문장이 요구하는 검토의 성격과 어긋난다.
NIST AI 600-1은 구조화된 인간 피드백 절차에서 참여자의 조건을 한층 구체화한다. MS-1.3-002는 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 라고 정한다. 이어서 MS-1.3-003는 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 라고 요구한다. 이 두 항은 평가에 참여한 사람이 같은 모델의 개발 업무에 직접 관여하지 않았는지 확인할 것을 분명히 한다. 그러므로 검토자 소속 항목에는 이름과 함께 개발 관여 여부를 적는 편이 맞다.
시험자료의 오염 여부도 같은 맥락에서 다룬다. NIST AI 600-1의 MS-2.11-001은 벤치마크 적용 시에 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 라고 기록을 요구한다. 이 조항은 훈련자료와 시험자료가 실제로 섞였는지 또는 섞일 가능성이 있는지에 관한 가정과 한계를 함께 적으라는 뜻이다. 검토자가 개발에 관여했다면 시험자료가 오염되었을 가능성이 커지므로, 두 항목은 같은 표에 놓고 본다.
이 기준을 우리 측 사례에 적용하면 기록할 항목이 분명해진다. 검토자 이름, 소속 팀, 개발 관여 여부, 독립 평가자 해당 여부, 확인 방법의 순서로 적는다. 확인이 끝나지 않은 자리는 비워 두고 미확인이라고 표시한다. 여기서 개발 관여 여부와 확인 방법은 서류상 남은 흔적으로 표시할 부분이며, 검토자의 법적 지위에 관한 판단은 별개이다.
결론적으로 검토가 있었다는 사실과 독립 평가가 있었다는 사실은 구별해서 써야 한다. 앞서 표시한 범위와 지식 한계에 이어, 검토자 소속 항목이 채워져야 비로소 검토의 성격이 드러난다. 아직 채워지지 않은 자리는 미정으로 남기며, 자료가 남아 있다는 사실을 독립성의 근거로 삼지 않는다.
5.5검토 메모 공유의 한계
검토자가 어느 팀에 속했는지를 표시하는 항목을 정한 데 이어, 이어서 묻는 것은 검토 메모를 공유한 평가가 독립성을 보장하는지이다. 상대측은 손해 계산서의 일부 수치와 인용된 근거가 원문에서 확인되지 않는다고 지적하며 검토 의견을 보내 왔고, 우리 측에는 작성 당시의 AI 초안과 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 이 가운데 내부 검토 메모를 평가자에게 보여 주었다는 사실이 평가의 독립성을 어디까지 확보하는지가 문제이다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003에서 검토 메모 공유의 한계를 확인할 수 있다. 이 문건은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 요구한다. 같은 문건 MS-1.3-002는 평가 참여자의 자격을 함께 정하는데, "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 규정한다. 평가자가 같은 모델의 개발 업무에 직접 관여하지 않았는지를 확인하는 것은 메모를 읽은 사실과 별개의 조건이다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 내부 전문가와 독립 평가자의 참여를 이렇게 정한다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 같은 문건 5.3절은 독립 검토의 효과를 밝히는데, "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est."라고 서술한다. 이 문장은 독립 검토가 내부 편향과 이해충돌을 완화할 수 있다고 말할 뿐, 어떤 문서를 공유하면 독립성이 확보된다고 하지 않는다.
따라서 메모 공유 사실은 그 자체로 절차상 하자나 독립성 결여의 근거가 되지 않는다. 다만 평가자가 같은 모델의 개발 업무에 직접 관여했는지, 평가에 필요한 자격을 갖추었는지가 별도로 확인되어야 한다는 뜻이 된다. 이 사례에서 우리 측은 메모를 공유한 시점과 공유한 문서의 범위를 기록으로 남기되, 평가자의 개발 관여 여부는 검증 대장에서 따로 확인해야 한다.
문안에는 메모 공유 사실과 그에 따른 평가 한계를 함께 적는다. 예를 들어 내부 검토 메모를 평가자에게 제공하였고, 그로 인해 평가자가 작성자의 사전 판단을 알게 되었다는 사실을 밝히고, 이어서 메모 공유 사실만으로 독립 평가가 있었다거나 결여되었다고 단정하지 않는다는 한계를 함께 표시한다. 공개 문안의 해당 대목을 함께 고칠지, 어느 문서를 먼저 바로잡을지는 미정이며, 이 문안은 메모 공유를 별도의 평가 조건으로 취급한다.
5.6오류 대응과 개선 이력
검토 메모 공유와 평가 한계의 표시까지 마친 뒤에는, 발견된 오류를 어느 기록에 남기고 개선 보고에 무엇을 담을지가 남는다. 상대측이 지적한 수치와 근거의 불일치가 어떤 기록에 먼저 적혀야 하는지, 그리고 그 기록이 개선 보고로 어떻게 이어지는지를 정해야 한다.
오류를 기록에 남기는 일의 출발점은 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.2이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 규정한다. 오류에 관한 보고가 지표와 통제의 정기적 평가·갱신 항목에 함께 들어 있다는 뜻이므로, 상대측의 지적도 이 보고 경로에 실려야 한다.
같은 프레임워크의 MANAGE 4.3은 오류의 전달과 추적·대응·복구 절차를 함께 요구한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MANAGE 4.3은 "3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 정한다. 오류를 알리는 데 그치지 않고 추적·대응·복구의 과정을 문서로 남겨야 하므로, 수치 불일치의 발견 시점과 조치 내역이 같은 기록에 남는다.
GENAI 프로필은 오류 기록의 항목을 구체화한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 요구한다. 이에 따라 상대측이 지적한 근거 미확인과 수치 오류는 오류 기록에 적히고, 검토 과정에서 드러난 아차 사례와 부정적 영향도 같은 대장에 남는다.
개선 보고의 내용은 같은 출처의 MG-4.2-001이 정한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 규정한다. 정기 모니터링과 함께 성과·수집된 의견·이루어진 개선을 보고에 담도록 되어 있으므로, 상대측의 검토 의견과 이에 따른 개선 조치가 보고서에 함께 실린다.
한편 보고와 공유의 방식도 함께 정해진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 부록 A는 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."라고 설명한다. 로깅과 기록·분석이 공유를 원활하게 하고 변경 관리 기록과 버전 이력이 대응을 돕는다는 점에서, AI 초안과 검증 대장·재실행 자료·내부 메모의 이력을 남기는 일이 곧 오류 대응의 기반이 된다.
이에 오류 대응의 기록은 오류와 아차 사례·부정적 영향을 함께 추적하는 대장에 남기고, 개선 보고에는 성과와 수집된 의견, 이에 따른 개선 내역을 담기로 한다. 다만 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지는 미정으로 둔다. 오류 기록이 남았다는 사실이 곧 정정의 범위를 정해 주지는 않는다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)