Summary
이 장은 공개 검증 기록에 확인한 범위와 확인하지 못한 범위, 검토 의견과 실제 수정의 차이, 외부 전문가 검토의 실제 여부를 어떻게 구분해 적을지를 묻는다. 확인 범위와 미확인 범위, 검토 의견과 실제 수정의 구분, 외부 검토의 실제 여부를 살핀 뒤, 공개 검증 기록의 통합 표기와 오류 대응 이력의 공개 문안을 검토한다. 자료 수·점수·분량의 과장 점검과 공개 연구 묶음의 구성, 자기교정 체계의 유지 문제는 다음 장에서 다룬다.
13.1확인 범위와 미확인 범위
파기 대상의 판단에서 벗어난 잔존 문서를 정리하고 나면, 다음으로 묻는 것은 그 문서 안에서 무엇을 확인했고 무엇을 확인하지 못했는가이다. 상대측은 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적했다. 이 지적에 답하려면 공개 검증 기록에 확인한 범위와 확인하지 못한 범위를 나누어 적어야 한다. NIST AI RMF는 측정되지 않은 것의 기록을 별도의 요구로 두고 있다.
측정할 수 없는 범위를 남김없이 적도록 요구하는 근거로서, NIST AI 100-1 (AI RMF 1.0) MEASURE 1.1은 "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 정한다. 이 규정은 확인하지 못한 범위가 있으면 그 범위를 기록에 남겨야 함을 뜻한다. 출처·인용 검증 대장에서 원문 대조가 끝나지 않은 항목이 남아 있다면, 그 항목을 확인된 것으로 적으면 안 된다.
확인한 범위는 무엇을 어떻게 확인했는지 함께 밝혀야 한다. 시험 도구와 검증 수단을 기록하도록 요구하는 NIST AI 100-1 (AI RMF 1.0) MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 선언한다. 이 규정은 확인의 결과뿐 아니라 확인에 쓴 수단과 방법도 함께 적어야 함을 뜻한다. 계산 재실행 자료가 어느 계산식과 어느 입력값에 대한 것인지 밝히지 않으면, 재실행했다는 사실만으로 계산이 확인되었다고 말하기 어렵다.
확인하지 못한 범위의 이유도 함께 적는다. NIST AI 600-1의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 요구한다. 이 항목은 측정하지 못한 범위를 그 이유와 함께 적고, 측정되지 않은 위험을 잔여 위험에 포함하도록 정한다. 원문에서 근거를 찾지 못한 인용에 대해 그 이유를 적지 않으면, 미확인 범위의 설명 요구를 충족하지 못한다.
확인의 한계는 조건에 따라 달라지므로 그 조건을 함께 밝혀야 한다. 일반화 한계의 기록을 요구하는 NIST AI 100-1 (AI RMF 1.0) MEASURE 2.5는 "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 선언한다. 이 규정은 어떤 조건에서 확인했는지를 밝히지 않으면 그 확인의 범위가 한정됨을 뜻한다. 계산 재실행이 특정 입력값과 특정 시점의 계산식에 대해서만 이루어졌다면, 그 한계를 그대로 적어야 한다.
확인 사실과 자료의 보유는 구별되어야 한다. 작성 당시의 AI 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다는 사실은 그 자료들이 무엇을 확인하는지의 문제와 분리된다. 자료가 있다는 사실을 확인 사실로 바꾸어 적거나, 미측정 범위를 확인한 것으로 쓰면, 확인 범위와 미확인 범위의 기록 요구를 어긴다. 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 미정으로 남는다.
13.2검토 의견과 실제 수정의 구분
확인 범위와 미확인 범위를 나눈 뒤에는, 상대측의 검토 의견을 어떻게 기록할지가 남는다. 상대측은 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적하며 검토 의견을 보내 왔다. 이때 검토 의견을 받은 사실과 실제 수정이 이루어진 사실을 하나의 기록 항목에 묶어 적는지, 아니면 둘로 나누어 적는지가 문제이다. NIST AI RMF 1.0은 오류의 보고와 대응을 기록으로 남기라고 요구한다. MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 규정한다. 이 규정은 오류가 보고된 사실 자체를 개선 활동의 기록 항목으로 삼는다. 다만 이는 보고가 접수되었음을 기록하라는 것이지, 수정이 끝났음을 선언하라는 것은 아니다.
실제로 무엇이 고쳐졌는지는 별도의 항목으로 남겨야 한다. NIST AI 600-1의 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 권고한다. 이 권고는 보고 항목을 성과, 접수한 의견, 이루어진 개선의 셋으로 나눈다. 접수한 의견과 이루어진 개선은 서로 다른 줄에 적힌다. 이 사례에서 상대측의 지적은 feedback received에 해당하며, 손해 계산서와 서면을 실제로 고친 것은 improvements made의 항목으로 들어간다. 두 항목 사이의 간격이 곧 아직 처리되지 않은 의견이다.
개선 이력에 없는 수정을 적지 않는다는 기준도 같은 방향에서 확인된다. NIST AI 600-1은 부록 A에서 "Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."라고 설명한다. 변경 관리 기록과 버전 이력이 대응자의 근거가 된다는 뜻이다. 그러므로 개선 이력이나 버전 이력에 남지 않은 수정은 공개 검증 기록에 올릴 근거가 없다. 이 사례에는 작성 당시의 AI 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 이 문서들은 개선 이력과 별개의 것이며, 그 자체로 수정이 있었다는 뜻은 아니다. 문서에 저장된 사실이 곧 법적 평가가 아니다.
한편 NIST AI 600-1은 출력에 섞이는 허위 근거를 경계한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."라는 설명이 바로 그것이다. 서면에 인용된 근거가 원문에서 확인되지 않는다는 지적은 이 설명이 다루는 현상과 겹친다. 다만 이 설명은 현상을 부르는 말을 제공할 뿐이고, 이 사례의 수치와 인용이 오류인지는 별도로 확인해야 한다. MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 권고한다. 보고된 오류를 기록하고 추적하는 절차를 세우라는 뜻이며, 오류 보고를 수정 완료로 바꾸어 적으라는 뜻은 아니다.
그러므로 검토 의견의 접수 사실과 실제 수정의 완료 사실을 서로 다른 문장으로 적는다. 접수한 날과 접수한 내용은 의견 접수 항목에, 고친 문서와 고친 시점은 개선 이력 항목에 둔다. 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 미정이다. 미정인 사항은 의견 접수 항목에 미정으로 남긴다. 미정을 수정 완료로 옮겨 적는 순간, 기록은 확인된 사실과 확인되지 않은 사실의 구분을 잃는다.
13.3외부 검토의 실제 여부
검토 의견과 실제 수정을 나누어 적는 방식을 확인한 뒤, 다음으로 따져볼 것은 우리 측 기록에 남은 평가가 개발팀과 구별되는 검토였는지이다. 상대측이 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적한 사실은, 곧 평가자의 독립성이 다투어질 수 있음을 뜻한다. 이 물음은 개발과 검토의 분리가 어떤 기록으로 확인되는지를 묻는다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 검토의 주체를 이렇게 적는다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이 문장은 검토 참여자를 전담 개발자에 속하지 않는 내부 전문가나 독립 평가자로 한정하고 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 검토의 빈도와 함께 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라고 정하고 있다. 평가가 반복되는 활동이어야 함이 드러나며, 이 사례에서 우리가 확인할 평가자 관여 기록은 개발 이력과 나란히 두고 대조할 사안이다.
아울러 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 독립 검토의 의미를 부연한다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 독립 검토가 겨냥하는 이해충돌과 내부 편향이, 검토 참여자라는 사실만으로 해소되지는 않음을 함께 읽어야 한다.
이 사례에서 확인할 기록은 작성 당시의 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모이다. 그런데 검토 메모가 개발자 사이에 공유되었다는 사실은 검토자가 개발과 구별된다는 뜻이 아니다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 같은 취지로 이렇게 적는다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 구조화된 인적 피드백 절차를 맡은 사람이 해당 모델의 개발 과제에 직접 관여하지 않았는지 확인할 것을 요구하는 문장이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 참여자의 자격을 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 라는 문장으로 보태고 있다. 평가자의 전문성과 맥락 이해가 함께 요구된다는 뜻이며, 이 사례에서는 계산 근거의 원문 확인에 필요한 전문성이 평가자에게 있었는지를 따져야 한다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 시스템 항목에 "Underlying foundation models, versions of underlying models, and access modes." 를 함께 적도록 권고한다. 모델 이름의 차이가 기록되는 것은 재현 가능성과 버전 관리를 위한 일이고, 평가의 독립성을 입증하는 근거는 아니다. 이 사례에서 초안에 사용된 모델과 검토 메모를 작성한 모델의 명칭이 달랐다고 해도, 검토자가 개발과 구별되었는지는 확인되지 않는다.
결국 공개 기록에는 평가자의 참여 여부와 그 자격을 확인할 근거가 함께 담겨야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 기록 유지를 이렇게 요구한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 오류 추적 절차가 마련되어 있음을 전제로 한 문장이며, 이 사례에서 평가자 관여 기록이 그 절차 안에 담겨 있는지는 미정이다. 앞서 개발과 구별된 평가자와 그 자격이 확인된 경우에 한해, 외부 검토가 있었다고 적을 수 있다.
13.4공개 검증 기록의 통합 표기
평가자의 실제 참여 여부를 따진 뒤에는, 확인 범위와 수정, 외부 검토의 구분을 하나의 공개 기록 안에 어떻게 적어 둘지가 남는다. 이 사례에서 상대측은 손해 계산서의 일부 수치와 서면 인용이 원문에서 확인되지 않는다고 지적했고, 우리 측에는 AI 초안과 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 있다. 문제는 이 문건들을 어떤 항목 아래 나란히 배치하느냐이다.
먼저 시스템이 무엇을 확인했고 무엇을 확인하지 못했는지의 범위를 적는다. NIST AI 100-1은 MAP 2.2에서 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 규정한다. 손해 계산서에서 원문 대조까지 마친 항목과 아직 대조하지 못한 항목을 함께 적어 두어야, 상대측이 어느 범위에서 지적을 제기했는지 확인할 수 있다. 같은 자료의 MEASURE 1.1은 "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 하며, 측정하지 못한 항목을 감추는 대신 사유와 함께 남길 것을 요구한다.
그다음은 수정의 이력이다. NIST AI 600-1의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 규정한다. 이 사례에서 원문에서 확인되지 않은 인용을 바로잡았다면, 어떤 문서를 언제 고쳤는지를 추적 항목으로 남겨야 한다. 같은 자료는 이어서 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."라고 밝힌다. 따라서 계산 재실행 자료와 내부 검토 메모의 개정 이력을 함께 두는 편이, 나중에 영향 범위를 되짚는 데에 유리하다.
한편 계산서에 환각에 해당하는 근거가 섞였다면 그 성격도 적어 둔다. NIST AI 600-1은 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."라고 경고한다. 원문에서 확인되지 않은 인용은 이 경고가 가리키는 현상에 가깝다. 다만 "confabulated logic or citations"라는 설명은 오류의 원인을 묘사하는 표현일 뿐이며, 그 자체로 정정인지 철회인지의 법적 결론을 대신하지 않는다.
끝으로 외부 검토 기록을 붙인다. NIST AI 600-1의 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 규정한다. 검토자가 개발에 관여했는지를 먼저 확인한 뒤에야 외부 검토 항목을 채울 수 있다. 같은 자료의 MS-2.11-001은 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 하며, 검토에 쓴 기준과 그 한계를 함께 적도록 요구한다.
이렇게 확인 범위·수정·외부 검토를 나란히 두는 형식이 공개 검증 기록의 통합 표기이다. 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지는 아직 미정이다. 기록에 자료가 있다는 사실은 그 자체로 법적 평가가 되지 않는다.
13.5오류 대응 이력의 공개 문안
확인 범위·수정·외부 검토를 한 기록 안에 배치한 뒤에는, 오류 지적에 대한 대응 이력 자체를 공개 문안에 어떻게 옮겨 적을지가 남는다. 상대측은 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적하면서 검토 의견을 보내 왔고, 우리 측에는 작성 당시의 AI 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 이 남은 자료들을 공개 기록의 항목으로 고쳐 적을 때 무엇을 먼저 바로잡고 어떤 문장을 함께 갱신할지를 실제 개선 보고 항목으로 읽어 갈 필요가 있다.
먼저 갱신할 항목을 정할 때, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 이러하다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 이는 보고된 오류와 아차 사고, 부정적 영향을 기록하고 추적할 절차를 마련해 둘 것을 요구하는 항목이다. 이 사례에서 상대측이 지적한 수치와 인용은 보고된 오류에 해당하므로, 그 지적과 후속 조치를 남긴 기록을 공개 문안의 첫 항목으로 삼을 수 있다.
오류 기록을 공개할 때는 지적된 내용과 그 대응이 함께 드러나야 한다. 같은 자료, MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 라고 규정한다. 성과, 받은 피드백, 이루어진 개선을 함께 적어 보고서를 낼 것을 요구하는 항목이다. 이 사례에서 상대측의 검토 의견은 받은 피드백에, 수치의 정정과 근거의 재확인은 이루어진 개선에 대응하므로, 공개 문안은 이 셋을 나란히 적는 형식이 된다.
어느 문서를 먼저 고칠지도 같은 기준으로 정해진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 라고 선언한다. 사고와 오류를 관계자에게 알리고, 이를 추적·대응·복구한 절차를 따르며 기록할 것을 요구하는 항목이다. 이 사례에서 오류가 확인된 수치와 인용 근거가 실린 서면을 먼저 고치는 것이 그 절차에 부합하며, 공개 문안은 이 정정 이력을 함께 갱신하는 방향이 된다.
정정과 철회의 구분은 측정된 오류의 보고 방식에서 단서를 찾을 수 있다. 같은 자료, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라고 규정한다. 기존 통제의 적절성을 평가하고 갱신하면서, 오류와 잠재적 영향의 보고를 함께 다룰 것을 요구하는 항목이다. 이 사례에서 수치의 오류는 정정 대상이고, 원문에서 확인되지 않는 근거에 의존한 판단은 영향을 받는 결론과 함께 보고되어야 하므로, 두 가지를 공개 문안에서 나누어 적는 방식이 이 항목에 맞는다.
어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 아직 미정이다. 다만 오류 지적과 그 대응 이력을 기록하고 추적하며, 받은 피드백과 이루어진 개선을 함께 보고하는 형식으로 공개 문안을 짜는 것이 위의 두 문서가 요구하는 절차에 부합한다. 남은 판단은 오류 한 건이 어느 결론에 이르는지를 확인한 뒤에야 비로소 정해질 일이다.
Official documents referred to
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)