요약
검증 기록이 무엇을 담아야 하는지를 묻고, 기록의 대상과 목적을 먼저 가른다. 단계별 기록 항목의 꼴, 검토자 구별과 독립성, 미측정 범위의 표시와 한계를 차례로 정리하고 보관과 무결성의 원칙을 함께 놓고 다룬다. 통과하지 못한 항목의 처리는 다음 장에 맡긴다.
11.1검증 기록의 대상과 목적
검토 메모의 공유가 검토자의 독립성을 보장하지 못한다는 점을 확인한 뒤, 이번에는 검증 기록이 무엇을 남겨야 하고 무엇을 위해 남겨야 하는지가 문제된다. 두 모델이 같은 학습 자료를 공유한 것으로 알려졌다는 사실은 그 자체로 독립성의 결여를 확정하지 못하며, 대신 무엇이 검토 과정에서 기록되었는지를 살피는 일이 앞선다. 기록의 대상과 목적을 가리는 일은 검토 메모가 남긴 흔적을 해석하는 바탕이 된다.
검증 기록이 다루어야 할 대상을 가장 넓게 규정한 것은 지식의 한계에 관한 항목이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2는 시스템의 지식 한계와 인간의 개입 방식을 기록으로 남길 것을 요구한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 이 기록은 판단과 후속 조치를 돕기 위한 충분한 정보를 담아야 한다는 것이므로, 초안 모델 A가 쓴 장에 남은 판단이 어디까지 유효한지에 관한 정보가 기록의 대상에 포함된다.
검증 과정에서 사용한 자료와 도구도 기록의 대상에 든다. 같은 프레임워크의 MEASURE 2.1은 검증에 쓴 자료와 도구의 구체 사항을 문서화하도록 규정한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 자동 대조 절차가 어떤 도구로 진행되었는지가 기록에 남아야, 조항 번호가 다르게 확인된 경위를 뒤따라 살필 수 있다. 지표의 선정 근거와 측정하지 못한 범위도 함께 남겨야 한다. 같은 프레임워크의 MEASURE 1.1은 측정하지 아니한 위험과 신뢰성 특성을 적절히 문서화할 것을 요구한다. "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 두 모델이 같은 지점에서 같은 판단을 내린 이유가 미정으로 남아 있는 경우, 그 사정은 측정되지 아니한 범위로서 기록에 남는다.
측정된 결과 자체도 기록의 대상이다. 같은 프레임워크의 MEASURE 2.3은 조건이 유사한 상황에서 성능을 입증하고 그 측정을 문서화하도록 한다. "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 아울러 배포될 시스템의 한계는 일반화의 한계와 함께 기록되어야 한다. 같은 프레임워크의 MEASURE 2.5는 그 한계의 문서화를 요구한다. "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 초안에 오른 인용의 조항 번호가 실제 조항과 다르다는 사실이 확인된 경우, 그 차이가 최종 결과에 미치는 범위는 아직 미정이며 일반화 한계의 기록으로 남겨야 할 대상이다.
오류와 사고의 처리 과정 역시 기록의 대상이다. 같은 프레임워크의 MANAGE 4.3은 오류의 전달과 추적·대응·복구 절차의 문서화를 함께 규정한다. "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 조항 번호 불일치가 확인된 뒤에 어떤 절차가 진행되었는지가 기록에 남아야, 검토 메모가 초안 작성과 다음 검토에 미친 영향을 헤아릴 근거가 생긴다.
이 프레임워크는 자발적 권고일 뿐이므로, 위 기록 항목을 이 사례에 강제하는 법규범으로 읽을 수는 없다. 다만 기록의 대상은 지식 한계, 검증에 쓴 자료와 도구, 측정 결과와 일반화 한계, 오류 처리 절차로 정리된다. 기록의 목적은 판단과 후속 조치를 돕는 데 있으며, 이를 위해 남겨진 기록이 있어야 비로소 같은 판단이 반복된 이유를 뒤이어 살필 수 있다. 확정 손해나 고의의 성립 여부는 관찰된 사실만으로 확정되지 아니하며, 그 평가는 다음 문제로 남는다.
11.2단계별 기록 항목의 꼴
기록 대상과 목적이 확인된 뒤에는, 그 기록을 어떤 항목으로 남길 것인가가 문제로 남는다. 공공기록물 관리에 관한 법률 제5조는 기록물의 전 생애에 걸쳐 지켜야 할 성질을 다음과 같이 적는다. "제5조(기록물관리의 원칙) 공공기관 및 기록물관리기관의 장은 기록물의 생산부터 활용까지의 모든 과정에 걸쳐 진본성, 무결성, 신뢰성 및 이용가능성이 보장될 수 있도록 관리하여야 한다". 이 원칙은 항목의 이름이나 서식을 새로 정하지 않는다. 다만 항목 하나하나가 생산부터 활용까지의 어느 시점에 무엇을 고정하는지가 드러나야 함을 뜻한다. 이 사례에서 편집자가 초안과 검토 메모를 보관한 시점과 그 보관물이 이후 자동 대조에 쓰인 시점은 각각 다른 과정에 놓인다.
단계마다 무엇을 적어 두어야 하는지는 프레임워크가 측정 기능에서 밝힌다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)에 따르면, 측정에는 신뢰할 만한 성질·사회적 영향·인간과 인공지능의 배치를 나타내는 지표가 추적되고, MEASURE 기능에서 세워진 절차에는 엄격한 시험 방법과 불확실성의 표시, 성능 기준과의 비교, 결과의 문서화가 함께 놓인다. 이 구절은 항목의 수를 지정하기보다, 측정에 쓰인 근거와 결과가 함께 남아야 함을 말한다. 검토자별 판단이 아니라 측정 근거와 결과가 기록의 주된 내용이 된다는 뜻에서, 이 사례의 통과 도장만으로는 항목이 채워졌다고 보기에 부족하다.
기록 항목은 측정하지 않은 것까지 다룬다. 어떤 특성을 측정에서 빼는지도 함께 적어 두어야 한다는 취지에서, 위 자료는 MEASURE 1.1을 다음과 같이 선언한다. "MEASURE 1.1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented.". 이 항목에 비추면, 이 사례에서 자동 대조로 확인된 인용의 조항 번호 차이를 무엇으로 측정했는지가 함께 남아야 한다. 측정하지 않은 부분이 있다면 그 사실도 항목의 일부로 기록된다.
한 차례 적어 둔 항목은 그대로 두지 않는다. 위 자료는 항목의 갱신을 MEASURE 1.2에서 다음과 같이 요구한다. "MEASURE 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities.". 같은 조항이 오류 보고를 갱신 항목에 넣는 이유는, 오류가 항목의 빈칸으로 남기에는 다른 판단에 영향을 주기 때문이다. 이 사례에서 조항 번호가 다르다는 확인 결과가 기록 항목에 들어간 뒤 그 항목이 다시 평가되는지 여부는 미정이다.
측정 도구와 결과를 남기는 항목은 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)의 MEASURE 2.1이 다음과 같이 구체화한다. "MEASURE 2.1: Test sets, metrics, and details about the tools used during TEVV are documented.". 자동 대조 절차가 쓰인 이 사례에서, 대조에 쓰인 집합과 지표와 도구에 관한 세부 사항이 항목으로 남는 것은 이 구절이 말하는 바와 맞닿는다. 다만 이 구절이 어떤 항목 이름이나 서식을 지정하는 것은 아니며, 항목의 이름은 이 사례에서 확인된 사실에 비추어 정해지지 않았다.
여기까지 검토한 항목의 꼴은 항목이 무엇을 고정하는지, 무엇을 측정하지 않았는지, 측정 근거와 결과가 함께 남는지를 따지며, 오류가 확인된 뒤 그 항목이 갱신되는지도 함께 본다. 통과하지 못한 항목의 처리는 여기서 다루지 않았다.
11.3검토자 구별과 독립성
단계별 기록 항목이 무엇을 남기는지를 정리한 데서 이어져, 이제 기록에 남는 검토자가 누구인지, 그리고 그 검토가 초안 작성과 얼마나 떨어져 있는지를 묻는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 평가에 참여할 사람을 다음과 같이 가른다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 이는 초안 작성에 관여하지 않은 내부 전문가, 그리고 독립 평가자를 정기 평가에 두어야 한다는 뜻이다. 출판사의 경우에서 상위 모델 B는 초안 작성자가 아니므로 첫째 요건의 자리에는 놓인다.
다만 같은 자료는 독립 검토가 무엇을 위한 것인지 그 까닭을 함께 밝힌다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, 5.3절은 다음과 같이 말한다. "Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 독립 검토는 시험의 효과를 높이고 내부 편향과 이해충돌을 줄이는 데 쓰인다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은 그 관찰 자체로 기록되며, 위 자료가 말한 내부 편향이나 이해충돌에 해당하는지는 여기서 정하지 않는다.
검토자의 신분은 모델 이름만으로 가려지지 않는다. 앞서 본 기록 항목들이 남기려는 것은 누가 언제 무엇을 보았는가이다. 이 사례에서 검토자로 기록될 이름은 상위 모델 B이며, 그 검토 결과는 "문제없음"이라는 메모와 통과 도장이다. 초안을 쓴 모델 A와 검토한 모델 B가 서로 다른 이름을 가졌다는 사실만으로 독립성이 입증되었다고는 할 수 없다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3이 요구하는 것은 이름의 차이가 아니라, 초안의 front-line developer 자리에 서지 않았는가의 확인이다.
자료는 평가 참여자를 더 넓게도 적시한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 함께 참여할 사람들을 다음과 같이 넓힌다. "Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 편집자가 넘긴 검토가 이 가운데 어느 범위까지를 포함했는지는 미정이다. 같은 계열의 상위 모델이 위 나열된 어느 쪽에 해당하는지 역시 미정으로 남는다.
검토자가 무엇을 확인했는지는 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1의 기록 항목과 맞닿는다. 같은 자료 MEASURE 2.1은 시험 도구에 관한 기록을 다음과 같이 요구한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 자동 대조 절차가 확인해 낸 원문 인용의 조항 번호 불일치는 어느 도구가 밝힌 결과인지, 어떤 대조 근거로 나왔는지가 기록되어야 할 대상이다. 두 모델이 같은 지점에서 같은 판단을 내린 이유, 검토 메모가 초안 작성과 다음 검토에 미친 영향, 그 인용 오류가 최종 결과에 미친 영향은 미정이다.
이 관찰된 사실들만으로 확정 손해나 고의 같은 법적 평가가 이루어지는 것은 아니다. 독립성의 판단 근거로서는 모델 이름의 차이 대신 초안 작성과 검토의 분리 여부가 놓이며, 이 사례에서 그 분리가 실제로 어떻게 기록되었는지는 관찰된 사실의 범위 안에 머문다.
11.4미측정 범위의 표시와 한계
검토자가 무엇을 재지 않았는지까지 남기는 문제로 넘어가면서, 측정된 범위와 미측정 범위를 구분하여 기록하는 자리를 찾아야 한다. AI RMF는 그 구분의 기준을 제시한다. 먼저 측정 대상의 선정 단계에서 측정되지 않는 범위를 다룬다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 위험의 선정과 함께 측정하지 않는 범위의 기록을 요구한다. "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 이 항목은 측정하지 않기로 한 범위와 측정할 수 없는 범위를 함께 묶어 남기도록 한다. 이 사례에서 자동 대조 절차가 확인한 인용 오류는 측정된 항목에 해당하지만, 두 모델이 같은 판단을 내린 이유는 측정되지 않은 범위로 남는다.
측정된 결과 자체를 남기는 항목도 따로 있다. 같은 기관, 같은 문서, MEASURE 2.1은 측정 도구의 세부를 기록하도록 한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 이 기록이 채워질 때 측정된 범위의 경계가 드러난다. 이 사례에서 검토 메모와 통과 도장은 남아 있으나, 두 모델의 학습 자료가 같은지 확인한 방법은 자료에 드러나 있지 않다.
측정 결과가 어떤 조건에서 성립하는지도 함께 남긴다. 같은 문서, MEASURE 2.3은 조건과 함께 결과의 기록을 요구한다. "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 이 항목은 측정치가 성립한 조건을 붙여 두어야 함을 뜻한다. 이 사례에서 최종 결과에 어떤 영향이 있었는지는 미정으로 남으며, 그 영향을 측정한 것으로 채울 수 없다.
일반화의 한계도 같은 방식으로 남긴다. 같은 문서, MEASURE 2.5는 개발 조건을 벗어난 범위의 한계를 기록하도록 한다. "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 이 기록은 시스템이 성립한 조건 밖의 범위를 확인된 것으로 만들지 않는다. 이 사례에서 두 모델이 같은 학습 자료로 배웠다는 관찰은 그 자체로 법적 평가로 이어지지 않는다.
측정의 틀 자체를 설명하는 문장도 한계 표시의 자리를 밝힌다. 같은 문서의 MAP 2.2는 시스템의 지식 한계에 대한 기록을 요구한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 이 항목은 무엇을 아는지 못지않게 어디까지 모르는지를 함께 적도록 한다.
결국 측정하지 않은 범위는 측정한 것으로 채우지 않고, 측정한 범위는 그 성립 조건과 함께 적는다. 이 사례에서 확인된 것은 기록에 남은 인용 오류와 검토 메모뿐이며, 그 밖의 쟁점은 미정으로 남는다.
11.5보관과 무결성의 원칙
측정하지 못한 범위의 표시에 이어, 이제는 앞서 남긴 기록을 어떻게 보관하고 고쳐 쓰기를 막을지가 문제이다. 공공기록물 관리에 관한 법률 제5조는 기록물관리의 원칙으로 "공공기관 및 기록물관리기관의 장은 기록물의 생산부터 활용까지의 모든 과정에 걸쳐 진본성, 무결성, 신뢰성 및 이용가능성이 보장될 수 있도록 관리하여야 한다"고 정한다. 이는 생산에서 활용까지의 전 과정에 같은 기준을 둔다는 뜻이다. 이 사례에서 편집자가 초안과 검토 메모, 자동 대조 결과를 한 자리에 묶어 두는 방식이 바로 그 전 과정에 해당한다.
보관의 요건은 전자문서 및 전자거래 기본법 제5조에서 더 구체적으로 드러난다. 보관으로 관계 법령의 보관을 갈음할 수 있는지를 묻는 그 조항은 "① 전자문서가 다음 각 호의 요건을 모두 갖춘 경우에는 그 전자문서를 보관함으로써 관계 법령에서 정하는 문서의 보관을 갈음할 수 있다. 다만, 다른 법령에 특별한 규정이 있는 경우에는 갈음할 수 없다"(전자문서 및 전자거래 기본법 제5조)고 단서를 둔다. 여기에 덧붙여 "1. 제4조의2에 따라 서면으로 보는 전자문서일 것", "2. 전자문서의 작성자, 수신자 및 송신·수신 일시에 관한 사항이 포함되어 있는 경우에는 그 부분이 보존되어 있을 것"(전자문서 및 전자거래 기본법 제5조)이라고 요건을 적는다. 메모에 "문제없음"이라는 글과 통과 도장만 남고 누가 언제 적었는지가 함께 보존되지 않는다면, 그 메모는 이 요건을 다 갖춘 기록이라 보기 어렵다.
전자화문서에 대해서도 같은 조항은 요건을 따로 적는다. 제2항은 "1. 전자화문서가 제1항 각 호의 요건을 모두 갖출 것", "2. 전자화문서가 전자화대상문서와 그 내용 및 형태가 동일할 것"(전자문서 및 전자거래 기본법 제5조)이라고 요구한다. 이 사례에서 자동 대조가 초안의 인용 한 곳에서 조항 번호가 다르다는 것을 밝혀냈다면, 그것은 내용의 동일성이 깨진 지점이다. 다만 자료에 보관기간이나 무결성 기술을 정한 문장은 없으므로, 이 사례의 보관 방법을 여기서 확정할 수 없다.
무결성을 지키는 절차의 모습은 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)에서 더 드러난다. 오류와 사고를 어떻게 다루고 남기는지를 묻는 그 문서는 "MANAGE 4.3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 적는다. 검토 메모가 남긴 판단이 오류로 밝혀졌다면, 그 오류를 관련된 이에게 알리고 되짚은 기록을 남기는 일이 함께 요구된다. 이 사례에서 초안과 메모가 같은 판단을 낸 까닭이 무엇인지는 밝혀지지 않았고, 확정 손해나 고의에 대한 평가도 이 관찰만으로는 이루어지지 않는다.
개선의 이력도 같은 자리에 남겨야 한다. 같은 NIST 문서는 "MANAGE 4.2: Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors."라고 덧붙인다. 오류를 고친 뒤 무엇을 어떻게 바꾸었는지가 측정 가능한 활동으로 기록에 남아야 한다. 전자문서 및 전자거래 기본법 제5조 제2항이 요구하는 "전자화문서가 전자화대상문서와 그 내용 및 형태가 동일할 것"이라는 기준도 같은 방향을 가리킨다. 앞서 살펴본 미측정 범위의 표시와 여기서 다룬 보관의 요건이 함께 지켜질 때, 검증 기록은 고쳐 쓰이지 않는 상태로 다음 판단의 바탕이 된다.
다룬 법령
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)