요약
이 장은 오류를 사실·법리·계산·공개 유형으로 나눈 뒤, 어떤 주장·서면·분석이 영향을 받는지 어떻게 연결하는지를 묻는다. 오류 지적의 접수와 기록, 오류 유형의 구분 기준, 인용 실패와 사실의 연결, 계산 오류와 분석의 연결을 살핀 뒤, 공개 유형과 영향의 범위, 연결 지도와 검토의 한계로 마무리한다. 정정·철회·재검토의 판단 조건과 외부 전달 문서의 후속 관리는 뒤의 장에서 맡는다.
10.1오류 지적의 접수와 기록
재식별 금지가 남긴 경계를 전제로, 상대측이 보내 온 검토 의견을 무엇으로 옮겨 적을 것인지가 바로 다음 문제이다. 상대측은 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다고 지적하며 검토 의견을 보내 왔고, 우리 측에는 작성 당시의 AI 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 지적을 그 자리에서 해명하거나 되받아치는 대신 항목으로 옮겨 적어 두어야 비로소 무엇을 읽어야 하는지 가릴 수 있다.
먼저 오류 지적과 보고를 기록의 대상으로 삼아야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 1.2에서 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 규정한다. 오류에 관한 보고 자체가 지표와 통제의 적정성을 다시 판단하는 근거 가운데 하나라는 뜻이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MANAGE 4.3에서 "3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 덧붙인다. 오류 지적을 받은 사실을 추적 절차의 출발점에 올려 놓고 문서화해야 한다는 기준이 여기에 있다.
지적된 항목을 적어 두는 일에는 지식 한계의 기록과 시험 도구의 기록을 함께 대조하는 수고가 따른다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MAP 2.2에서 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 규정한다. 상대측이 지적한 근거가 원문에서 확인되지 않는다는 점은 지식 한계의 기록에 이미 담겨 있는지, 아니면 새로 드러난 것인지를 이 기록과 대조해 보아야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 2.1에서 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 규정하고, MEASURE 2.5에서 "5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."라고 규정한다. 손해 계산서 수치를 계산에 사용한 도구와 그 도구의 한계가 함께 적혀 있는지가 이 대조에서 확인할 부분이다.
확인되지 않은 근거의 성격을 가리려면 측정하지 않은 범위를 미리 밝혀 둔 문서를 먼저 펼쳐야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 1.1에서 "1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 규정한다. 측정하지 않기로 한 범위가 문서에 적혀 있다면 상대측이 지적한 항목이 그 범위 안에 드는지를 이 기록에서 읽을 수 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 MS-1.1-009에서 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 규정한다. 정량으로 측정하지 못한 것을 왜 측정하지 못했는지와 함께 적어 두었다면, 원문에서 확인되지 않는 근거가 그 설명에 담긴 사유에 해당하는지를 이 기록에서 읽으면 된다.
인용된 근거가 원문에서 확인되지 않는다는 지적에는 출처 기록의 대장이 직접 응답한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 GV-1.6-003에서 "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes."라고 규정한다. 출처·인용 검증 대장이 출처, 서명, 버전 표시 같은 정보를 담고 있는지, 그리고 지적된 인용이 대장에 기록된 어느 자료에 붙는지를 이 항목에서 대조하면 된다. 같은 자료는 2절에서 생성형 인공지능의 출력에 출처와 논리를 꾸며 붙인 것이 들어 있을 수 있고, 그것이 사람을 잘못 이끌 수 있다고 적는다. AI 초안이 만들어 낸 인용과 논리가 정당화를 꾸미는 자리에 놓일 수 있다는 점을, 지적된 근거를 읽는 시각에 함께 둔다.
받은 지적을 항목으로 옮길 때에는 그 지적을 어떤 범주에 둘지도 미리 정해 두어야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 1.3에서 "3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance."라고 규정한다. 상대측의 검토 의견은 외부의 평가자가 보내 온 것이므로, 이 기준이 말하는 바깥의 시선에 해당하며 그 지적을 받은 평가의 근거로 삼는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 MG-4.3-002에서 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 규정한다. 어떤 지적이 정확히 무엇에 관한 것인지를 남겨 두어야 이후의 대응이 가능하다.
다만 자료가 남아 있다는 사실은 그 자체로 법적 평가가 아니다. 남은 자료 가운데 무엇을 먼저 읽어야 하는지, 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇을 할지, 공개 문안을 함께 고칠지는 아직 정해지지 않았다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 MEASURE 2.3에서 "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented."라고 규정한다. 수치와 근거의 확인 여부를 기록에 옮긴 뒤에야 성능 기준이 충족되었는지 판단할 자리에 설 수 있다.
10.2오류 유형의 구분 기준
오류 항목을 나누는 기준을 어디에 둘지가 문제다. 자료에 보고와 추적의 지침을 두며, 상대측의 지적을 항목별로 구분할 자리를 마련한다.
자료에 오류의 보고와 추적을 요구하며, 인용 실패는 미측정 위험과 함께 기록된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 정책과 절차의 마련을 다음과 같이 지시한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 손해 계산서의 수치 오류와 서면의 인용 실패는 이 지시가 요구하는 기록 대상이므로, 항목별로 나누어 추적할 근거가 된다.
측정할 수 없는 범위는 따로 묶어 남긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 미측정 위험의 처리를 다음과 같이 정한다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 작성 당시에 측정하지 못한 범위는 계산 오류와 자리를 달리하므로, 이 항목에 따라 따로 두어 구분한다.
자료 출처와 알려진 문제는 목록의 항목으로 확인한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 시스템 목록 항목에 담을 사항을 다음과 같이 예시한다. "Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor)" 이 사례에서 남아 있는 출처·인용 검증 대장은 계산 재실행 자료와 나란히 놓이고, 어느 항목에서 확인할지가 정해진다.
시험 도구와 시험 집합의 기록은 사실 확인의 쪽으로 잇는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 다음과 같이 요구한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 같은 자료는 한계의 기록을 다음과 같이 보탠다. "Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 사실 확인의 범위와 그 한계가 함께 적히면, 어느 오류가 이 사례에서 확인되었는지와 아직 확인되지 않았는지가 갈린다.
사건과 오류의 전달은 영향의 추적으로 이어진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 다음과 같이 정한다. "MANAGE 4.3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 이 지침에 따르면 수치 오류·인용 실패·미측정 범위의 구분은 뒤이어 영향받는 결론을 가려내는 자리에서 그 구실을 하며, 지금은 어느 결론이 영향을 받는지가 미정이다.
10.3인용 실패와 사실 연결
구분된 오류 가운데 서면에 인용된 근거가 원문에서 확인되지 않는 경우, 어느 사실 주장과 어떤 서면이 영향을 받는지 밝히는 일이 다음 문제이다. 환각·오류에 관한 항목은 그 자체로 확인된 근거가 되지 못하므로, 실제 인용 실패의 확인된 근거로 대체하지 않는 것을 전제로 한다.
먼저 인용 실패의 정의를 가져온다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.”"라고 규정하고, 같은 항목은 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. For instance, LLMs sometimes provide logical steps for how they arrived at an answer even when the answer itself is incorrect."라고 덧붙인다. 서면에 인용된 근거가 원문에서 확인되지 않는 것은 바로 이 둘째 문장이 그리는 인용의 실패에 해당하며, 여기서는 이를 확인된 근거의 부재로만 기록한다.
확인된 근거를 모으는 데에는 이력을 남기는 방식이 쓰인다. NIST AI 600-1, GV-1.6-003은 "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; (…) Underlying foundation models, versions of underlying models, and access modes."라고 제시한다. 같은 자료의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 요구한다. 이에 따르면 우리 측에 남은 AI 초안, 출처·인용 검증 대장, 내부 검토 메모는 출처와 이력을 확인하는 자료로 모아 둘 수 있다.
자료가 모인 뒤에는 영향을 추적한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2은 "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions."라고 정하고, 같은 자료의 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 정한다. 문서가 결정과 후속 조치에 충분한 정보를 이루어야 한다는 요구는, 인용 실패가 어느 사실 주장과 어느 서면에 닿는지 함께 적어야 한다는 뜻으로 읽힌다. 우리 측 상황에서 그 연결의 범위는 미정이다.
측정되지 않은 범위는 측정된 것으로 채우지 않는다. NIST AI 600-1, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 하며, NIST AI 100-1 (AI RMF 1.0), MEASURE 1.1은 "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 한다. 인용 실패가 서면 밖으로 얼마나 번졌는지 측정되지 않은 범위가 남는다면, 그 범위는 별도로 적어 두어야 한다.
이상의 인용이 이 사례에서 갖는 뜻은 다음과 같다. 상대측이 지적한 인용 실패는 AI 초안·출처·인용 검증 대장·내부 검토 메모 같은 확인된 자료와 나란히 놓이고, 그 자료는 출처와 이력의 확인에 쓰인다. 자료가 있다는 사실이 곧 법적 평가는 아니며, 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 아직 미정이다. 그러므로 여기서는 인용 실패와 그것이 닿는 사실 주장·서면의 연결만을 적어 두고, 그 이상의 확정은 다음 자료의 확인을 기다린다.
10.4계산 오류와 분석 연결
인용 실패를 연결한 논의가 끝난 자리에서 남는 물음은 계산 수치다. 손해 계산서의 일부 수치와 근거가 원문에서 확인되지 않는다는 상대측 지적 앞에서, 그 오류가 어떤 분석과 산출물로 이어졌는지를 먼저 가려내야 한다.
계산 오류의 영향을 따질 때는 측정된 범위와 측정되지 않은 범위를 나누어 기록한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 범위 구분의 근거로 MEASURE 1.1을 제시하며 "MEASURE 1.1: Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 밝힌다. 손해 계산서 가운데 검증된 수치는 전반부 문장의 대상이고, 확인되지 않은 나머지는 후반부의 등록 대상이다.
측정 수단 자체도 함께 남겨 둔다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 계산 도구의 기록에 관해 "MEASURE 2.1: Test sets, metrics, and details about the tools used during TEVV are documented."라고 하며, 계산 재실행에 쓴 도구와 절차가 무엇인지 드러내 두어야 한다는 뜻이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 정량 측정 불가 범위의 기록에 관해 "MS-1.1-009 Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 정한다. 확인 불가 수치에는 확인 불가의 사유를 적고, 그 사유를 이유 없는 빈칸으로 두지 않는다.
측정된 범위를 넘겨 측정되지 않은 범위를 채우는 방식은 이 자리에서 금한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 지표의 전제와 한계 기록에 관해 "MS-2.11-001 Apply use-case appropriate benchmarks (e.g., Bias Benchmark Questions, Real Hateful or Harmful Prompts, Winogender Schemas15) to quantify systemic bias, stereotyping, denigration, and hateful content in GAI system outputs; Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 하며, 쓴 지표의 전제와 한계까지 함께 적도록 요구한다. 검증 대장에 남은 항목만 계산 근거로 삼고, 대장에 없는 항목은 근거의 빈자리로 남긴다.
확인된 수치가 어떤 산출물로 이어졌는지는 성능 기준의 기록에서 찾는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 성능 기준의 측정과 기록에 관해 "MEASURE 2.3: AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented."라고 하고, 오류 수치가 닿은 기준 항목이 어느 조건의 산출물인지 함께 적도록 한다. 오류가 닿은 범위가 개발 조건을 넘어 일반화되는지는 같은 문서 MEASURE 2.5의 "MEASURE 2.5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented."에서 확인한다. 일반화의 한계가 기록된 범위 안에서만 그 산출물을 옮겨 말한다.
계산 오류를 자체 평가로 소화하지 않는 길도 함께 둔다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)은 평가 참여자의 분리에 관해 "MEASURE 1.3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance."라고 하며, 내부 검토 메모의 작성자가 해당 계산의 담당자였다면 그 기록만으로 평가를 갈음하지 않는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 같은 취지로 "MS-1.3-003 Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 덧붙인다.
오류가 닿은 문서의 순서는 기록의 흐름에서 정한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 오류 추적 절차에 관해 "MG-4.3-002 Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 하며, 등록된 오류를 추적하는 절차를 먼저 세워 두어야 한다는 뜻이다. 같은 문서는 영향 추적의 이점을 설명하며 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source."라고 이어 말한다. 이 기록을 따라가면 어느 계산 항목이 어느 분석과 산출물에 닿았는지가 드러나고, 그 연결이 확인된 문서의 정정 대상과 순서를 가른다. 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 아직 미정이며, 자료가 남아 있다는 사실 자체가 곧 법적 평가는 아니다.
10.5공개 유형과 영향의 범위
계산 수치의 오류가 산출물로 이어지는 경로를 확인한 데서 나아가, 이제는 공개 유형의 오류가 어떤 공개 문안과 영향 추적 항목에 닿는지 밝힐 차례다. 우리 측 손해 계산서와 그 근거 서면에는 검증되지 않은 인용과 원문이 확인되지 않는 수치가 섞여 있다. 공개 유형은 다른 유형과 경계가 겹치므로, 어느 항목이 이 범위에 들어가고 어느 항목이 앞 유형에 남는지를 먼저 가려야 한다. 다만 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇을 선택할지는 아직 정해지지 않았다.
공개 유형의 오류는 그 자체로 별개의 현상이 아니라 창작물의 형태를 띤 오류다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 오류의 양상을 이렇게 적는다. "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context." 이 정의에는 잘못된 내용뿐 아니라, 지시를 벗어난 출력과 앞뒤가 어긋난 출력이 함께 들어 있다. 우리 측 서면에서 근거가 원문과 어긋난 문장은 이 가운데 어느 쪽인지 판별이 남는다.
그 오류가 공개 문안에 닿는 방식은 인용된 논거를 거쳐 확산한다. 앞서 밴 NIST AI 600-1, 2.2절은 그 경고를 뒤에 붙인다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 창작된 인용이 정당화의 장식으로 붙으면 읽는 사람은 근거가 갖추어진 것으로 여긴다. 계산 수치의 오류가 미측정 범위로 남는 것과 달리, 여기서는 확인되지 않은 인용이 서면의 공개 문안 자체를 바꾸어 놓는다. 다만 이 인용이 우리 사례에 적용될 때 어느 문장이 어떤 식으로 오해를 낳았는지는 자료가 아직 말하지 않는다.
오류가 남긴 흔적을 모아 두는 항목도 함께 마련되어야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.2는 평가와 통제의 갱신을 이렇게 요구한다. "MEASURE 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 공개 유형의 오류는 오류 보고와 그 영향의 기록이라는 항목에 자리를 잡는다. 우리 측에는 출처·인용 검증 대장과 내부 검토 메모가 남아 있지만, 그것이 이 요구에 부합하는 보고서인지는 별도의 판단이 남는다.
그 보고에는 계측으로 잡히지 않는 범위를 비워 두는 처리가 따라붙는다. 앞서 인용한 NIST AI 600-1, MS-1.1-009는 그 처리를 이렇게 적는다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 공개 문안에 닿은 오류가 몇 건인지 수량으로 셀 수 없다면, 그 까닭을 적어 두고 미측정으로 남겨 두어야 한다. 계산 근거를 지어내어 빈 자리를 메우는 방식은 앞 유형과 구분되는 자리에서조차 허용되지 않는다.
공개 유형의 오류에 대한 추적 항목은 사건의 기록으로 이어진다. 앞서 인용한 NIST AI 600-1, MG-4.3-002는 그 기록의 범위를 이렇게 정한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 공개 문안에 잘못이 남았으나 아직 외부로 퍼지지 않은 경우는 근접 사고에, 이미 전달된 경우에는 부정적 영향에 자리를 잡는다. 우리 측 계산 재실행 자료와 검증 대장은 어느 항목에 속할지 아직 결정되지 않았고, 공개 문안의 함께 고칠 여부도 미정이다. 공개 유형의 오류가 어느 공개 문안과 어느 영향 추적 항목에 닿는지 연결하는 범위는 여기까지이며, 정정과 철회의 판단 조건과 외부 전달 문서의 후속 관리는 그 밖의 논의로 남는다. 자료가 있다는 사실이 곧 법적 평가가 아니라는 점은 이 연결을 읽는 출발점으로 남는다.
10.6연결 지도와 검토의 한계
공개 유형과 영향의 범위를 가른 데서 끝나지 않는 문제가 남는다. 유형별로 이어 둔 연결을 하나의 지도로 모으는 작업은, 그 지도를 검토 기록과 함께 읽지 않으면 연결 자체가 정확했다는 사실과 그 연결을 평가한 사람의 독립성이 입증되었다는 사실을 뒤섞기 쉽다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2는 연결 지도에 담길 내용을 이렇게 정한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 이 사례에서 검토 대상은 단지 수치의 대응 관계가 아니라, 어느 서면의 어느 구절이 어느 원문 근거에 이어지는지와 그 이음의 한계에 관한 설명이다.
검토를 누가 했는지의 문제는 연결 지도의 항목 선정에서 이미 드러난다. 같은 문서, MEASURE 1.1은 측정 대상으로 삼지 못한 항목까지 기록하도록 요구한다. "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 원문에서 확인되지 않는 근거 인용이 측정 밖에 남는 항목이든, 확인된 오류이든, 어느 쪽인지 구분하지 않고 지도에 남겨야 한다는 뜻이다.
검토 참여자의 자격은 별도로 묻는다. 같은 문서, MEASURE 1.3는 "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 라고 정하고 있다. 이 사례에서 작성 당시의 AI 초안을 다룬 사람이 같은 검토에 참여했다면, 그 사실만으로 연결 지도의 항목이 틀렸다는 결론이 나오는 것은 아니다. 다만 검토의 독립성이 갖추어졌다는 주장은 다른 뒷받침을 요구한다.
검토 메모의 공유와 모델 이름의 차이는 그 뒷받침이 되지 못한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003은 참여자의 구분을 이렇게 요구한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델로 작성한 초안을 검토한 사람이 결과를 적은 메모를 공유했다는 사실은 이 확인 절차를 대신하지 않는다. 모델 이름이 달라 보여도 개발 업무에 직접 관여했는지는 별도의 확인이 필요한 문제다.
시험자료의 오염 여부도 같은 맥락에서 기록한다. 같은 문서, MS-2.11-001은 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 라고 규정한다. 계산 재실행 자료나 원문 대조 결과가 작성 단계에서 흘러들어간 흔적이 있다면, 그 흔적 자체를 가정과 한계의 항목으로 남겨야 한다.
오류와 사건의 기록은 공개 대응으로 이어지는 마지막 연결이다. NIST AI 100-1 (AI RMF 1.0), MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 라고 정하고, NIST AI 600-1, MG-4.3-002은 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 라고 덧붙인다. 상대측의 검토 의견이 바로잡아야 할 항목을 적시했으므로 그 지적과 이에 대한 응답을 함께 추적할 근거는 마련된 셈이다. 다만 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지는 아직 정해지지 않았다. 연결 지도가 보여 주는 것은 오류의 경로뿐이며, 자료가 남아 있다는 사실은 곧 그 자료가 법적 평가를 대신한다는 뜻이 아니다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)