요약
여러 검토자가 같은 원인으로 함께 착각하게 되는 자리를 묻고, 같은 기반 모델과 같은 자료 내력에 의존할 때 생기는 상관된 실패를 살핀다. 자료 내력의 기록, 검토 메모가 남는 자리, 시험자료 오염과 평가자, 미측정 범위의 기록을 차례로 다루고 오류 추적과 개선 보고에서의 기록을 정리한다. 독립성을 확보하는 설계 조건은 다루지 않는다.
2.1상관된 실패가 생기는 자리
조항 번호가 어긋난 인용 하나가 두 번의 검토를 그대로 지나온 뒤에야 드러난 까닭을 묻기 전에, 여러 검토자가 같은 원인으로 함께 착각하는 자리를 먼저 가를 필요가 있다. 이 사례에서 초안을 쓴 모델 A와 검토를 맡은 모델 B는 같은 학습 자료로 배운 것으로 알려져 있으며, B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼다. 관찰된 일치가 어떤 성질의 것인지를 가르는 데에 필요한 기준은 상관된 실패에 관한 자료의 설명에서 구할 수 있다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은, 같은 판단이 반복되어 쓰이는 자리에서 어떤 위험이 생기는지를 다음과 같이 설명한다. "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." A와 B가 같은 학습 자료를 공유한다는 사실은 바로 그 "same algorithm"에 의존하는 정황이므로, 둘이 같은 지점에서 같은 판단을 내린 것은 우연의 일치라고 넘기기 어렵다.
같은 자료 2절은, 근거로 내놓은 논리와 인용까지 지어낼 수 있는 현상을 따로 두어 다음과 같이 말한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 라고 밝힌다. 조항 번호가 어긋났던 원문 인용은 이 설명이 가리키는 자리에 놓인다. 나아가 같은 자료 2절은 "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts." 라고 정의한다. B가 남긴 "문제없음"이라는 메모는 자신 있게 제시된 판단이므로, 그 판단이 틀렸을 때 신뢰를 더할 수 있다는 점을 함께 떠올려야 한다.
그렇다고 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지가 자료로 확인되는 것은 아니다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 재고 목록 항목에 적을 것을 다음과 같이 권한다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); (…) Underlying foundation models, versions of underlying models, and access modes." 이 항목들이 기록되면 A와 B의 학습 자료 내력이 겹치는 자리를 확인할 수 있다. 다만 같은 자료를 배웠다는 사실만으로 둘의 평가가 독립적이지 않다고 확정할 수는 없으며, 이 사례에서 그 내력 기록이 남았는지는 미정이다.
상관된 실패가 어느 자리에 생기는지를 가르는 작업에는 검토자가 개발에 직접 관여하는지도 함께 살펴야 한다. 같은 자료 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 라고 요구한다. 이 사례에서 A가 쓴 장을 같은 회사 계열의 상위 모델 B가 검토했으므로, 둘이 같은 모델의 개발에 직접 관여했는지 여부가 판단의 독립성을 가르는 자료가 된다. 그 여부는 미정으로 남는다.
검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그리고 그 인용 오류가 최종 결과에 무엇을 남겼는지도 아직 확인되지 않았다. 관찰된 사실은 조항 번호의 불일치와 두 검토의 통과, 그리고 두 모델의 학습 자료 공유뿐이며, 이 사실들만으로 확정 손해나 고의 같은 법적 평가에 이르지 않는다. 상관된 실패가 생기는 자리는 이와 같이 원인을 공유한 판단이 겹치는 자리이고, 그 겹침을 확인하려는 요구는 기록을 남기는 절차에서 나온다.
2.2같은 자료 내력의 기록
공통 원인이 남긴 상관된 착각의 자리를 나눈 데서, 그 원인이 어느 기록에 드러나는지가 다음 문제이다. 두 모델은 같은 학습 자료로 배운 것으로 알려져 있고, 초안과 검토는 한 회사 계열 안에서 나뉘었으며, 이 사실만으로 평가의 독립성이 달성되었다고 단정할 수는 없다. 기반 모델과 버전, 데이터 내력의 기록을 자료와 시험 도구의 기록과 견주어 보면, 판단이 같은 뿌리를 두는 자리를 찾을 수 있다.
같은 뿌리를 확인하는 첫 장부는 GAI 시스템 목록의 항목이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 기반 모델과 그 버전, 자료의 출처를 함께 적을 것을 요구한다. "Data provenance information (e.g., source, signatures, versioning, watermarks); … Underlying foundation models, versions of underlying models, and access modes." 이 항목들이 한 줄에 나란히 놓이는 까닭은, 어느 모델이 어느 자료로 배웠는지가 곧 어떤 판단이 함께 틀릴지를 가늠하는 근거이기 때문이다. 합성 사례에서 두 모델은 같은 학습 자료를 쓴 것으로 알려져 있으므로, 이 기록을 대조하면 두 평가가 겹칠 수 있는 자리가 드러난다.
그러나 모델 이름이 다르다는 사실만으로 기록이 충분하다고 할 수 없다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 2.1은 시험에 쓰인 도구까지 함께 남기라 한다. "Test sets, metrics, and details about the tools used during TEVV are documented." 시험 집합과 도구가 같다면 기반 모델이 달라도 같은 오류를 함께 놓칠 수 있으므로, 두 기록은 나란히 읽어야 한다. 합성 사례에서 자동 대조 절차는 두 모델이 공통으로 놓친 인용의 조항 번호를 찾아냈는데, 그 절차가 어느 도구로 이루어졌는지, 어느 시험 집합에 비추어졌는지는 미정이다.
시험 집합 자체가 학습 자료와 겹치는지도 살펴야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-2.11-001은 벤치마크의 한계를 적을 때 이 겹침까지 밝히라 한다. "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 실제의 겹침과 가능한 겹침이 함께 기록 대상인 점에서, 확인되지 않은 공통 내력은 그냥 지나칠 일이 아니다. 합성 사례에서 두 모델의 공통 학습 자료와 자동 대조에 쓰인 자료가 어느 선까지 겹치는지는 미정으로 남는다.
마지막으로, 이 겹침을 확인하는 사람이 누구인지도 기록의 일부이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003은 구조화된 피드백의 수행자가 같은 모델 개발에 직접 관여하지 않아야 한다고 못 박는다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델에 대한 관여 여부를 확인하라는 요구는, 이름이 다른 모델이라 하더라도 같은 내력을 공유하는 경우까지 그대로 해결해주지 않는다. 이 사례에서 B의 검토가 A의 작성과 어느 선까지 나뉘었는지는 미정이다.
이렇게 모아 놓은 내력의 기록 자체가 사고를 추적하는 데 쓰인다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 "Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."고 말한다. 버전 이력과 메타데이터가 대응자에게 힘을 주는 까닭은, 오류가 어느 시점의 어느 자료에서 비롯되었는지를 거슬러 올라갈 수 있게 해주기 때문이다. 인용의 조항 번호가 자료의 실제 조항과 달랐다는 자동 대조의 지적도 이 기록 위에서만 그 자리를 찾는다.
한편, 기록이 없거나 잴 수 없는 사정도 그대로 남겨야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 정량적으로 잴 수 없는 위험을 설명과 함께 추적하라 한다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations)." 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 미정으로 남은 사정을 측정된 것처럼 적지 않는 일도 이 기록의 일부이다.
2.3검토 메모가 남는 자리
자료 내력의 기록만으로는 평가의 독립성이 드러나지 않는다고 본 뒤, 검토 메모가 다음 검토에 남기는 흔적을 기록 요구에서 살핀다. 검토 결과의 기록은 단순한 보관이 아니며, 어떤 판단이 누구에게 남는지를 가르는 자리이기 때문이다.
먼저 오류의 기록 자체를 보자. NIST, AI RMF 1.0 (NIST AI 100-1), MANAGE 4.3은 오류가 관계자에게 전달되는 절차와 기록을 다음과 같이 요구한다. "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented." 이 기록 요구는 검토 메모가 남긴 결론이 다음 검토의 출발점이 되는 자리를 별도의 기록으로 남기도록 견인한다. 이 사례에서 상위 모델 B가 남긴 "문제없음" 메모와 통과 도장이 다음 검토에 어떤 영향을 주었는지는 미정으로 남는다.
검토자의 분리는 그 자리를 다시 본다. NIST, AI RMF 1.0 (NIST AI 100-1), MEASURE 1.3은 평가에 참여하는 자격을 "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates." 라고 정한다. 이 규정은 선행 검토 메모를 다음 검토가 이어받는 사실을 그 자체로 독립성으로 삼지 않는다. 같은 회사 계열의 상위 모델 B가 남긴 메모를 동료가 이어받는 자리에서, 그 메모가 공유되었다는 사실은 분리 요건을 충족했다는 근거가 아니다.
인적 피드백의 분리 요구는 더 분명하다. NIST AI 600-1, MS-1.3-003은 같은 모델 개발에 관여하지 않는 자격을 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 라고 적는다. 이 검증 요구는 검토 메모가 남긴 자리에 어떤 사람이 서 있는지를 확인하는 절차를 전제로 한다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려졌다는 사실만으로는, 메모를 남긴 자와 이어받은 자 사이의 관계가 이 요건을 어겼다고 확정되지 않는다.
기록 항목의 범위도 함께 본다. NIST AI 600-1, GV-1.6-003은 시스템 목록 항목에 "Human oversight roles and responsibilities" 를 포함하라고 지시한다. 검토 메모가 남긴 자리는 그 목록에 남는 역할 기록의 일부로만 읽힌다. 기록에 남은 메모가 사람의 감독을 보여준다는 사실은, 그 메모가 오류를 걸러내는 작용까지 했다는 뜻은 아니다.
접근 불가 측정값의 기록은 이 사례의 미정을 그대로 둔다. NIST AI 600-1, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured" 를 요구한다. 검토 메모가 다음 판단에 남긴 영향의 크기를 이 사례에서 셈으로 잴 수 없다면, 그 측정 불가 사유를 기록으로 남겨야 한다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지가 미정인 채로 남는 까닭이다.
이 사례는 자료가 제시한 요건을 그대로 참조할 뿐이며, 미정으로 남은 사실을 확정된 손해나 고의로 환산하지 않는다. 검토 메모가 남긴 자리는 그 메모의 기록이 남는 자리로만 확인된다. 그 기록이 다음 검토에 어떤 무게로 남는지는, 확인된 관찰 사실이 더해질 때까지 확정되지 않는다.
2.4시험자료 오염과 평가자
검토 메모가 기록으로 남는 자리를 밝힌 데서 이어져, 같은 오류가 왜 서로 다른 자리에서 되풀이되는지 그 원인이 무엇인지 물어야 한다. 시험자료 오염과 평가자 관여는 각각 자료와 사람의 문제로 보이지만, 두 현상이 겹치는 지점에서 상관된 오류가 생긴다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 이 현상을 하나의 이름으로 묶어 두는데, 왜 같은 모델을 쓰는 여러 주체가 같은 충격에 함께 무너지는지를 설명할 때 그 정의를 그대로 옮긴다. “Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm. 이 정의는 상관된 오류가 여러 주체의 의존 관계에서 생긴다는 점을 분명히 한다.
시험자료 오염은 그 의존 관계가 자료 쪽으로 새어 들어가는 자리다. NIST AI 600-1 MS-2.11-001은 벤치마크의 가정과 한계를 기록하라고 요구하면서, 기록할 항목으로 오염 가능성을 직접 적시한다. “Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment.” 실제 오염과 가능한 오염을 함께 기록하라는 이 요구는, 오염 여부가 확정되지 않았어도 기록 대상이 된다는 뜻이다. 이 사례에서 초안과 검토가 같은 학습 자료를 바탕으로 한다는 사실은 알려져 있으나, 그 자체로 오염이 있었다는 뜻은 아니다.
평가자 관여는 같은 사례에서 오류가 한쪽에만 머무르지 않게 하는 요인이다. NIST AI 600-1 MS-1.3-003은 구조화된 인간 피드백 수행자의 자격을 한 가지 조건으로 제한한다. “Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model.” 같은 모델의 개발에 직접 관여한 사람이 평가에서 빠져야 한다는 이 조건은, 초안 작성과 검토가 같은 모델 계열 안에서 이루어지는 경우에 그 요구가 어떻게 겹쳐 읽히는지를 가늠하게 한다. 아울러 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 평가 주체의 범위를 넓혀 말한다. “Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance.” 이 조항은 평가에 참여할 수 있는 사람을 구체적으로 나열하면서도, 상담 범위를 조직의 위험 감수성에 맞추어 정하도록 한다.
같은 오류를 함께 낼 수 있는 두 조건이 겹친 뒤에도, 무엇이 확정되었는지와 무엇이 미정인지를 가르는 일이 남는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, 5.3절은 독립적 검토의 효과를 이렇게 설명한다. “Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est.” 검토가 내부 편향과 이해상충을 완화할 수 있다는 이 설명은, 검토가 이루어졌다는 사실만으로 두 결과가 독립적이라고 보지 못하게 한다. MEASURE 2.5는 시험 조건을 넘어서는 일반화의 한계를 기록하라고 요구한다. “The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented.” 이 기록 요구는 오염 경위와 평가자의 의도가 확인되지 않은 채 남아 있는 한, 그 미정의 범위를 기록으로 남길 자리를 둔다.
한편, 확인된 오류 자체를 놓치지 않도록 하는 기록 장치도 마련되어 있다. NIST AI 100-1 (AI RMF 1.0) MANAGE 4.3은 오류의 전달과 추적을 함께 요구한다. “Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented.” 이 사례에서 조항 번호가 다르다는 사실이 확인된 인용은 이런 기록 대상에 해당하나, 그 오류가 최종 결과에 어떤 영향을 주었는지는 이 관찰만으로 정해지지 않는다.
따라서 시험자료 오염과 평가자 관여가 만나는 자리에서 상관된 오류가 생길 수 있다는 점은 확인되지만, 그 오류가 실제로 공통 기원에서 나왔는지, 검토 메모가 초안과 다음 검토에 어떤 영향을 주었는지, 확인된 인용 오류가 최종 결과를 어떻게 움직였는지는 미정으로 남는다.
2.5미측정 범위의 기록
평가자가 남긴 통과 표시만으로는 시험되지 않은 범위까지 확인되었다고 할 수 없으므로, 무엇이 시험되지 않았는지를 적는 자리를 살핀다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.1은 측정되지 않는 범위를 함께 남길 것을 요구한다. "Approaches and metrics for measurement of AI risks enumerated during the MAP function are selected for imple- mentation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 초안 검토가 통과로 기록된 자리에 측정되지 않은 위험과 신뢰성 특성이 함께 적혀 있는지 확인해야 한다.
측정 결과의 성격을 함께 밝히는 요구도 같은 방향에 있다. 같은 문서 MEASURE 2.3은 평가 조건과 그 기록을 함께 규정한다. "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented." 이 사례에서 검토가 어떤 조건에서 이루어졌는지가 함께 적혀 있어야, 다른 조건에서의 결과를 그대로 연장하지 않게 된다.
검토를 맡긴 평가자와 검토 범위가 구분되어 기록되는지도 살핀다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-003은 검토자와 개발 참여를 분리할 것을 요구한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 이 사례에서 상위 모델 B의 검토가 이 요구에 맞는지, 어떤 범위에서 이루어졌는지는 미정이다.
검토 메모와 자료 출처의 관계도 함께 적혀 있어야 한다. 같은 자료 MS-2.11-001은 기준의 가정과 한계를 함께 기록할 것을 요구한다. "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실이 이 기록에 어떻게 나타나는지, 조항 번호 차이가 이 범위에 속하는지는 확인되지 않았다.
측정된 결과와 측정되지 않은 범위를 함께 두는 것은 오류를 함께 착각하는 자리를 드러내는 일이며, 확정된 손해나 고의를 뜻하지는 않는다.
2.6오류 추적과 개선 보고
측정되지 않은 범위가 기록되는 자리를 지나면, 이제 관측된 오류가 어디에 남는지가 문제로 부상한다. 출판사 편집자는 자동 대조 절차에서 초안 인용의 조항 번호가 어긋났음을 확인하고, 그 오류를 어떤 기록에 올려야 하는지를 물어야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts"라고 규정한다. 이 사례에서 조항 번호 불일치는 보고된 오류의 자격을 얻고, 편집자는 그것을 추적 대상으로 삼는다.
문제는 그 오류가 혼자 있지 않다는 점이다. 같은 자료의 2절 각주 3은 "Algorithmic monocultures"를 "repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm"이라 부른다. 편집자는 초안 모델 A와 검토 모델 B가 같은 학습 자료로 배웠다는 사실을 알게 되었는데, 이 두 모델이 같은 지점에서 같은 판단을 내린 까닭은 미정으로 남는다. 다만 상관된 오류가 생길 자리가 계열 모델의 중복 사용에 있다는 점은 이 정의가 가리키는 바이다.
한편 오류의 위치를 거슬러 올라가는 일은 별개의 절차를 요구한다. 같은 자료 부록 A는 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source"라고 기록한다. 조항 번호 오류가 어느 단계에서 처음 생겼고 메모가 그것을 통과시킨 경위는 밝혀지지 않았으므로, 편집자는 확정된 원인을 적지 않은 채 추적 경로만 남겨 둔다.
추적 기록은 곧 개선 보고로 이어진다. 같은 자료 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made"라고 요구한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MANAGE 4.3은 "Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for track- ing, responding to, and recovering from incidents and errors are followed and documented."라고 정한다. 편집자가 낼 보고는 이 오류가 보고되었고 추적되고 있음을 적되, 대응과 회복의 결과는 그 이행이 확인된 뒤에야 채울 수 있다.
개선 보고의 한계는 오류 대응의 이력과 맞닿는다. 같은 자료 5.3절은 "Measuring AI risks includes tracking metrics for trustworthy characteristics, social impact, and human-AI configurations"라 전제하며, MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities"라고 덧붙인다. B가 남긴 "문제없음" 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 따라서 보고에 실린 개선이 잡히지 않은 오류까지 해결했다는 뜻으로 읽히지 않아야 한다.
결국 상관된 오류가 기록되는 자리는 오류 추적과 개선 보고가 맞물린 자리이다. 편집자는 조항 번호 불일치를 보고된 오류로 올리고, 계열 모델의 중복 사용에서 상관된 오류의 가능성을 함께 적으며, 개선의 보고는 이행이 확인된 범위에 한정한다. 여기까지가 관측된 사실만으로 정리할 수 있는 범위이고, 확정 손해나 고의 같은 법적 평가는 이 자리에서 이루어지지 않는다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)