미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)

Summary

모델이 사실 확인까지 맡으면 어떤 문제가 생기는지를 묻고, 원자료·자료·결과의 구별에서 출발한다. 출처 표시와 인용의 어긋남, 모델 오류와 부정행위의 경계, 같은 학습에서 나온 상관된 실패, 환각과 인용 오류의 추적, 검토 메모의 공유와 독립성을 차례로 다룬다. 모델의 오류만으로 연구부정행위로 확정하지 않는 태도를 함께 살피며, 기계 검사의 규칙 설계는 다루지 않는다.

10.1원자료·자료·결과의 구별

판단 검토가 어느 경계까지 미치는지를 따진 앞 흐름에 이어, 이제 모델이 사실 확인을 맡길 때 무엇을 무엇에서 가르는지 살펴보아야 한다. 그 구분은 교육부 지침 제2조가 정의를 적는 데서 시작한다.

교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호), 2023-07-17, 제2조 제4호는 자료의 출발점을 이렇게 적는다. "연구 원자료"란 연구 목적을 달성하기 위해 연구자가 실험, 관찰, 조사 등을 거쳐 수집한 가공 이전의 자료와 문헌 등을 말한다". 가공 이전이라는 한계가 원자료에 붙어 있다. 같은 조 제5호는 그다음 단계를 이어서 정한다. "연구자료"란 연구 원자료를 가공한 자료와 이를 활용한 2차 자료 및 문헌을 말한다". 가공이 일어나면서 원자료는 연구자료가 되며, 활용한 2차 자료와 문헌도 함께 연구자료에 들게 된다. 같은 조 제6호는 "연구결과"란 연구자가 연구 활동을 통해 얻은 연구자료를 활용하여 도출한 체계화된 결론을 말한다"고 정의한다. 연구결과는 연구자료를 활용해 도출한 결론이다. 이 세 정의가 이 사례에서 무엇을 무엇에서 가르는지를 정하는 뼈대가 된다.

출판사 편집자가 넘긴 장은 초안 모델 A가 쓴 것이고, 상위 모델 B는 검토 메모와 통과 도장을 남겼다. 자동 대조로 확인된 것은 장 안에 적힌 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실이다. 이 관찰된 사실만 놓고 보면, 조항 번호가 다르다고 해서 그 장이 위 정의상 어느 쪽인지까지 자동으로 정해지지는 않는다. 지침이 원자료·연구자료·연구결과를 가르는 것은 그 자료가 가공 이전인지 가공한 것인지, 그리고 결론인지 아닌지이다. 인용 번호가 다르다는 확인은 그 자체로 가공의 시점이나 결론의 성격을 밝히지 않는다.

같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 냈는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 지침은 연구자의 행위만을 두고 정의를 적고 있다. 같은 지침 제3조 제1항은 적용 대상을 "이 지침의 제1장 및 제2장은 제2조 에서 규정한 연구자, 대학등, 전문기관에 적용한다"고 밝힌다. 적용 대상에 모델이 들어가는지는 지침이 정한 바가 없다. 그러므로 검토 메모가 남긴 영향을 미정으로 두는 편이 정의의 경계에 맞다.

확인된 사실을 정의에다 놓아 볼 때, 초안에 적힌 인용은 활용한 2차 자료와 문헌에 들 수 있다. 같은 조 제5호가 연구자료 안에 2차 자료와 문헌을 함께 두고 있기 때문이다. 그렇다고 그 인용이 연구결과가 되는 것은 아니다. 제6호가 연구결과를 "연구자료를 활용하여 도출한 체계화된 결론"으로 한정하기 때문이다. 자동 대조로 확인된 조항 번호 차이는 그 인용의 표기 문제로 남고, 체계화된 결론이 어떤 것인지까지 미정이다.

지침이 연구결과물까지 따로 두는 까닭도 같은 정의 안에서 드러난다. 같은 조 제7호는 "연구결과물"이란 연구자가 연구 활동을 통해 최종적으로 얻은 결과를 기술한 보고서·논문·간행물·단행본 등의 학술적 저작물과 지식재산을 말한다"고 적는다. 최종적으로 얻은 결과를 기술한 것이 결과물이고, 그 결과물에 담긴 결론이 연구결과이다. 편집자가 넘긴 장이 결과물의 일부인지는 지침의 문언만으로 정해지지 않는다. 그러므로 이 사례에서 원자료·자료·결과의 경계는 정의가 적어 둔 가공의 단계와 결론의 유무로 읽고, 그 경계를 벗어난다는 확정은 뒤에 남긴다.

10.2출처 표시와 인용의 어긋남

원자료와 자료를 가르는 기준을 살핀 뒤에는, 자료 안에 옮겨 적힌 인용이 제 자리를 지키는지로 눈을 돌릴 때가 되었다. 출판사 편집자가 넘긴 장에서 자동 대조 절차는 초안에 적힌 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실을 밝혀냈다. 지침은 연구자가 스스로의 저작물과 타인의 저작물을 다룰 때 무엇을 지켜야 하는지를 먼저 적고 있다. 연구자가 지켜야 할 사항을 열거한 조항에서 출처 표시에 관한 항목은 다음과 같다. 교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호) 제5조제6호는 "자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"이라고 정한다. 초안의 인용 한 곳은 타인의 저작물을 옮겨 적으면서 그 출처의 조항 번호를 잘못 붙였으므로, 이 항목이 그 자리를 규정한다.

출처 표시를 붙이되 그 내용이 어긋날 때는 어떠한지, 지침은 연구부정행위의 범위를 정하는 조항에서 다룬다. 그 가운데 표절을 정의한 부분은 이렇게 적혀 있다. 교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호) 제11조제1항제3호는 "표절"을 "다음 각 목과 같이 일반적 지식이 아닌 타인의 독창적인 아이디어 또는 창작물을 적절한 출처표시 없이 활용함으로써, 제3자에게 자신의 창작물인 것처럼 인식하게 하는 행위"라고 하면서, 그 "가. 타인의 연구내용 전부 또는 일부를 출처를 표시하지 않고 그대로 활용하는 경우"를 그 한 유형으로 든다. 이 정의는 출처 표시가 아예 없는 경우를 염두에 둔다. 초안에서 확인된 것은 출처 표시의 유무가 아니라 그 표시에 적힌 조항 번호가 자료의 실제 조항과 다르다는 점이다. 그러므로 확인된 사실만으로는 이 정의가 가리키는 양상과 그대로 겹쳐 놓일 수 없다.

조항 번호가 어긋났다는 사실이 나머지 유형과 맞닿는지도 같은 조항의 문구에서 살필 수 있다. 제11조제1항제3호는 이어서 "나. 타인의 저작물의 단어·문장구조를 일부 변형하여 사용하면서 출처표시를 하지 않는 경우"를 함께 적는다. 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)에서, 제11조제1항제3호는 "다. 타인의 독창적인 생각 등을 활용하면서 출처를 표시하지 않은 경우"를 아울러 든다. 같은 조항은 "라. 타인의 저작물을 번역하여 활용하면서 출처를 표시하지 않은 경우"까지 같은 목 안에 둔다. 이 유형들 역시 모두 출처를 표시하지 않은 경우를 조건으로 삼는다. 초안에는 인용 한 곳에 대한 출처 표시가 붙어 있었고, 어긋난 것은 그 표시 가운데 조항 번호의 일부였다. 따라서 확인된 한 건은 여기 적힌 네 유형 가운데 어느 것에도 그대로 대응된다고 단정할 수 없다.

그 인용 오류가 최종 결과에 어떤 영향을 주었는지에 대해서는, 자료가 제공되지 않았다. 두 모델이 같은 학습 자료로 배운 것으로 알려져 있고, 검토 메모와 통과 도장이 초안 작성과 다음 검토에 어떤 영향을 주었는지도 미정이다. 왜 두 모델이 같은 지점에서 같은 판단을 내렸는지 역시 미정으로 남는다. 그러므로 이 자리에서 확정 손해나 고의 같은 법적 평가를 내리는 것은 이르다. 지침은 연구부정행위를 판단할 때 고려할 기준을 적고 있는데, 그 셋째 항목은 이러하다. 교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호) 제12조제1항제3호는 "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"한다고 정한다. 이 항목은 고의를 판단의 한 요소로 요구하면서도 다른 요소들과 함께 종합적으로 살필 것을 적고 있다. 확인된 인용 오류 한 건이 이 요소들 가운데 어느 것에 해당하는지는 아직 가려지지 않았다.

따라서 지금 확인할 수 있는 것은 그 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실이며, 그 사실은 표절의 정의가 요구하는 출처 표시의 부재와는 구별되는 양상이다. 같은 조항의 유형들이 모두 출처 표시의 결여를 조건으로 삼는다는 점이 그 구별의 근거가 된다. 인용 오류가 최종 결과에 미친 영향과 두 모델의 판단이 겹친 까닭은 미정으로 남는다. 그 미정한 자리는 이 확인된 사실만으로 지워지지 않으며, 이 사례에서 확정 손해나 고의를 논하기 이전에 남는 여지이다.

10.3모델 오류와 부정행위의 경계

인용 오류 한 건을 표절로 확정하지 않은 결론에 이어, 같은 오류를 위조나 변조로 볼 수 있는지 물어야 한다. 이 물음에는 연구부정행위의 범위를 정한 지침 조문이 직접 답한다. 지침 제11조제1항은 연구부정행위의 유형을 항별로 규정하고, 그 앞머리에서 행위가 이루어지는 자리를 다음과 같이 한정한다. "연구부정행위는 연구개발 과제의 제안, 수행, 결과 보고 및 발표 등에서 이루어진 다음 각 호를 말한다." 이 한정에 비추어 보면, 자동 대조로 드러난 조항 번호의 불일치는 결과 보고의 자리에서 발견된 것이지만, 그것이 어느 항의 어느 목에 해당하는지는 따로 살펴보아야 한다.

위조의 정의부터 검토한다. 지침은 위조를 자료와 결과의 허위 창조에 관한 것으로 규정한다. "위조"는 존재하지 않는 연구 원자료 또는 연구자료, 연구결과 등을 허위로 만들거나 기록 또는 보고하는 행위"라고 선언한 것이 그 내용이다. 이 정의는 자료나 결과를 없는 것에서 만들어 내는 행위를 겨눈다. 초안에 인용된 조항 번호가 실제 조항과 다르다는 점은, 인용 대상인 자료 자체가 새로 만들어진 것이 아니라 번호 표기에 어긋남이 확인된 경우에 해당한다. 두 가지는 겹치지 않으므로, 확인된 사실만으로 위조의 성립이 확정되는 것은 아니다.

변조의 정의도 같은 방식으로 읽힌다. 지침은 "변조"는 연구 재료·장비·과정 등을 인위적으로 조작하거나 연구 원자료 또는 연구자료를 임의로 변형·삭제함으로써 연구 내용 또는 결과를 왜곡하는 행위"라고 규정한다. 변조는 조작이나 임의의 변형·삭제를 수단으로 삼고, 그 결과 연구 내용이나 결과가 왜곡되는 것을 요건으로 한다. 조항 번호가 다르게 적힌 인용이 원자료나 연구자료의 변형인지, 아니면 표기의 어긋남인지는 사실 문제로 남는다. 자료가 제공되지 않았으므로 어떤 수단이 있었는지, 왜곡이 있었는지는 미정이다.

표절의 항목은 출처 표시의 유무를 중심으로 한다. 지침은 "표절"은 다음 각 목과 같이 일반적 지식이 아닌 타인의 독창적인 아이디어 또는 창작물을 적절한 출처표시 없이 활용함으로써, 제3자에게 자신의 창작물인 것처럼 인식하게 하는 행위"라고 정의한다. 이 정의는 출처표시의 부적절함과 제3자의 오인을 함께 요구한다. 앞 단위에서 확인된 인용 오류는 출처 자체가 없는 경우가 아니라 출처표시 안의 조항 번호가 어긋난 경우에 해당하므로, 자료가 제공되지 않았으므로 제3자가 어떤 인식을 가졌는지는 미정이다.

이렇게 유형별 정의를 놓고 보면, 확인된 사실이 어느 항에 걸리는지가 먼저이고, 그 사실을 어떻게 평가할지는 다음 문제이다. 지침 제12조제1항은 판단의 기준을 세 항으로 두는데, 그 둘째와 셋째 항은 다음과 같다. "해당 행위 당시의 ‘연구윤리 확보를 위한 지침’ 및 해당 행위가 있었던 시점의 보편적인 기준을 고려"하여야 하고, "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"하여야 한다. 셋째 항에 고의가 들어 있으나, 이는 판단의 고려사항이지 별도의 성립 요건이 아니다. 지침이 정한 범위 밖에 고의의 요건을 더하거나, 확정된 손해를 요구하는 기준을 더하는 것은 제12조의 문언에 없는 것이다.

결국 자동 대조로 드러난 인용의 조항 번호 불일치는 그 자체로 연구부정행위의 확정이 아니다. 위조·변조·표절의 각 정의에 해당하는지가 먼저이고, 해당한다면 제12조의 기준에 따라 판단하되, 고의는 판단의 고려사항 가운데 하나로만 다룬다. 두 모델이 같은 지점에서 같은 판단을 냈다는 사실과 검토 메모의 영향이 어느 항에 해당하는지, 인용 오류가 최종 결과에 어떤 영향을 주었는지는 미정으로 남는다. 자료가 제공되지 않았으므로 확정 손해나 고의를 전제한 법적 평가도 이 자리에서 이루어지지 않는다.

10.4같은 학습에서 나온 상관된 실패

모델 오류와 연구부정행위의 경계를 나눈 데 이어, 이제 같은 판단이 둘에게서 동시에 나온 까닭을 묻는다. 상위 모델이 하위 모델의 초안에 통과 도장을 남긴 일과 자동 대조 절차가 찾아낸 인용 번호 불일치가 함께 놓일 때, 먼저 같은 학습이 낳는 상관된 실패가 무엇인지 가려둘 필요가 있다.

미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 같은 모델을 반복 사용할 때 생기는 현상을 다음과 같이 부른다. "3 “Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 같은 모델을 여러 주체가 함께 쓰는 구조에서 오류가 함께 날 가능성이 커진다는 뜻이다. 두 모델이 같은 학습 자료로 배운 것으로 알려진 이 사례에서, 둘이 한 지점에서 같은 판단을 낸 이유는 학습의 결이 겹쳐 있기 때문일 수 있다.

학습과 버전의 내력을 남길 항목을 GV-1.6-003이 아래와 같이 적는다. "GV-1.6-003 In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 같은 기반 모델과 버전이 공유되는지는 이 항목을 통해 확인할 사정이다. 다만 두 모델의 학습 자료가 실제로 어떤 출처와 버전으로 겹치는지, 어느 범위까지 겹치는지는 여기서 미정이다.

한편 MS-1.3-003은 검토자의 자리를 이렇게 정한다. "MS-1.3-003 Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델을 만들 때 직접 관여한 이가 그 모델을 검토하지 못하게 하는 취지이다. 이 사례에서 하위 모델 A가 초안을 쓰고 상위 모델 B가 같은 사내 계열의 모델로 검토를 맡은 구조가 이 조항의 배제와 같은 뜻인지는, 둘 사이의 관계가 "directly involved in system development tasks"에 해당하는지에 달렸고, 그 부분은 미정이다.

검토 메모가 다음 판단에 어떤 영향을 주었는지도 별개의 확인 대상이다. MG-4.3-002는 오류와 근접 사고를 기록하도록 요구한다. "MG-4.3-002 Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." "문제없음"이라는 메모와 통과 도장도 이 기록의 한 갈래이므로, 다음 검토가 그것을 받아읽었는지, 어느 정도로 받았는지는 남은 사실이다. 아울러 MG-4.2-001은 "MG-4.2-001 Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 성과와 받은 피드백, 고친 점을 함께 적어 두는 절차를 말한다. 같은 학습에서 나온 판단이 두 번 연이어 같은 방향으로 나온 경우에, 그 흐름을 따로 적어 두는 것이 후속 확인을 가능하게 한다.

끝으로 상관된 실패가 사건을 함께 낳는 구조와 그 구조를 확정된 손해로 말하는 일은 구분된다. 관찰된 사실은 둘이 같은 학습을 받은 것으로 알려져 있고, 같은 지점에서 같은 판단을 내었으며, 그 지점에서 인용 번호가 자료의 실제 조항과 어긋났다는 것에 그친다. 왜 같은 판단이 나왔는지, 검토 메모가 초안과 다음 검토에 얼마큼 작용했는지, 그 번호 오류가 최종 결과에 어떤 경로로 미쳤는지는 미정이다. NIST, AI 600-1, MG-4.3-002가 적는 기록 항목인 "reported errors, near-misses, and negative impacts"를 따라갈 때에도, 그 항목은 추적의 출발점이지 평가의 결론이 아니다. 같은 학습에서 나온 오류를 상관된 실패로 다룬다고 해서, 고의나 확정 손해가 확인되는 것은 아니다.

10.5환각과 인용 오류의 추적

같은 학습에서 나온 상관된 실패의 구조를 확인한 뒤에 남는 물음은, 편집자가 넘긴 초안의 오류가 어느 경로를 거쳐 최종 결과에 이르렀는지이다. NIST는 이 경로를 추적할 때 환각에 해당하는 오류와 인용 오류를 구분해 보기를 요구한다.

환각의 뜻부터 자료에 따라 정리한다. NIST는 그 표현을 다음과 같이 설명한다. "Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as "hallucinations" or "fabrications." 초안 모델 A가 작성한 원문 인용의 조항 번호가 실제 조항과 다르다는 점은 이 정의의 앞부분, 즉 오류 내용을 자신 있게 내놓는 유형에 놓인다.

인용에 들어간 오류는 그 자체로 그치지 않는다. NIST는 답변 뒤에 붙는 근거의 모양까지도 오류의 일부로 본다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system's answer, which may further mislead humans into inappropriately trusting the system's output." 초안의 조항 번호는 정답을 뒷받침하는 근거로 제시되었으므로, 이 구절에 비추어 보면 번호가 어긋난 사실은 그 근거 자리에 무엇이 들어가 있었는지를 보여준다.

그 오류가 어떤 손실로 이어졌는지를 가리려면 기록이 남아야 한다. NIST는 오류와 부정적 영향을 함께 추적하라는 항목을 두고 있다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 자동 대조 절차가 적어낸 조항 번호 불일치는 이 항목의 첫머리, 즉 보고된 오류에 해당한다. 다만 이 기록만으로 그 오류가 결과 전체를 바꾸었다는 사실이 확인되지는 않는다.

추적을 이어가려면 오류가 나온 자리부터 파악할 수 있어야 한다. NIST는 시스템 목록 항목에 모델의 내력을 남기라고 요구한다. "Data provenance information (e.g., source, signatures, versioning, watermarks)"가 그것이다. 같은 항목은 이어서 "Underlying foundation models, versions of underlying models, and access modes."를 함께 적도록 한다. 이 두 가지 내력이 함께 기록되어야 두 모델이 같은 지점에서 같은 판단을 낸 배경이 어디까지 확인되는지 가를 수 있다.

마지막으로 오류의 영향이 수치로 계산되지 않는 경우의 처리 방식을 확인한다. NIST는 다음과 같이 말한다. "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 조항 번호 오류가 최종 결과에 남긴 자국이 아직 손해 금액 같은 수치로 환산되지 않았다면, 그 이유까지 함께 적어 두어야 한다. 이 사례에서 그 경로의 끝은 미정으로 남는다.

10.6검토 메모의 공유와 독립성

독립성이 보장된 자료를 함께 쓰는 일이 검토의 중립성을 담보하는지를 NIST의 평가자 관여 기준과 개선 보고 항목에서 가리기로 한다. NIST AI 600-1은 구조화된 인간 피드백의 수행 주체를 두고 평가자의 자격을 함께 묻는다. 평가자는 "in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use"여야 한다고 이 항목은 요구한다. 이 사례에서 상위 모델 B는 같은 회사 계열이고 편집자의 지시를 받아 검토를 맡았으므로, 자격 요건의 문구만으로 B가 적절한 평가자인지 판단할 수는 없다. B의 전문성과 맥락 숙지 여부는 미정으로 남는다.

같은 지점에서 같은 판단이 나온 경위를 이해하려면 학습 자료의 공통성이 어떻게 기록되는지를 살펴야 한다. NIST AI 600-1은 시험 자료의 오염 가능성을 함께 기록하도록 요구한다. 벤치마크의 가정과 한계를 문서화할 때 "including any actual or possible training/test data cross contamination, relative to in-context deployment environment"를 적도록 정한다. 두 모델이 같은 학습 자료로 배웠다는 사실은 이 기록 항목이 다루는 바로 그 상황에 해당한다. 다만 자료가 무엇을 공유하였는지, 공유가 어떤 지점에서 같은 판단을 낳았는지는 미정이다. 공통 학습 자료가 동일 판단의 원인이라고 단정할 근거는 아직 없다.

다음으로 "문제없음"이라는 메모가 이후의 검토에 남기는 흔적을 다룬다. NIST AI 600-1은 오류와 아차 사고의 기록을 정식 절차로 남기라고 요구한다. "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts"라고 정한 데에는, 확인된 오류와 아직 사고가 되지 않은 징후를 함께 추적하려는 뜻이 있다. 초안에 기재된 조항 번호가 자료의 실제 조항과 다르다는 점은 이 절차가 쫓아야 할 오류에 해당한다. 그러나 "문제없음" 메모는 그런 오류를 적시하지 않았으므로, 메모가 어떤 후속 검토를 멈추게 하였는지는 미정이다.

기록이 남으면 다음 단계는 외부 공유와 개선 보고이다. NIST AI 600-1은 모니터링과 공개 보고를 함께 둔다. "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made"라는 항목은, 검토 결과와 개선 내역을 보고서 형태로 내놓으라고 요구한다. 이 사례에서 검토 메모는 기밀이 아니라 편집자와 후속 검토자 사이에 공유되었다. 그렇더라도 공유 자체를 독립성의 근거로 삼을 수는 없다. 독립성은 앞 항목이 말한 검토자의 관여에서 가리는 문제이고, 공유는 기록과 보고의 문제이다.

검토자의 독립성을 위한 별도 기준이 따로 있다. NIST AI 600-1은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model"이라고 요구한다. 같은 모델의 개발 업무에 직접 관여한 자를 검토자로 두지 말라는 뜻이다. 상위 모델 B가 초안 모델 A와 같은 회사 계열인 점은 이 기준이 다루는 관계의 유형과 겹친다. 그러나 B가 A의 개발 업무에 직접 관여하였는지 여부는 미정이며, 계열 관계만으로 금지 사유가 성립한다고 보기는 어렵다.

이상의 항목들이 이 사례에 남기는 결론은 한정적이다. 검토 메모가 공유되었다는 사실만으로 검토의 독립성이 확인된 것은 아니며, 공통 학습 자료에 의한 동일 판단의 경로와 메모가 다음 검토에 미친 억제 효과, 조항 번호 오류의 최종 영향은 미정으로 남는다. 확인된 사실은 메모와 오류가 기록되어야 할 대상이라는 점뿐이다.

Official documents referred to

• 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)
• 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)