요약
이 장은 지금 무엇이 미결로 남고 어떤 조건이 생기면 이 권의 논의를 다시 보아야 하는지를 묻는다. 미결로 남은 물음의 목록과 미확인과 오류의 구별, 보류 판단의 평가 기준, 기준선을 넘는 정도의 보고 방식을 정리한 뒤 재검토 조건의 목록을 놓는다.
14.1미결로 남은 물음의 목록
책임을 투명성 확보 절차와 가른 자리에서 미처 채우지 못한 물음이 남는다. 이 물음들을 미확인의 처리, 보류 판단, 보고, 재검토의 네 덩어리로 배열하면, 무엇이 기록으로 남겨야 할 대상인지가 드러난다.
먼저 미확인의 처리이다. 확보 의무는 기록을 남길 범위를 넓게 정한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 시스템 목록 항목에 담을 사항을 다음과 같이 열거한다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 출처와 버전, 사람이 맡은 감독 역할이 함께 적히므로, 작성에 어느 단계가 관여했는지와 같은 사실도 이 목록에서 비워 두지 않는 범위에 든다. 사례에서 작성 단계와 원문 열람 여부가 미정인 까닭이 여기에 있다.
둘째, 보류 판단이다. 재울 수 없는 위험을 남길 때도 이유를 함께 남긴다. 같은 문서 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 라고 정한다. 측정하지 못한 위험도 목록에서 빠지지 않으므로, 확인되지 않은 사유를 적지 않은 채 판단을 미루는 것은 이 기준에 맞지 않는다. 확정 손해나 고의로 이어지지 않은 관찰은 이 자리에 그대로 남는다.
셋째, 보고이다. 오류를 기록으로 모아 두라는 지시가 따로 있다. 같은 문서 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 라고 선다. 같은 문서 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made." 라고 보고를 요구한다. 사례의 인용 번호와 선고일 불일치가 보고 대상에 들 수는 있으나, 이 지침이 그 불일치를 법적 책임으로 옮기지는 않는다. 의뢰인에게 어떤 설명이 있었는지는 아직 밝혀지지 않았다.
넷째, 재검토이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 기록과 공유의 관계를 다음과 같이 적는다. "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents." 기록과 버전 이력이 남아야 같은 일을 되짚을 수 있으므로, 이 네 덩어리는 서로 떼어 두기 어렵다. 출처를 적는 일, 남은 위험을 적는 일, 오류를 모으는 일, 다시 보는 일 가운데 어느 하나라도 비면 앞 장에서 세운 구별이 실제 기록에서 흔들린다.
14.2미확인과 오류의 구별
그럼에도 남는 것은 확인과 오류 사이의 경계다. 앞 절에서 보류로 돌린 물음은, 확인되지 않은 인용과 확인된 원문에서 어긋난 인용을 한 덩어리로 묶지 않는 한 정리되지 않는다. 이 구분은 연구윤리 지침이 연구의 단계를 나누는 방식에서 그 어휘를 빌릴 수 있다.
교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호), 제2조는 연구의 산출물을 단계별로 나누어 정의한다. 그 중 원자료와 가공물의 관계를 다음과 같이 잡는다. "4. \"연구 원자료\"란 연구 목적을 달성하기 위해 연구자가 실험, 관찰, 조사 등을 거쳐 수집한 가공 이전의 자료와 문헌 등을 말한다." 이 정의는 확인의 출발점을 원문 그 자체에 둔다. 판결문 원문은 이 사례에서 가공 이전의 자료에 해당하며, 인용문은 그 원문에서 나온 2차 자료다.
같은 조는 이어서 "5. \"연구자료\"란 연구 원자료를 가공한 자료와 이를 활용한 2차 자료 및 문헌을 말한다." 를, 그리고 "6. \"연구결과\"란 연구자가 연구 활동을 통해 얻은 연구자료를 활용하여 도출한 체계화된 결론을 말한다." 를 둔다. 이 셋의 구분은 초안에 실린 인용문과 사건번호, 그리고 판시 요약이 각각 어느 층에 놓이는지 가르는 잣대를 준다.
이 구분을 사례에 대입하면 세 가지 상태가 나뉜다. 사건번호를 국가법령정보센터 검색창에 넣어 대응하는 판결문 원문을 찾지 못한 경우는 원자료에 이르지 못한 상태다. 선고일이 초안에 적힌 것과 다른 판결은 원문을 확인했으나 그 중간 기록에서 어긋난 상태다. 판시 요약의 방향이 원문과 다른 경우도 같은 쪽에 놓인다. 전자를 오류로 부르기 전에, 그리고 후자를 고의로 분류하기 전에 이 둘을 가르는 기준을 세워야 한다.
그 기준은 연구부정행위의 판단에서 찾는다. 동 지침 제12조제1항은 "1. 연구자가 속한 학문 분야에서 윤리적 또는 법적으로 비난을 받을 만한 행위인지" 를, "3. 행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려" 하도록 정한다. 미확인은 확인을 시도했으나 원자료에 이르지 못한 상태에 머무르며, 오류는 확인된 원자료와 그 가공물이 어긋난 상태다. 이 사례의 관찰은 어느 쪽인지 밝히지 못했고, 그 구분에 필요한 작성 단계와 원문 열람 여부는 미정이다. 그러므로 지금의 관찰은 인용의 정확성을 보류 상태에 둘 뿐, 연구부정행위나 법적 평가의 성립을 말하지 않는다.
14.3보류 판단의 평가 기준
미확인과 오류를 가른 뒤에는, 어떤 관찰이 인용의 정확성을 일시적으로 보류하는 근거가 되는지의 문제가 남는다. 이 물음은 환각과 오류의 추적 항목을 읽는 것으로 다듬어진다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 잘못된 내용을 그럴듯하게 내놓는 현상을 이렇게 적는다.
> "Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as “hallucinations” or “fabrications.”
같은 각주 3은 이 현상이 근거의 형태로 나타날 수 있음을 함께 적는다.
> GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output.
이 사례에서 번호와 선고일이 갖추어진 판결 인용이 그럴듯했으나 검색으로 확인되지 않았던 관찰은, 바로 이 두 문장이 묘사하는 양태에 놓인다. 형식이 정돈되었다는 사실은 정확성의 표지가 아니다.
같은 문서 GV-1.6-003은 시스템 목록 항목에 담을 사항을 열거하면서 알려진 문제의 출처를 이렇게 적는다.
> Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor)
확인된 원문과 어긋난 선고일, 그리고 요약의 방향이 달라진 판시는 이 항목이 말하는 알려진 문제에 해당한다. 다만 인용이 어느 작업 단계에서 만들어졌는지, 작성자가 원문을 열어 보았는지는 미정이다.
정확성을 한때 보류하는 판단은 사라진 위험을 전제하지 않는다. 같은 문서 MS-1.1-009는 측정되지 않는 위험을 기록으로 남기며 그 까닭을 함께 적을 것을 요구한다.
> Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks.
검색 결과가 0건이라는 사실과 원문과의 불일치는 정량으로 잰 빈도가 아니라 관찰로 기록될 항목이다. 이 항목들은 판결의 존재 여부나 확정 손해에 관한 결론을 내리지 않는다.
확인된 원문과의 대조는 같은 문서 MG-4.3-002가 적는 절차의 일부로 읽힌다.
> Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts.
이 사례에서 사건번호가 검색으로 드러난 인용 중 선고일이 달랐던 것과 판시 요약이 원문과 달랐던 것은 이 절차가 받아들이는 보류 판단의 근거다. 따라서 보류 판단은 인용의 정확성을 한시적으로 유보한 상태로 남기며, 자료가 말한 범위를 벗어난 평가로 나아가지 않는다.
14.4기준선 초과의 보고 방식
보류 상태에 이른 인용이 있으면, 그 정도를 어떻게 적고 어디에 알릴지가 뒤따른다. L04는 이 보고의 항목과 절차를 정하고 있다.
보고의 폭에 관해 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 정책과 절차의 설립과 유지를 요구하면서 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 적는다. 이 항목은 오류에 가까운 사건과 부정적 영향까지 함께 기록 대상으로 삼는다. 사건번호가 검색되지 않거나 선고일이 어긋나는 관찰은 바로 이 범위에 들며, 확정 손해가 확인되지 않았다고 해서 기록에서 빠지지 않는다.
항목 하나로 오류를 표시하는 데 그치지 않고 맥락을 남길 것을 요구하는 대목도 있다. 같은 자료의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 적는다. 수치로 잴 수 없는 위험도 함께 추적하고, 잴 수 없는 까닭을 설명으로 남기라는 요구다. 인용의 정확성을 빈도 수치로 환산할 수 없다면, 그 사정을 그대로 적는 것이 항목의 요구에 맞는다.
측정 자체의 한계를 보고에 함께 적으라는 항목도 있다. 같은 자료의 MS-2.11-001은 벤치마크의 한계를 문서화하면서 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 적는다. 평가에 쓴 시험자료와 학습자료의 오염 가능성까지 한계로 남기라는 뜻이다. 따라서 보고는 측정값뿐 아니라 측정의 전제를 함께 실어야 한다.
보고의 공개 범위에 관해 같은 자료의 MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 적는다. 성능과 받은 의견, 그리고 이룬 개선을 상세히 적은 보고서를 내놓으라는 요구다. 기준선을 넘은 정도를 적은 보고서가 이 범위에 들면, 그 보고는 절차 안에서 정기적으로 공개되는 자리에 놓인다.
그 밖에 검토 메모를 주고받는 방식은 별개의 문제로 남는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)에 실린 MS-1.3-003은 어떤 평가든 그 수행자가 같은 모델의 개발에 직접 관여하지 않았는지 확인하라면서 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 적는다. 이 항목은 평가자의 참여를 다룰 뿐, 검토 메모를 공유하는 것 자체가 독립성을 보장한다는 뜻으로 읽히지 않는다. 이 사례에서 기준선 초과의 보고는 정해진 항목과 절차 안에서 이루어지되, 보고의 공유 범위와 평가자의 자격은 각기 따로 확인해야 한다.
14.5재검토 조건의 목록
그 보고의 항목만으로는 결론을 고쳐 볼 때가 언제인지 정하지 못하므로, 이제 재검토를 다시 켤 조건을 세 가지로 나누어 적는다. 첫째는 인용된 근거가 어떤 모델과 어느 판례 원문에서 나왔는지의 기록이고, 둘째는 그 기록을 확인한 사람의 관여와 시험자료의 상대가 바뀐 것이며, 셋째는 새 지침이나 평가 자료가 밖으로 나온 일이다. 이 목록은 확정 손해나 고의를 정하는 기준이 아니라, 이 사례에서 남은 물음을 다시 묻는 순서를 적은 것이다.
근거의 내력을 남기는 일부터 본다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 GAI 시스템 목록 항목에 적을 것을 권하며, "Data provenance information (e.g., source, signatures, versioning, watermarks); (…) Underlying foundation models, versions of underlying models, and access modes."라고 적었다. 같은 문건은 위험을 세는 일에 한정하지 않고, MS-1.1-009에서 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 하였다. 이 사례에서 판결 사건번호 하나가 검색 결과 0건으로 나온 관찰은 그 내력과 설명이 함께 남아야 할 자리를 가리키며, 그 기록의 유무는 미정이다.
다음은 확인에 관여한 사람과 시험자료가 바뀐 경우이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-002는 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 하였고, 바로 이어서 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 하였다. 같은 문건 MS-2.11-001은 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment."라고 하여 시험자료의 오염 가능성을 함께 적게 하였다. 초안의 인용을 확인한 사람이 누구이고, 확인에 쓴 자료가 훈련에 겹쳤는지는 미정이며, 그 사실이 드러나면 확인의 모양이 바뀌므로 이 사례의 결론은 다시 살핀다.
셋째는 새 지침이나 평가 자료가 밖으로 나온 경우이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 하였고, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 하였다. 연구의 자료와 결과를 다루는 태도에 관하여는 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제5조가 "사실에 기초한 정직하고 투명한 연구의 진행"과 "자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"을 연구자의 준수사항으로 적었다. 새로 나온 자료가 인용의 대조 기준을 바꾸거나, 위와 같은 출처 표시의 기준을 새로 정하면, 이 사례에서 남은 물음의 답도 그에 맞추어 다시 적는다.
이 목록의 셋은 함께 움직인다. 기록이 남지 않으면 관여와 오염을 확인할 길이 없고, 확인의 모양이 바뀌지 않으면 새 자료의 뜻을 놓칠 수 있기 때문이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 부록 A는 "Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."라고 하였다. 그러므로 위 셋 가운데 하나라도 달라지면 이 사례의 결론은 확정된 것으로 두지 아니하고 다시 검토한다. 아직 공개되지 않은 자료의 내용은 알 수 없으므로, 그 자료가 나온 뒤의 결론은 지금 정하지 아니한다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)