요약
어느 대조까지는 기계에 맡기고 어느 대조는 사람이 남아야 하는지를 묻는다. 글자의 일치는 기계가 맡되 판시를 옳게 읽었는지는 사람이 남는 경계를, 자료의 지침과 도구의 기록 요구로 나누어 정리한다. 대조 기록에 남길 항목과 전자문서로의 보관을 함께 읽는다.
13.1기계에 맡기는 글자 대조
자동화의 결과를 확인으로 세지 않는 데서 멈추지 않고, 이제는 그 자동화를 어디까지 맡길 수 있는지의 문제가 남는다. 인용 1,214개의 글자 일치를 전부 손으로 대조하기 어려우므로 편집자는 자동 대조를 도입하려 한다. 그러나 기계가 맞다고 한 것을 곧바로 기록과 일치한 것으로 받아들여도 되는지, 그 한계를 먼저 가려야 한다.
인용의 글자 대조를 자동화할 때 가장 먼저 거치는 위험은 기계가 틀린 내용을 그럴듯하게 내놓는 경우다. NIST는 생성형 인공지능의 정의에서 이 현상을 ""Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context."라고 규정한다[미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 인쇄면 2쪽 (PDF 6쪽) ]. 자동 대조 결과가 아무리 단정적으로 보여도, 그 출력 자체가 원문과 일치했다는 근거가 되지 못하는 까닭이 여기에 있다.
기계가 내놓는 근거까지도 함께 경계해야 한다. NIST는 그 위험을 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output. For instance, LLMs sometimes provide logical steps for how they arrived at an answer even when the answer itself is incorrect."라고 지적한다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, 2절 각주 3, 인쇄면 2쪽 (PDF 6쪽) ]. 선고일 같은 날짜를 대조한 뒤 그 확인 경위를 설명하는 문장까지 출력에 들어 있다면, 그 설명 역시 별도로 검증할 대상이다.
대조 작업에 어떤 모델과 어떤 기록을 썼는지는 남겨 두어야 한다. 시스템 목록 항목으로 "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions"을 기재하도록 되어 있다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, GV-1.6-003, 인쇄면 16쪽 (PDF 20쪽) ]. 표본 50개를 어느 기준으로 골라 사람이 확인했는지, 자동 대조에 쓴 모델의 버전은 무엇인지가 기록에 남아야 한다는 뜻이다.
자동화로 잰 값으로 나타내기 어려운 위험은 따로 적어 둔다. 그 지침은 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 한다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MS-1.1-009, 인쇄면 29쪽 (PDF 33쪽) ]. 자동 대조가 놓친 오탈자가 몇 건인지 셀 수 없다면, 그 이유를 적고 남은 위험으로 함께 다룬다.
측정 자체의 한계도 함께 기록해야 한다. 벤치마크에는 "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment"를 함께 적도록 되어 있다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MS-2.11-001, 인쇄면 36쪽 (PDF 40쪽) ]. 표본 50개의 검증 점수를 내세울 때는, 그 표본이 어떤 한계 아래에서 뽑혔는지를 덧붙여야 한다.
자동 대조 과정에서 나온 오류와 아차 하는 순간은 절차로 묶어 남긴다. 그 정책은 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 요구한다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MG-4.3-002, 인쇄면 45쪽 (PDF 49쪽) ]. 출간 뒤 독자가 알려 온 선고일 한 건의 오류도, 그 자체로 추적 대상에 넣는다.
사고 기록을 남기는 이유는 그 기록으로 영향의 근원을 되짚을 수 있기 때문이다. 그 까닭을 NIST는 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source."라고 설명한다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, 부록 A, 인쇄면 53쪽 (PDF 57쪽) ]. 글자 대조가 어느 자료에서 왔는지 미정이라면, 그 미정 상태를 기록에 남겨 두어야 뒤에 소급해서 찾을 수 있다.
정기적인 점검과 보고도 함께 요구된다. 그 지침은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 한다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MG-4.2-001, 인쇄면 45쪽 (PDF 49쪽) ]. 나아가 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors. Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents."라고 덧붙인다[미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, 부록 A, 인쇄면 53쪽 (PDF 57쪽) ]. 기계에 맡긴 대조일수록, 무엇이 언제 어떤 버전으로 처리되었는지가 남아야 그 결과를 나중에 따져 볼 수 있다.
결국 자동화가 멈추는 자리는 기계의 출력 그 자체다. 맞다고 나온 항목과 틀렸다고 나온 항목 모두, 어떤 모델과 어떤 기록으로 처리했는지가 뒤에 남을 때 비로소 확인으로 옮겨질 수 있다. 정오표를 낼지, 어떤 자료를 가리키는 인용인지 따로 찾아낼지는 앞으로 정해질 일이다. 이 사례의 기록은 손해나 고의의 확정을 위한 판단이 아니라, 자동 대조의 결과를 확인으로 바꾸지 않기 위한 기록이다.
13.2같은 모델의 상관된 실패
기계에 맡긴 글자 대조를 하나의 모델에 의존해 수행하면, 그 결과가 서로 다른 두 확인으로 세어지지 않는 문제가 생긴다. 그러한 의존이 무엇을 잃게 하는지를 다음 문헌이 짧게 규정한다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 그 정의를 이렇게 적는다.
"“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."
이 정의에 따르면 여러 행위자가 같은 모델에 의존하면 실패가 함께 겹친다. 표본 50개의 대조와 나머지 1,164개의 대조가 같은 모델의 같은 능력에 기대어 있었다면, 앞의 50개가 맞았다는 사실은 뒤의 1,164개가 맞았다는 뜻을 담지 못한다.
같은 모델이 어떤 식으로 틀리며 그 틀린 글이 얼마나 그럴듯한지도 함께 적혀 있다. 인용을 검증하는 작업에 직접 닿는 문장만 옮기면 다음과 같다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)에 따라 환각의 양상을 적은 문장이 그대로 뒤에 온다.
"GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."
이 문장이 말하는 “confabulated logic or citations”는 인용 검증의 자료가 될 수 없다. 원고 2천 매에 들어간 1,214개의 인용을 같은 모델로 훑어 냈다면, 그 모델이 지어낸 인용과 진짜 인용을 가른 판단 자체가 모델의 것이 된다. 표본 50개의 확인이 “모두 맞음”으로 끝난 까닭도 모델이 틀리지 않았다기보다 모델의 틀림이 표본에서 드러나지 않았을 가능성이 남는다.
상관된 실패가 겉으로 드러나면 그 자리를 기록으로 남겨야 한다. 보관에 관한 요구는 다음과 같다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002은 오류와 아차 사고와 부정적 영향의 기록을 다음과 같이 요구한다.
"Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."
독자가 알려 온 선고일 하루 차이는 이 기록 대상에 들 것인지를 아직 결정하지 않았다. 그 인용이 어떤 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낼 것인지에 관하여는 미정이다. 다만 위 문헌의 요구에 비추어 보면, 오류와 아차 사고와 부정적 영향을 같은 틀에 적어 두는 정책과 절차를 두는 일이 별개의 문제로 남는다.
편집자가 검토 메모를 주고받았다는 사정도 같은 모델의 상관된 실패를 끊지 않는다. 오히려 그 메모가 같은 모델의 출력에서 나왔다면 실패가 한곳에 모여 있을 뿐이다. 그 구분을 확인할 항목이 따로 적혀 있다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003이 시스템 목록에 넣으라고 권하는 항목은 다음과 같다.
"Underlying foundation models, versions of underlying models, and access modes."
표본 50개와 표본 밖 1,164개의 대조가 어느 모델과 어느 버전과 어느 접속 방식으로 이루어졌는지 적혀 있지 않다면, 두 확인이 독립된 것인지 아닌지에 관한 기록이 남지 않는다. 그러한 기록이 없을 때 검토 메모의 공유를 독립성을 보장하는 근거로 삼을 수 없다.
13.3사람이 남는 판독 판단
모델 의존의 상관성을 기록으로만 끊을 수 없다고 본 뒤에 남는 자리는 사람이 판독을 맡는 자리이다. 자동화된 대조가 글자를 읽어 맞히는 데서 멈추는지, 인용의 뜻까지 판단하는 데 미치는지에 따라 사람의 역할이 갈린다. 이 절은 그 자리를 평가자 관여와 시험자료 오염에 관한 지침으로 나누어 살핀다.
먼저 평가자가 어떤 자격을 갖추어야 하는지가 정해져 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.3-002에서는 평가 관여의 방식을 다음과 같이 규정한다. "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 이는 평가자에게 사용 맥락에 대한 전문성과 친숙함을 요구하는 한편, 그 맥락에 관련된 집단을 대표할 사람도 함께 두도록 하는 기준이다.
같은 지침 MS-1.3-003은 평가자의 자격에 한 가지 제한을 더 둔다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 같은 모델의 개발 업무에 직접 관여한 사람이 그 모델을 평가하지 못하도록 한 것이다. 앞서 살핀 상관된 실패와 마찬가지로, 개발과 평가가 한 사람에게 겹치면 그 평가는 모델의 잘못을 독립적으로 걸러내지 못한다.
평가 대상이 기반 모델의 내부를 이루는 시험자료라면 문제가 달라진다. 지침 MS-2.11-001은 벤치마크를 쓸 때 다음과 같이 기록하도록 한다. "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 벤치마크가 쓰이는 실제 배치 환경을 기준으로, 훈련자료와 시험자료가 오염되었을 가능성까지 함께 적으라는 뜻이다. 이 기준을 이 사례에 적용하면, 표본 50개를 확인한 결과는 훈련과 시험의 오염 여부를 밝히지 않은 한 제한이 기록되지 않은 평가로 남는다.
끝으로 지침은 평가자의 판단이 계량으로 환산되지 않는 위험에도 적용될 수 있음을 분명히 한다. MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 규정한다. 사람의 판독이 맡은 자리는 계량이 닿지 않는 위험을 설명으로 붙잡는 자리이며, 이 설명은 미측정 위험으로 함께 다룬다. 이 결과는 확정 손해나 고의에 관한 법적 평가가 아니며, 앞서 본 자동화 대조와 사람의 판독 사이의 경계를 기록 형식으로 남길 항목은 다음 단계의 문제로 남는다.
13.4대조 기록에 남길 항목
사람이 판독 판단을 맡은 자리를 매듭지으면, 남는 물음은 그 판단과 개선 이력을 어떤 항목으로 기록에 남길지이다. 앞 절이 평가자 관여와 시험자료 오염을 경계로 삼았다면, 이 절은 기반 모델과 버전, 데이터 내력, 실제 개선 보고를 어떤 항목으로 묶을지를 다룬다.
대조 기록은 무엇을 기본 항목으로 삼아야 하는지가 먼저다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003은 시스템 목록 항목에 담을 사항을 아래와 같이 적는다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 이 항목에서 'Underlying foundation models, versions of underlying models, and access modes'는 기반 모델과 그 버전을, 'Data provenance information'은 데이터 내력을 각각 적어 두어야 함을 뜻한다.
나아가 셀 수 없는 위험의 사유도 함께 적어야 한다. 같은 자료, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 규정한다. 대조에서 남는 위험을 정량으로 잴 수 없더라도, 그 사유를 기록에 함께 남겨야 한다는 취지로 읽힌다.
한편 평가자 관여의 조건도 기록 항목에 잇는다. 같은 자료, MS-1.3-002는 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 정하고, MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 덧붙인다. 대조 기록에는 누가 어떤 자격으로 참여했는지와, 같은 모델 개발에 직접 관여하지 않았는지의 확인이 함께 남아야 한다.
개선 보고와 오류 추적 항목도 빼지 않는다. 같은 자료, MG-4.2-001은 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 하고, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 정한다. 이 사례에서 독자가 보고한 선고일 오류는 'reported errors'에 해당하는 사정이므로, 대조 기록에는 그 오류와 그에 따른 보고·개선이 남아야 한다.
끝으로 기록의 공개 형식과 범위는 미정으로 남는다. 위 자료는 기록할 항목을 정하면서, 공개 형식과 범위를 미리 정하지는 않는다. 이 사례에서 무엇을 어떻게 공개할지는 항목의 확정과 함께 뒤로 미룬다.
13.5전자문서로의 보관
대조 기록에 남길 항목을 정리한 데 이어, 남긴 기록을 전자문서로 보관할 수 있는지가 다음 문제로 떠오른다. 그 기록에 원자료·자료·결과 가운데 어느 범위까지 담아 보관할 것인지도 여기서 함께 가려진다.
보관의 갈음 요건은 「전자문서 및 전자거래 기본법」 제5조에서 정해진다. 그 조문은 전자문서 및 전자거래 기본법 제5조에서 "제5조(전자문서의 보관) ① 전자문서가 다음 각 호의 요건을 모두 갖춘 경우에는 그 전자문서를 보관함으로써 관계 법령에서 정하는 문서의 보관을 갈음할 수 있다. 다만, 다른 법령에 특별한 규정이 있는 경우에는 갈음할 수 없다."라고 선언한다 (전자문서 및 전자거래 기본법 제5조). 조문이 곧바로 두 가지 요건을 붙이는데, "1. 제4조의2에 따라 서면으로 보는 전자문서일 것"에 이어 "2. 전자문서의 작성자, 수신자 및 송신·수신 일시에 관한 사항이 포함되어 있는 경우에는 그 부분이 보존되어 있을 것"이다 (전자문서 및 전자거래 기본법 제5조). 따라서 대조 기록이 서면으로 보는 전자문서에 해당하고, 작성자와 송신·수신 일시의 사항이 담겼다면 그 부분이 보존된 상태여야 갈음이 인정된다.
동일성 요건은 종이문서 등을 변환한 전자화문서에 더해진다. 같은 조 제2항은 "2. 전자화문서가 전자화대상문서와 그 내용 및 형태가 동일할 것"을 요구한다 (전자문서 및 전자거래 기본법 제5조). 구체적인 작성 방법과 절차는 조문이 위임한 고시에 맡겨 두고, 적용에 관해 「전자문서 및 전자거래 기본법」 제5조제4항은 "④ 제1항과 제2항을 적용할 때 송신 또는 수신만을 위하여 필요한 부분은 전자문서로 보지 아니할 수 있다"라고 예외를 둔다. 대조 기록 전부를 보관 대상으로 삼되, 송신·수신 전용 부분은 그 밖에 분리해 두는 방식이 이 조문과 맞닿는다.
어느 범위까지 보관에 담을지는 연구윤리 지침의 용어 구분에서 실마리를 얻는다. 「교육부, 연구윤리 확보를 위한 지침」 제2조는 "4. \"연구 원자료\"란 연구 목적을 달성하기 위해 연구자가 실험, 관찰, 조사 등을 거쳐 수집한 가공 이전의 자료와 문헌 등을 말한다"라고 정의한다. 이어 "5. \"연구자료\"란 연구 원자료를 가공한 자료와 이를 활용한 2차 자료 및 문헌을 말한다"라 하고, "6. \"연구결과\"란 연구자가 연구 활동을 통해 얻은 연구자료를 활용하여 도출한 체계화된 결론을 말한다"라고 밝힌다. 원고에 실린 인용의 원문은 가공 이전의 자료에, 이를 옮겨 적은 표본 대조 결과는 가공한 자료에, 그 정오 여부의 판단은 도출한 결론에 각각 놓인다.
그 구분은 대조 기록의 범위를 정하는 데에도 그대로 이어진다. 같은 지침 제5조는 연구자에게 "3. 사실에 기초한 정직하고 투명한 연구의 진행"과 "6. 자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"을 요구한다. 이 요청은 기록에 무엇을 담아야 하는지를 말할 뿐, 기록에 담긴 자료를 무엇으로 볼지까지 정하지 않는다. 구별은 지침 제2조의 용어 정의에서 확인한다.
모델이 낸 인용 선고일의 차이가 곧 연구부정행위나 책임으로 이어지는지도 이 지침의 판단 기준과 나란히 놓고 본다. 제12조는 "① 연구부정행위는 다음 각 호의 기준으로 판단한다. 1. 연구자가 속한 학문 분야에서 윤리적 또는 법적으로 비난을 받을 만한 행위인지 2. 해당 행위 당시의 ‘연구윤리 확보를 위한 지침’ 및 해당 행위가 있었던 시점의 보편적인 기준을 고려 3. 행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"라고 규정한다. 고의와 이익 같은 요소를 종합해 판단하라는 요구는, 하나의 인용 오류만으로 연구부정행위를 단정할 수 없음을 분명히 한다. 그러므로 이 사례에서 확인된 것은 대조 기록을 전자문서로 보관할 요건과 그 기록이 다루는 범위이며, 연구부정행위나 책임의 확정은 다루지 않는다. 연구 부정행위의 유형과 판단 기준은 이 지침의 다른 조항이 정한 대로 남는다.
다룬 법령
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)