Summary
원고에서 인용을 하나도 빠짐없이 뽑아내는 데 무엇이 필요한지를 묻는다. 표기 패턴으로 후보를 모으고 추출 목록을 검산하는 절차를 설명하며, 같은 모델 의존에서 생기는 상관 오류를 짚는다. 평가자 관여와 시험자료 오염의 비유를 빌려 자동화 도구의 한계를 나누고, 기록 남김을 다룬다.
6.1추출 대상의 범위와 한정
꼴이 정해져 있다는 결론에서 한 걸음 더 나가면, 무엇을 인용으로 셀지의 문제가 남는다. 원고 2천 매 가운데 인용은 1,214개로 기록되어 있다. 이 숫자를 그대로 지키려면 추출 단계에서 원고에 실린 표기만 대상으로 삼아야 하고, 원고에 없는 표기 유형을 만들어 넣어서는 안 된다. 이 장에서는 추출의 대상을 어디까지 잡을지, 그리고 어느 한계에서 멈출지를 다룬다.
대상의 범위를 먼저 넓게 잡아야 하는 이유는 원고의 인용 꼴이 한 가지로만 놓여 있지 않기 때문이다. 「교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호)」에서 정의 조항의 첫 항만 보아도 그 안에 다른 법령의 조문이 함께 인용되어 있다. 연구자의 정의를 밝히는 항에서는 "「학술진흥법」 제2조제5호 에서 규정한 연구자를 말한다"라고 되어 있고, 대학등의 정의를 밝히는 항에서는 "「학술진흥법」 제2조제2호, 제3호, 제4호와 제5조제2항 에서 규정한 대학·연구기관·학술단체(이하 "대학등"이라 한다)를 말한다"라고 되어 있다. 이 사례에서 같은 항 안에 법령명·조·호·항이 겹쳐 놓여 있음을 확인할 수 있고, 추출의 대상은 겹친 채로 들어 있는 표기 전체를 포괄해야 한다.
판례 인용을 다루는 사례에서는 앞 사례와 성격이 달라진다. 판례를 인용할 때 자료는 법원·선고일·사건번호를 표기로 삼는다. 앞 사례에서 독자가 알린 틀린 표기도 판례 인용의 선고일 한 자리였으나, 그 인용이 어떤 자료를 가리키는지와 원문 기록에서 무엇이 확인되는지는 미정으로 남는다. 추출의 대상에는 그 표기를 온전한 채로 넣되, 어느 자료에 대조할지는 이 자리에서 정하지 않는다. 대상에 넣는 일과 대조하여 맞음을 확인하는 일은 서로 다른 두 단계다.
추출의 대상에 무엇을 넣을지는 원고의 표기만으로 정한다. 앞 사례의 정의 조항에서 인용되는 조문 번호와 호 번호는 원고에 실린 그대로가 기준이므로, 원고가 제시한 번호를 고쳐 세우지 않는다. 원고의 표기가 짧게만 남아 있는 경우에도 그 짧은 표기 자체가 대상이 된다. 표기의 온전한 꼴로 되돌리는 일, 예컨대 생략된 법령명이나 조·항·호를 찾아 채우는 일은 추출이 끝난 뒤의 일로 남긴다.
대상의 한계는 결국 원고의 문자에 닿아 있다. 원고에 실린 표기를 빠짐없이 뽑아내는 것이 목표이므로, 뽑아낸 뒤의 목록이 완전하다는 판단은 추출 단계에서 서두르지 않는다. 뽑힌 표기 하나하나는 곧 뒤이을 대조의 재료가 되고, 대조의 재료가 모여 비로소 원고 2천 매 분량의 인용 목록이 된다. 이 자리에서 확정되는 것은 인용으로 셀 표기의 범위일 뿐, 인용의 내용이 맞는지의 여부는 미정으로 남는다.
6.2표기 패턴으로 후보 모으기
표기 꼴을 한정해 둔 데서 그치지 않고, 이제 원고 전면을 훑어 인용 후보를 모을 차례다. 그때 쓰는 잣대가 표기 패턴이다. 법령명 뒤에 오는 「조·항·호」의 자리, 판례 인용에 흔히 붙는 선고일과 사건번호의 자리, 괄호로 덧붙인 별칭의 자리를 찾아 묶어 두면, 그 모양에 걸린 조각들을 한꺼번에 끌어모을 수 있다. 패턴은 사람이 만들어 쓰는 표기 습관에서 뽑는다.
예컨대 자동화 지침에서도 목록 항목마다 고유한 식별자로 표기를 붙인다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26의 GV-1.6-003 항목은 "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes."라고 적힌다. MS-2.11-001처럼 「구분-번호」 모양의 식별자가 붙은 표기는 같은 식별자 틀이 반복되므로 패턴으로 잡아내기 쉽다. 식별자 자리를 함께 모아 두면 원문에서 같은 항목을 되짚는 데 편리하다.
그러나 패턴에 걸리지 않은 표기가 곧 인용이 아니라는 뜻은 아니다. 괄호 안 별칭이나 약칭만으로 본문을 짚어 가는 표기도 있고, 조문 번호를 적지 않고 판시 사정만 서술한 대목도 있다. 같은 자료의 표기도 형식을 일부러 바꿔 적은 자리가 있으므로, 겉모양만으로 식별자를 단정해 지워서는 안 된다. 패턴에서 빠진 조각은 별도로 표시해 두었다가 사람이 눈으로 다시 살핀다.
자동 도구가 뽑은 목록 역시 끝이 아니다. MG-4.2-001 항목이 요구하듯 "Conduct regular monitoring of GAI systems and publish reports detailing the performance, feedback received, and improvements made."라고 적은 자료는, 도구가 걸러낸 뒤에도 사람의 점검을 전제한다. MG-4.3-002 항목도 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 적는다. 기록을 유지하는 절차를 세워 두는 일과, 그 기록이 빠짐없이 모였다고 여기는 일은 별개다.
같은 자료가 경험과 배움을 강조하는 까닭도 여기에 있다. MS-1.3-002 항목은 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 적는다. MS-1.3-003 항목은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 덧붙인다. 모으는 일과 검증하는 일을 한 사람에게 몰아 주지 않는다는 뜻이다.
또한 측정으로 다 잡히지 않는 것은 따로 적어 둔다. MS-1.1-009 항목은 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 적는다. 패턴에 잡히지 않은 표기와 자동 추출이 놓친 항목을, 측정되지 않는 위험처럼 따로 기록해 두고 다음 점검에 넘기는 방식이다.
모아 낸 후보가 무엇을 가리키는지 원문에서 대조하는 일은, 그 후보 목록을 손에 넣은 뒤에야 시작할 수 있다. 이번 단계는 빠짐없이 끌어모으는 일에 매듭을 짓되, 패턴에 걸리지 않은 표기를 지운 자리는 비운 채 남겨 둔다.
6.3추출 목록의 검산 절차
패턴으로 모은 후보 목록을 그대로 쓰지 않고, 추출된 인용을 원고와 다시 맞대어 보는 절차가 필요하다. 검산은 목록을 한 번 더 읽는 일이 아니라 목록과 원고를 서로 대사하여 개수와 내용이 맞는지 확인하는 작업이다. 확인한 범위와 확인하지 않은 범위를 나누어 기록하는 것이 이 절차의 출발점이다.
교육부, 연구윤리 확보를 위한 지침(교육부훈령 제449호), 2023-07-17, 제2조제4호는 "연구 원자료"란 연구 목적을 달성하기 위해 연구자가 실험, 관찰, 조사 등을 거쳐 수집한 가공 이전의 자료와 문헌 등을 말한다고 정의한다. 검산은 이 "가공 이전의 자료"인 원고를 직접 다시 펼쳐 보는 데서 시작한다. 편집 과정에서 만들어진 목록이나 요약은 가공된 자료이므로, 원고와 대조하는 근거로 삼기 어렵다.
목록의 개수를 대사하는 방법은 명확하다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 요구한다. 같은 문서는 "Documentation practices including logging, recording, and analyzing GAI incidents can facilitate smoother sharing of information with relevant AI Actors."라고 덧붙인다. 추출 목록에 기록한 인용의 개수와 원고에서 세어 본 인용의 개수가 어긋날 때, 그 차이를 남기고 원인을 적어 두는 것이 검산의 핵심이다.
내용을 대사하는 방법은 표본 추출이다. 이 책의 사례에서 편집자는 원고지 2천 매 분량의 원고에 들어 있는 인용 1,214개 가운데 표본 50개를 골라 모두 맞음을 확인하고 책을 냈다. 표본 50개는 확인한 범위이고, 표본 밖의 나머지 1,164개는 확인하지 않은 범위다. 확인한 표본만으로 확인하지 않은 나머지까지 맞다고 장담할 수 없다.
확인하지 않은 범위에서 오류가 드러날 가능성은 남는다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 말한다. 확인하지 못한 오류는 측정되지 못한 위험에 해당하며, 검산 기록에 그 사유를 밝혀 두어야 한다.
출간 뒤 독자는 표본 밖의 인용 하나에서 선고일이 하루 틀렸다고 알려 왔다. 이 지점에서 그 인용이 어떤 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낼 것인지 여부는 미정이다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, GV-1.6-003는 목록 항목에 "Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor)"를 넣도록 요구한다. 독자의 지적도 이러한 보고의 하나로 기록에 남기되, 그 지적이 확인된 오류인지 여부는 원고와 대조한 뒤에 판단할 일이다.
검산 절차는 추출 목록을 확정하는 절차가 아니라, 확인한 범위와 확인하지 않은 범위를 가르고 어긋남을 기록하는 절차다. 확인한 표본 50개가 모두 맞았다는 사실은 표본 밖 1,164개의 정확성을 보증하지 않는다. 미정으로 남은 사항은 미정으로 남겨 두고, 확인된 사실과 추측을 서로 섞지 않는 것이 이 절차의 끝이다.
6.4같은 모델 의존의 상관 오류
표본 50개를 모두 맞춘 뒤 남은 문제는, 그 확인이 남은 인용까지 어느 정도 보증하느냐에 관한 것이었다. 추출과 검산을 같은 계열의 도구에 맡긴다면 양쪽이 함께 틀릴 수 있으므로, 확인 절차가 독립적이었는지를 따져야 한다. 의존 관계가 겹치는 곳에서 오류가 함께 날 수 있음을 무엇에 비유하여 읽을 수 있을지 먼저 살핀다.
자료는 한 모델을 여러 주체가 함께 쓸 때의 위험을 다음과 같이 묘사한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."라고 적는다. 같은 모델에 의존하는 주체가 늘어날수록 충격이 닥쳤을 때 함께 무너지기 쉽다는 뜻이다. 여기서 확인 절차와 추출 절차가 같은 계열의 도구에 기대어 있다면, 한쪽의 오타가 다른 쪽 검산에서도 드러나지 않을 수 있다.
독자는 오류가 눈에 띄지 않는 방식으로 나타날 가능성도 함께 고려해야 한다. 같은 문서, 2절 각주 3은 "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts."라고 정의한다. 틀린 내용이 오히려 확신을 담고 제시되면, 같은 도구로 되짚어 보아도 맞다고 여길 수 있다. 자료는 나아가 같은 문서, 2절 각주 3에서 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."라고 지적한다. 검산 결과가 그럴듯한 근거를 함께 내놓는다 하여 독립적인 확인이 있었다고 보기는 어렵다.
확인자가 누구인지가 자료에서 따로 강조된다. 미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 권고한다. 같은 모델의 작업에 직접 관여한 이가 검토를 맡지 않도록 하라는 뜻이다. 이 사례에서 편집자가 표본을 고르고 대조한 뒤 같은 검토 메모를 함께 보았다면, 그 메모를 검산이 독립적으로 이루어졌다는 근거로 삼을 수 없다. 자료는 같은 문서, MS-1.3-002에서 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 하여 평가 참여자의 구성을 함께 살핀다.
자료는 확인 과정에서 남는 불확실성을 남김없이 적도록 요구한다. 미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 규정한다. 정량으로 잴 수 없는 위험은 그 까닭과 함께 적어 두라는 뜻이다. 아울러 같은 문서, MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 권고한다. 표본 밖에서 알려진 오류는 이 절차에 따라 기록될 대상이다.
이 사례에서 독자가 알려 온 선고일의 하루 차이가 어느 자료를 가리키는지, 원문 기록에서 무엇이 확인되는지, 정오표를 낼 것인지는 아직 미정이다. 미국 상무부 국립표준기술연구소(NIST), NIST AI 600-1, GV-1.6-003은 목록 항목으로 "Data provenance information (e.g., source, signatures, versioning, watermarks)"를 두고 있고, 오류 보고와 공유는 위해를 줄이는 데 도움이 된다고 본다(같은 문서, MG-4.2-001 다음 본문). 다만 이 자리에서 확정 손해나 고의를 논할 자료는 주어지지 않았다. 다루어진 것은 확인 절차가 서로 겹칠 때 어떤 오류가 함께 날 수 있는지의 문제이며, 표본 50개의 정합만으로 그 겹침이 걷혔다고 보기는 어렵다.
6.5평가자 관여와 시험자료 오염
상관된 실패의 경계에서 나아가, 이제는 도구를 고르는 데 그치지 않고 도구를 고치는 손길이 자료를 어떻게 바꾸는지를 살필 차례다. 추출 도구를 원고에 맞추어 다듬는 과정 자체가 시험에 쓸 자료를 오염시킬 수 있으므로, 그 결과를 도구의 성능 증거로 삼을 수 있는지가 문제이다.
일단은 평가에 사람을 끼워 넣는 일의 조건부터 확인한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MS-1.3-002는 구조화된 인간 피드백 절차의 참여 자격을 다음과 같이 적는다. "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use." 평가자에게는 사용 맥락에 대한 전문성과 친숙함이 요구되고, 그 참여는 협의의 형식을 띤다. 이 사례에서 편집자는 50개의 표본을 골라 대조를 맡은 이이므로, 앞 문장이 정한 자격의 틀 안에 놓인다.
바로 그 지점에서 참여자와 개발자의 분리가 요구된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MS-1.3-003은 구조화된 인간 피드백을 맡는 이들이 같은 모델의 개발 업무에 직접 관여하지 않아야 한다고 못 박는다. "MS-1.3-003 Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 편집자가 추출 도구를 원고에 맞추어 가다듬는 일을 함께 했다면, 그 손길은 시험자료를 만드는 손길과 같은 자리에서 나온 것이다. 이 경우 대조 결과는 도구를 떠나 평가자 자신이 만든 틀에 대한 확인에 가까워진다.
오염의 가능성은 시험의 가정과 한계를 적는 항목에서 분명히 드러난다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MS-2.11-001은 벤치마크의 가정과 한계를 기록하라는 항목 안에 다음을 넣는다. "Document assumptions and limitations of benchmarks, including any actual or possible training/test data cross contamination, relative to in-context deployment environment." 학습 자료와 시험 자료가 섞였을 가능성은 실제뿐 아니라 있을 수도 있는 경우까지 적으라는 말이다. 표본 50개를 골라 도구를 조정한 뒤 같은 자료에서 오류 여부를 확인한 일은, 그 기록에 남겨야 할 섞임의 정황이다. 표본 안에서 모두 맞았다는 확인은 표본 밖 1,214개 인용에 대해서는 아무 말도 하지 못한다.
계측할 수 없는 위험을 남겨 두라는 요구는 이 사례의 성격을 가늠하는 준거가 된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MS-1.1-009는 정량적으로 측정할 수 없는 위험을 추적하고, 왜 측정할 수 없는지 설명하며, 측정되지 않은 위험을 한계 위험에 넣으라고 다음과 같이 적는다. "MS-1.1-009 Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 편집자 관여로 조정된 도구의 성능이 얼마나 가감되어 있는지는 이 사례에서 수치로 잡히지 않는다. 그 흔들림의 크기를 확정 손해나 고의로 단정할 수 없듯이, 이 지침의 용어로는 측정되지 않은 위험이다.
측정과 무관하게 남겨야 할 사실은 별도로 있다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 GV-1.6-003은 시스템 목록 항목에 사람의 감독 역할과 책임을 다음 문구로 넣으라고 요구한다. "Human oversight roles and responsibilities" 평가자가 도구를 다듬었고 표본 50개를 골라 확인했으며, 그 표본 바깥에서 하루 차이의 오류가 보고되었다는 사실은 감독의 기록으로 남을 자리에 있다. 무엇이 언제 조정되었는지는 원문 기록에서 확인되어야 한다.
도구에 잘못된 인용이 실리게 된 까닭을 묻는 설명은 이 사례의 출간 이후 상황을 이해하는 데 도움이 된다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)은 설명을 내세우는 허위 인용이 생길 수 있다는 점을 다음과 같이 적는다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 선고일이 하루 틀린 인용이 어떻게 생겼는지는 여기서 특정되지 않고, 원문 기록에서 무엇이 확인되는지도 미정이다.
사고와 오류를 따라갈 수 있어야 한다는 요구는 정오표를 낼지 여부를 판단하는 틀을 준다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)의 MG-4.3-002는 오류, 아차 사고, 부정적 영향을 기록하고 추적할 정책과 절차를 두라고 다음과 같이 적는다. "MG-4.3-002 Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts." 출간 뒤 독자가 알려 온 오류는 이 항목이 말하는 기록 대상에 놓인다. 그 오류가 어떤 자료를 가리키는지, 정오표를 낼 것인지는 미정으로 남는다.
평가자 관여로 조정된 결과를 그대로 성능 증거로 쓰지 않는다는 것이 이 절의 결론이다. 도구와 평가자의 손이 섞인 자리에서 나온 확인은 도구의 능력을 가늠하는 자료가 아니며, 표본 밖의 오류는 그 섞임을 되짚는 단서로만 읽는다.
6.6기록 남김과 자동화의 경계
평가자 관여로 조정된 결과를 성능 증거로 삼지 못한 뒤에는, 추출에 어떤 도구를 썼는지와 그 도구가 무엇을 뱉어냈는지를 적어 두는 일이 남는다. 자동화한 추출은 사람이 되짚을 수 있는 모양으로 남지 않으면 오류가 생겼을 때 그 오류의 자리를 찾아낼 수 없다. 그러므로 기록의 요건을 정하고, 그 기록이 어디까지 자동화의 한계를 드러내는지를 살핀다.
인용 1,214개는 기계를 돌려 한 번에 뽑아낸 것이 아니라 여럿의 산출물이 모인 것이다. 미국 상무부 국립표준기술연구소는 시스템의 지정·목록화 항목으로 무엇을 남길지를 적고 있다. 「NIST AI 600-1」 GV-1.6-003은 그 항목에 관해 "Data provenance information (e.g., source, signatures, versioning, watermarks)"를 더 둘 것을 권한다. 같은 항목은 "Underlying foundation models, versions of underlying models, and access modes"도 함께 적도록 한다. 이 두 항목은 각 인용이 어느 자료에서 왔고, 어떤 모델의 어느 버전으로 뽑혔는지를 뒤쫓는 실마리가 된다. 편집자가 표본 50개를 확인하는 데 그친 사례에서, 표본 밖 인용 하나에 대하여 독자가 선고일 하루 차이를 지적한 경우 그 지적의 바탕이 무엇인지 되물으려면 바로 이 기록이 있어야 한다.
그러나 어떤 것은 숫자로 잴 수 없다. 「NIST AI 600-1」 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations)"라고 적는다. 즉 셀 수 없는 위험을 그냥 미뤄 두지 말고 그 까닭과 함께 남기라는 것이다. 자동 추출에서 사람이 모두 읽지 못한 나머지가 얼마인지, 왜 그 나머지를 사람이 다 보지 못했는지는 이 항목이 요구하는 설명에 해당한다. 이 사례에서 원고지 2천 매 분량을 사람이 끝까지 대조하지 못했다면 그 사정 역시 함께 적어 둘 일이었다.
도구가 틀릴 수도 있음을 전제로, 그 틀린 자취를 남기는 방식도 정해져 있다. 「NIST AI 600-1」 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts"라고 정한다. 이는 오류를 가린 채 결과만 내놓는 대신, 오류와 아찔한 빗나감과 부정적 영향을 함께 기록해 두라는 뜻이다. 「NIST AI 600-1」은 "Regular information sharing, change management records, version history and metadata can also empower AI Actors responding to and managing AI incidents"라고 덧붙인다. 바꿔 말해 버전 이력과 메타데이터가 있으면 나중에 벌어진 오류를 원인까지 거슬러 올라가 다룰 수 있다. 선고일이 하루 틀린 채로 나간 인용이 어느 판례를 가리키는지, 원문 기록에서 무엇이 확인되는지는 아직 정해지지 않았다. 그 자취를 찾을 수 있는가 없는가가 기록이 남았는가에 달려 있다.
「NIST AI 600-1」은 아울러 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system's answer, which may further mislead humans into inappropriately trusting the system's output"라고 경고한다. 즉 도구는 그럴듯한 논리와 인용을 만들어 붙일 수 있고, 사람은 그 탓에 도구를 지나치게 믿을 수 있다. 그러므로 도구가 스스로 낸 서지 표기나 판례 문장을 그대로 옮겨 적는 것으로 인용을 마무리해선 안 된다. 「교육부훈령 제449호」 제5조제6호는 "자신 및 타인의 저작물 활용 시 적절한 방법으로 출처를 밝히는 등 선행 연구자의 업적 인정·존중"을 연구자의 책무로 둔다. 출처를 밝히는 일은 도구에 맡기지 않고 사람이 직접 확인해 마쳐야 할 자리다.
이 책에서 그 자리를 사람이 확인했다고 해서 곧바로 연구부정행위로 이어지지는 않는다. 「교육부훈령 제449호」 제11조제1항제2호는 "변조"를 "연구 재료·장비·과정 등을 인위적으로 조작하거나 연구 원자료 또는 연구자료를 임의로 변형·삭제함으로써 연구 내용 또는 결과를 왜곡하는 행위"로 적는다. 모델이 잘못 뽑아 낸 표기 하나가 이 정의에 걸리는지는 그 표기를 두고 사람의 손이 무엇을 했는지를 보아야 한다. 「교육부훈령 제449호」 제12조제1항제3호는 판단에 "행위자의 고의, 연구부정행위 결과물의 양과 질, 학계의 관행과 특수성, 연구부정행위를 통해 얻은 이익 등을 종합적으로 고려"할 것을 요구한다. 고의가 여기에 함께 적혀 있으므로, 자동화 도구의 오류만을 토대로 그 책임을 확정할 수는 없다. 이 사례에서 확정 손해나 고의 같은 법적 평가는 정해진 바 없다. 기록은 이런 평가가 필요한 자리에서 무엇을 근거로 삼을지 밝혀 주는 재료일 뿐이다.
Official documents referred to
- 교육부, 연구윤리 확보를 위한 지침 (교육부훈령 제449호), 2023-07-17, 제2~5조·제11~12조, 쪽수 없음(공식 HTML 조문 번호로 인용)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)